Razonamiento con Incertidumbre

Dr. L. Enrique Sucar S.
Enero - Mayo 2005
ITESM Cuernavaca

 

1. Objetivo

El objetivo de este curso es estudiar las diversas teorías y técnicas que se han desarrollado para representar y razonar bajo incertidumbre en sistemas inteligentes. Se realizará un análisis detallado de las diferentes técnicas y sus áreas de aplicación. Se haraá enfásis en los aspectos de representación, inferencia y aprendizaje. Se utilizarán y desarrollarán herramientas computacionales para implementar los modelos y experimentar con ellos.

2. Programa

Parte I  Fundamentos

1. Introducción

• Causas y efectos de incertidumbre
• Desarrollo histórico
• Tipos de Técnicas
• Modelos graficos probabilistas
  

2. Teoría de Probabilidad

• Definición de probabilidad y sus interpretaciones
• Axiomas y definiciones básicas
• Dependencia e independencia
• Distribuciones básicas
• Teoría de información

3. Teoría de Grafos

• Introducción y notación
• Tipos de grafos
• Trayectorias y circuitos
• Triangulación y cliques
• Ordenamiento y "llenado''
• Búsqueda de máxima cardenalidad
• Isomorfismo

Parte II Modelos Graficos Probabilísticos

4 Métodos probabilísticos básicos

• Representación directa - probabilidad conjunta
• Problemas de cálculo
• Problemas de estimación
• Clasificador bayesiano simple
• Otros clasificadores
• Descriminador lineal
• Aplicaciones en clasificación y aprendizaje

5 Modelos Ocultos de Markov

• Cadenas de Markov
• Modelos ocultos: Representación
• Modelos ocultos: Evaluación
• Secuencia (algoritmo de Viterbi)
• Aprendizaje (algoritmo de Baum-Welch)
• Tipos de modelos
• Aplicaciones en reconocimiento de voz, gestos y buscadores (Google)
  

6 Campos de Markov

• Introducción
• Representación
• Cálculo de probabilidades (MAP y MPM)
• Algoritmos (ICM, metropolis, recocido simulado)
• Aplicación en visión computacional

7 Redes Bayesianas I: Representación

• Grafos de dependencias no-dirigidos (redes de Markov)
• Grafos de dependencia dirigidos
• Separación y axiomas de independencia
• Representación estructural, tipos de redes
• Representación paramétrica, arboles y redes (ADDs)
  
• Modelos canónicos (NOISY-OR, NOISY-AND)

8 Redes Bayesianas II: Propagación

• <>Propagación en árboles y poliárboles

• Algoritmo de eliminacion de variables
• Algoritmos de agrupamientos (Junction Tree)
• Simulacion estocastica
  

9 Redes Bayesianas III: Aprendizaje

• Aprendizaje paramétrico
• Aprendizaje estructural
• Combinacion de conocimiento y datos
  

10 Modelos Dinamicos y Continuos, Aplicaciones

• Variables continuas (modelo gaussiano)
  
• Filtros de Kalman
  
• Redes bayesianas dinámicas
• Redes temporales
• Aplicaciones: diagnóstico, confiabilidad, validación de sensores, visión, minería de datos, bioinformatica

Parte III Modelos de Decision

11Redes de Decisión

• Teoría de decisiones
• Árboles de decisión
• Redes de decisión y diagramas de influencia
  
• Redes de decisión dinámicas
• Algoritmos de solucion para diagramas de influencia
  
• Aplicaciones en soporte de toma de decisiones

12 Procesos de Decisión de Markov (MDP)

• MDPs : definicion y representacion
  
• Algoritmos basicos (value iteration, policy iteration)
• MDPs abstractos y cualitativos
• MDPs jerarquicos y paralelos
  
• MDPs parcialmente observables (POMDPs)
• Aplicaciones en robótica y control de procesos

Parte IV Modelos de Primer Orden

13 Lógica y Probabilidad

• Integración de lógica y probabilidad: problemas y enfoques
• Lógica probabilistíca
• Inclusión de probabilidades en lógica
  
• Inclusión de lógica en modelos probabilísticos
• Ejemplos de modelos de 1er orden (Poole, Kohler, Laskey, ...)
  
• Aplicaciones en música y reconocimiento de gestos 
  

Parte V Métodos Alternativos

14 Métodos Pseudo-Probabilistas

• Factores de Certeza (MYCIN)
• Pseudo-probabilidades (Prospector)
• Teoría de Dempster-Shafer

15 Lógica Difusa

• Conjuntos difusos
• Lógica difusa
• Reglas de producción difusas
• Aplicaciones en sistemas expertos y control

3. Bibliografía

Textos:

• Notas del Curso (pagina)
• Notas de M. Jordan - An Introduction to Probabilistic Graphical Models (biblioteca)
• Articulos varios (biblioteca)
  

Libros de Apoyo:

• F. Jensen, Bayesian Networks and Decision Graphs, Springer, 2001.
• R. Neapolitan, Learning Bayesian Networks, Pearson, 2004.
• C. Borgelt, R. Kruse, Graphical Models, Wiley, 2002.
• J. Pearl, Probabilistic Reasoning in Intelligent Systems, Morgan-Kaufmann, 1988.
• Shafer y Pearl (Eds.), Readings in Uncertain Reasoning, Morgan-Kaufmann, 1990.
• R. Neapolitan, Probabilistic Reasoning in Expert Systems, Addison-Wesley, 1990.
• Whittaker, Graphical Models, Wiley, 1990.
• M Putterman, Markov Decision Processes, Wiley, 1993.
• D. Michie, D.J. Spiegelhalter, C.C. Taylor, Machine Learning, Neural and Statistical Classification, Elis Horwood, 1994.

4. Principales Revistas y Congresos

• International Journal of Approximate Reasoning
• IEEE Trans. on Systems, Man and Cybernetics
• Fuzzy Sets and Systems
• Uncertainty in Artificial Intelligence (UAI)
• Information Processing and Management of Uncertainty (IPMU)
• Symbolic and Quantitative Approaches to Uncertainty (ECSQAU)

5. Políticas del Curso

5.1 Prerrequisitos

Matemáticas (Algebra, Cálculo)
Computación (Programación, conceptos básicos)

5.2 Notas del Curso

Las notas del todo el curso estarán disponibles en la página WWW del curso. Las notas incluyen, básicamente, todo el material a presentarse en clase, y las tareas y proyectos.

5.3 Tareas, Proyectos y Exámenes

Se asignará normalmente una tarea a la semana para la siguiente clase, consistentes en problemas o mini-proyectos a realizarse en MatLab. Las tareas serán resueltas en clase. Deben enviar a la cuenta del curso (esucar.mor@servicios.itesm.mx) la solucion de la tarea (archivo con solucion a problemas en PDF, Word o PP; o programa en MatLab) a mas tardar el lunes anterior a la clase. Algunos seran seleccionados para presentar su solucion. Las tareas son individuales.

Habrá un proyecto final que consistirá en implementar y aplicar a algun problema alguna de las técnicas vistas en clase. El proyecto se realizará en 3 fases:

1. Propuesta: descripción del proyecto - su objectivo, metodología y resultados esperados (1 página). Fecha de entrega: 1 semana despúes del parcial
2. Reporte previo: descipción del proyecto realizado (con los avances a la fecha) en la forma de un artículo científico, incluyendo al menos introducción, trabajos previos, metodología, experimentos, resultados, conclusiones (8 páginas en formato LNAI de Springer-Verlag). Dicho reporte será evaluado por dos compañeros y el profesor en forma similar a la evaluación de un congreso y la retroalimentación será entregada (en forma anónima) para considerarla en el reporte final. Fecha de entrega: último día de clases
3. Reporte final: descripción de reporte terminado con las correcciones indicadas en las evaluaciones (mismo formato reporte previo). Fecha de entrega: día del examen final.

Todas las fases, incluyendo la evaluación realizada de otros proyectos, serán consideradas en la calificación. El proyecto podrá ser realizado en equipos de dos o tres alumnos.

Habrá un examen a medio curso. Este consistirá de preguntas sobre los conceptos tratados en clase y problemas relacionados a las técnicas estudiadas.

5.4 Evaluación

• Tareas teoricas - 15 %
• Tareas practicas - 15 %
• Examen Parcial- 30 %
• Proyecto Final - 30 %
• Participacion en clase - 10 %

5.5 Horas de Consulta

Lunes 16 a 17 hrs.; o previa cita  por correo electronico (esucar@itesm.mx).

5.6 Profesor

Dr. L. Enrique Sucar S.

Departamento de Computación, ext. 7381
esucar@itesm.mx
http://www.mor.itesm.mx/~esucar

Ing. en Electrónica y Comunicaciones (ITESM), M.C. en Ing. Eléctrica (U. de Stanford), Dr. en Computación (Imperial College). Experiencia en investigación en el Instituto de Investigaciones Eléctricas, Imperial College (U. de Londres), Universidad de British Columbia (Canada) e ITESM-Cuernavaca. Profesor auxiliar en el ITESM-Morelos (1983-1993). A partir de enero de 1994 Profesor-Investigador de tiempo completo en el ITESM-Cuernavaca, actualmente Director del Departamento de Computación. Pertenece al Sistema Nacional de Investigadores (Nivel II) . Áreas de investigación: razonamiento probabilístico, visión computacional y robótica movil.