Sistemas Inteligentes

Unidad 1: Introducción a los Sistemas Inteligentes 

Ing. Oscar Alonso Rosete Beas

Semana 25 Enero Rev:1 ciclo 2021-1

Agenda

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda 

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

Unidad 1

Unidad 1

Introducción a la materia

25/01

PROPÓSITO DEL  CURSO

Este curso tiene como propósito que el alumno aplique los métodos que simulan aspectos del comportamiento inteligente, con la intención de aprender de la naturaleza.
 

Durante el curso se estudiará:

• Algoritmos basados en lógica difusa, redes neuronales, sistemas basados en conocimiento y la  interacción hombre-máquina.

• Diseño sistemas, procesos, productos y/o componentes basados en software aplicando métodos, técnicas, y herramientas modernas

25/01

Introducción a la materia

Las actividades que se realicen dentro del aula serán dirigidas por el profesor y otras serán de carácter independiente para ser realizadas por los alumnos fuera del aula.

Las formas genéricas de actividades de aprendizaje que serán realizadas por los alumnos son:

• Trabajo colaborativo dentro del aula para analizar y debatir sobre los contenidos y bajo la dirección del profesor.
• Exposición de contenidos por parte del profesor y alumnos
• Aprendizaje basado en proyectos de aplicación por equipos  o individuales.

25/01

EVIDENCIAS DE DESEMPEÑO

• Reportes de análisis y resolución de casos de estudio y ejercicios de aplicación.

• Reportes de lectura y reportes de investigación.

• Prácticas de Laboratorio(*)

• Presentaciones en clase.

• Elaboración de prototipos.

• Exámenes escritos a lo largo del curso y examen final.

• Proyecto final integrador en donde se apliquen las herramientas vistas durante el curso.

Agenda

25/01

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda 

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

25/01

Introducción a la materia

2.1. Introducción a la Lógica Difusa  

2.2. Conjuntos difusos y funciones de membresía 

2.3. Operaciones sobre conjuntos difusos 

2.4. Inferencia usando Lógica Difusa 

2.5. Diseño de clasificadores difusos 

Unidad 2: Lógica Difusa Tipo – I  

25/01

Introducción a la materia

3.1. Aprendizaje supervisado y no supervisado 

3.2. Algoritmo “Backpropagation through time”  

3.3. Aprendizaje en tiempo real 

3.4. Algoritmo K-Means 

3.4. Redes Neuronales 

​

Unidad 3: Algoritmos de aprendizaje

POLÍTICAS ENTREGAS

• Existe tolerancia de 5 minutos de llegada tardía, a partir de los cuales se tomará asistencia.
• Las fechas de entrega y presentación para exámenes parciales, tareas, exposiciones, prácticas y trabajo final son Inamovibles.
• No se aceptarán entregas de exámenes fuera de la fecha y hora establecida y la calificación de una falta de entrega o entrega extemporánea es cero.

• Se aceptarán entregas de tareas/prácticas fuera de las fechas y horas establecidas (calificación de falta de entrega es cero).
  • Penalización 10%/ día en tareas
  • Penalización 10%/ semana en práctica.

• Todas las entregas deberán realizarse por medio definido en clase, de acuerdo a las indicaciones dadas (blackboard y pdf generalmente).

POLÍTICAS ENTREGAS

POLÍTICAS MATERIAL

• El material para trabajar en clase, descripción de tareas y temas para exposición, así como cualquier material de apoyo estará disponible a través del Blackboard o el sitio web y este será actualizado periódicamente.
• Es responsabilidad de cada estudiante traer a la sesión de clase el material que indique el maestro, incluyendo exposiciones y tareas.

POLÍTICAS PRESENTACIONES

• Preparar una presentación formal e interactiva que presente al grupo el tema correspondiente (Prezi, PowerPoint, Google Slides, otro).
• Preparar un reporte escrito de los puntos más relevantes de la presentación, así como las referencias consultadas.
• Subir en la actividad correspondiente en Blackboard la presentación y el reporte escrito.

• Es necesario estar presente en las actividades de exposición, de lo contrario la calificación para la exposición es cero.

25/01

Introducción a la materia

Bibliografía

Hangos, K. M., Lakner, R., & Gerzson, M. (2001). Intelligent Control Systems: An Introduction with Examples. Secaucus, NJ, USA: Kluwer Academic Publishers. Retrieved from http://www.ebrary.com 

Graupe, D. (2007). Principles of Artificial Neural Networks (2nd Edition). River Edge, NJ, USA: World Scientific. Retrieved from http://www.ebrary.com 

Sra, S., Nowozin, S., & Wright, S. J. (Eds.). (2011). Optimization for Machine Learning. Cambridge, MA, USA: MIT Press. Retrieved from http://www.ebrary.com

25/01

Introducción a la materia

Software:

Python, MATLAB

Herramientas digitales:

Blackboard, Google suite, recursos microsoft, portafolio electronico,  bases de datos.

25/01

Criterios de evaluación

25/01

Profesor:

Ing. Oscar Alonso Rosete Beas
E-Mail:

oscar.rosete@cetys.mx
Pagina de facebook:

https://www.facebook.com/oscararosete
Sitio web:

https://oscarrosete.com/

Información de referencia

25/01

Contacto preferente para dudas

Asesorías: WhatsApp  686 264 5073

25/01

Proyecto final

Desarrollar un proyecto de innovación a nivel experimental de tecnología utilizando el material visto en el curso, donde el alumno proponga la solución de un problema planteado mediante el desarrollo de un proceso para la implementación de la solución y la realización de pruebas de factibilidad y utilidad de un sistema.

25/01

Introducción a la materia

• Formación de equipos para presentaciones y proyectos (3-4 integrantes)
• Registro en grupo de Facebook
• Pase de lista y sondeo

Introducción a la materia

Actividad Asíncrona

Tarea 1. 

• Investigar como instalar python versión 3.7^ en su computadora
• Investigar como instalar Jupyter Notebook localmente
  • Video inferior derecho (ver los primeros 13 mins)

Agenda

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

Introducción

El enfoque tradicional desarrollado estuvo basado en problemas muy bien definidos con modelos precisos pero carecen de autonomía y la habilidad de la toma de decisiones.

La problemática es utilizarlos en entornos inciertos.

Cruzado con control clásico

Intelligent Systems: Modeling, Optimization, and Control
By Yung C. Shin, Chengying Xu

Control clásico

1. Determinar el sistema físico y sus especificaciones.
2. Dibujar diagrama de bloques.
3. Convertir el sistema físico en un esquemático.
4. Desarrollar un modelo matemático y obtener un diagrama de bloques del sistema.
5. Reducir el diagrama de bloques.
6. Análisis, Diseño y Pruebas.

Control clásico

Introducción

En años recientes, ha habido un incremento de interés dramático  en técnicas de computación para aplicaciones científicas e ingenieriles.

Los sistemas inteligentes son un termino que cubre los distintos enfoques para el diseño, optimizan y control de sistemas variados que no cuenten con modelo matemático o que cuenten con incertidumbre.

Panorama actual

Intelligent Systems: Modeling, Optimization, and Control
By Yung C. Shin, Chengying Xu

Introducción

En cierta manera estos enfoques intentan emular el comportamiento humano.

Los sistemas inteligentes involucran campos como las redes neuronales, lógica difusa, estrategias evolutivas y algoritmos genéticos, entre otros.

Panorama actual

Intelligent Systems: Modeling, Optimization, and Control
By Yung C. Shin, Chengying Xu

Introducción

Los sistemas inteligentes son definidos con atributos que le permiten un alto grado de autonomía, razonamiento bajo incertidumbre, mejor desempeño en la búsqueda de la meta, fusión de la información de múltiples sensores, aprendizaje y adaptación al entorno.

Panorama actual

Intelligent Systems: Modeling, Optimization, and Control
By Yung C. Shin, Chengying Xu

Inteligencia artifical

La inteligencia artificial solo se enfoca al desarrollo de robots

Mito

Inteligencia artifical

La Inteligencia Artificial estudia los modelos computacionales que sirven para simular o formalizar las actividades inteligentes (cognitivas).

Percepción, razonamiento (relacionada con lógica), aprendizaje, entre otras.

Realidad

Inteligencia artifical

Se ha de tener en cuenta la frontera entre la IA y otras ramas de la ciencia como la psicología o la filosofía. 

El enfoque de la IA es unir las ramas de las matemáticas y la ingeniería para crear artefactos que actúen de manera inteligente.

Objetivo primordial es la formalización de una actuación racional, apoyada en un Agente inteligente.

Lógica computacional

Martín Rubio Fernando, Paniagua Aris Enrique,  Sanchez González Juan Luís.

Realidad

Inteligencia artifical

Un agente inteligente es el conjunto de componentes de Hardware y software que es capaz de realizar una o varias actividades cognitivas determinadas.

Usualmente ligamos el termino inteligencia a la demostración o posibilidad de resolver un problema.

Agente inteligente

Lógica computacional

Martín Rubio Fernando, Paniagua Aris Enrique,  Sanchez González Juan Luís.

Inteligencia artifical

Un agente inteligente cumple con las siguientes características:

Autonomía: Un agente actúa sin intervención humana, dispone de algún tipo de control sobre sus acciones y su estado interno.

Comportamiento social: Un agente interactúa con otros agentes (artificiales o humanos) mediante un lenguaje de comunicación específico.

Agente inteligente

Inteligencia artifical

Un agente inteligente cumple con las siguientes características:

Reactividad: Un agente percibe su entorno y responde ante él, cambiando el estado del entorno y su propio estado interno.

Racionalidad: Un agente no se limita a actuar en respuesta a su entorno, es capaz de mostrar un comportamiento dirigido por sus objetivos.

Agente inteligente

Inteligencia artifical

1

3

2

Inteligencia artifical

Piramide de la información

Dato-> noticia-->conocimiento-->sabiduría

El software tradicional transacciona con datos y hace información/noticia.

• Pueden tomar decisiones consistentes con su objetivo (son racionales)
• No poseen todos los conocimientos ni todos los datos (no son omniscientes)
• No siempre son exitosos (no son infalibles)
• Pueden mejorar durante su uso (aprenden)
• Soportan a cambios del dominio (flexibles y robustos)

Agente inteligente

¿Cómo?

• Metodología simbólica
• Metodología conexionista
• Metodología comportamentista

Tres metodologías

Inteligencia Artificial: Investigación Científica Avanzada Centrada en Datos

Roiman Valbuena

• También denominada inteligencia artificial tradicional, se basa en el desarrollo de largas cadenas de códigos simbólicos (legibles por humanos) que contienen instrucciones para la ejecución de programas de computadoras.
• Basado en representación y diseño de modelos.
• Independientes del entorno.

Inferencia bayesiana?

Metodología simbólica

An Anthropology of Robots and AI: Annihilation Anxiety and Machines

Kathleen Richardson

¿Cómo?

Una gran parte de la inteligencia artificial se enfoca a realizar predicciones (predecir el clima, comportamiento de clientes, epidemias, ataques cardíacos, etc).

Para lograr estas predicciones las computadores requieren tener modelos matemáticos del fenómeno que esta modelando.

Metodología simbólica vs subsimbolica

What is AI – and where is it heading?
Part II: Symbolic and subsymbolic AI

Thomas Bolander

¿Cómo?

El modelo puede ser explicita mente representado( a través de formulas o reglas) o implícitamente representado (aprendido de experiencia sin representación simbólica de las reglas o propiedades).

El primero es denominado Inteligencia Artificial simbólica, el segundo es Inteligencia artificial subsimbólica.

Metodología simbólica vs subsimbolica

What is AI – and where is it heading?
Part II: Symbolic and subsymbolic AI

Thomas Bolander

¿Cómo?

Metodología simbólica vs subsimbolica

Symbolic vs. Subsymbolic AI

Henry Lieberman 

¿Cómo?

Metodología simbólica

¿Cómo?

Se sustenta en el cómo la biología, a través de complejas conexiones neuronales que nunca se programan, han hecho del cerebro un magnífico y espléndido aparato adaptativo de procesamiento de información.

Se extiende a la inteligencia computacional cuando aborda la genética y la biología evolutiva para mimetizar.

lógica difusa, redes neuronales.

Metodología conexionista

Inteligencia Artificial: Investigación Científica Avanzada Centrada en Datos

Roiman Valbuena

¿Cómo?

Metodología conexionista

¿Cómo?

Refleja el aspecto fisiológico del comportamiento humano o animal.

Modelan comportamientos inteligentes asentados en la mecánica de la vida y de la mente, además de los estados de probabilidades de pensamientos que en esta mente se procesan. Interacción con otros agentes.

Swarm intelligence (Inteligencia de enjambres)

Metodología comportamentista

Inteligencia Artificial: Investigación Científica Avanzada Centrada en Datos

Roiman Valbuena

¿Cómo?

Metodología comportamentista

¿Cómo?

Se creo un escenario mental  para una escala que midiese los grados de inteligencia de un agente.

Grados de inteligencia

Inteligencia Artificial: Investigación Científica Avanzada Centrada en Datos

Roiman Valbuena

¿Cómo?

Los investigadores de otras ciencias entregan los datos al ingeniero del conocimiento para que determine el tipo de IA más adecuada a los objetivos que pretender ser alcanzados, sus inferencias estarán soportadas en las distribuciones estadísticas de los datos, tratando de transformarlos en información útil.

Ingeniero del conocimiento (Data scientist o Data Analyst)

¿Quién?

Existen múltiples arquitecturas que pueden seleccionarse, tales como, la lógica difusa, redes neuronales, sistemas expertos, algoritmos evolutivos, red híbrida (neuro-difusa), sistema experto neural, inteligencia de enjambres, entre otras

Debe de ser congruente con los datos y evaluar técnicas de minería de datos.

Ingeniero del conocimiento

¿Quién?

Actividad en equipo

• Misael Anaya, Diana Castro y Carlos Yahir Rubio
• Francisco Bejarano, Eva Real, Jose Ceballos y Gabriel Trigo
• Luis Camacho, Marlon Rivera, Omar Rivera, Daniel Luna
• Gustavo Arroyo, Juan Silva, Cristobal Capiz y Jesus Soltero
• Emilio Navarrete, Gerardo Macedo, Juan Carlos Montaño, Jorge Azuara
• Oscar Leal, Hector Olguin, Adrian Lopez y Brenda Barranco

Actividad en equipo

En equipos, investiguen, debatan al respecto y lleguen a una explicación conjunta de los siguientes tipos de agentes inteligentes.

Deberá generarse una presentación

Clasificar de acuerdo a su inteligencia y capacidad

• Simple Reflex Agents

• Model Based Reflex Agents

• Goal Based Agents

• Utility based Agents

• Learning Agents

Clasificación opcional

video adjunto a partir de 16:32

Agenda

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

Inteligencia artifical

Un agente inteligente es el conjunto de componentes de Hardware y software que es capaz de realizar una o varias actividades cognitivas determinadas.

Usualmente ligamos el termino inteligencia a la demostración o posibilidad de resolver un problema.

Agente inteligente

Lógica computacional

Martín Rubio Fernando, Paniagua Aris Enrique,  Sanchez González Juan Luís.

Inteligencia artifical

Un agente inteligente es el conjunto de componentes de Hardware y software que es capaz de realizar una o varias actividades cognitivas determinadas.

Usualmente ligamos el termino inteligencia a la demostración o posibilidad de resolver un problema.

Agente inteligente

Lógica computacional

Martín Rubio Fernando, Paniagua Aris Enrique,  Sanchez González Juan Luís.

Inteligencia artifical

Un agente inteligente cumple con las siguientes características:

Autonomía: Un agente actúa sin intervención humana, dispone de algún tipo de control sobre sus acciones y su estado interno.

Comportamiento social: Un agente interactúa con otros agentes (artificiales o humanos) mediante un lenguaje de comunicación específico.

Agente inteligente

Inteligencia artifical

Un agente inteligente cumple con las siguientes características:

Reactividad: Un agente percibe su entorno y responde ante él, cambiando el estado del entorno y su propio estado interno.

Racionalidad: Un agente no se limita a actuar en respuesta a su entorno, es capaz de mostrar un comportamiento dirigido por sus objetivos.

Agente inteligente

Actividad en equipo

En equipos, investiguen, debatan al respecto y lleguen a una explicación conjunta de los siguientes tipos de agentes inteligentes.

Deberá generarse una presentación

Clasificar de acuerdo a su inteligencia y capacidad

• Simple Reflex Agents

• Model Based Reflex Agents

• Goal Based Agents

• Utility based Agents

• Learning Agents

Clasificación opcional

video adjunto a partir de 16:32

Actividad en equipo

Actividad en equipo

• Equipo 1: Misael Anaya, Diana Castro y Carlos Yahir Rubio
• Equipo 2: Francisco Bejarano, Eva Real, Jose Ceballos y Gabriel Trigo
• Equipo 3: Luis Camacho, Marlon Rivera, Omar Rivera, Daniel Luna
• Equipo 4: Gustavo Arroyo, Juan Silva, Cristobal Capiz y Jesus Soltero
• Equipo 5: Emilio Navarrete, Gerardo Macedo, Juan Carlos Montaño, Jorge Azuara
• Equipo 6: Oscar Leal, Hector Olguin, Adrian Lopez y Brenda Barranco

Tipos de Agentes

Agente reactivo simple (o de reflejo simple)

Simple Reflex Agents

Puede considerarse el programa de agente más sencilo. Su funcionamiento se basa en seleccionar la acción sobre las percepciones actuales del agente, ignorando las percepciones históricas, para ello almacena asociaciones entrada/salida frecuentes en forma de reglas condición-acción: Si <Percepción> entonces <acción>

Agente reactivo simple (o de reflejo simple)

Para ilustrar estas ideas, podemos utilizar el ejemplo simple de un mundo con una aspiradora, el cual consiste de un agente robótico de limpieza en un mundo que consiste de cuadrados que pueden estar sucios o limpios.

Tipos de Agentes

Agente reactivo simple (o de reflejo simple)

La figura muestra una configuración con dos cuadrados, el agente percibe en que cuadro se encuentra y si hay suciedad en el cuadro. El agente comienza en un cuadrado, sus acciones posibles son moverse a la derecha, moverse a la izquierda, limpieza por succión o no realizar nada.

Tipos de Agentes

Agente reactivo simple (o de reflejo simple)

Este tipo de agente selecciona acciones basado en su percepción actual, ignorando el historial de percepciones. Este agente de limpieza por vació es un agente reactivo simple ya que su decisión esta basada únicamente en su posición actual y si existe sociedad.

Tipos de Agentes

Enfoque generalizado

Un enfoque mas flexible y general requeriría un interpretador de reglas condicion-accion y después generar conjunto de reglas para un objetivo especifico

Se utilizan rectángulos para denotar el estado actual de toma de decisiones del agente y óvalos para representar la información utilizada en la toma de decisiones.

Tipos de Agentes

Agente reactivo basado en modelo

Model Based Reflex Agents

En gran cantidad de ocasiones un agente no podrá tomar una decisión teniendo en cuenta una única percepción, porque esta no proporciona toda la información necesaria, es por ello necesario emplear estados que de alguna forma guarden información sobre las percepciones históricas o que ya no son observables. Además se necesita información sobre como evoluciona el mundo, independiente del agente.

Tipos de Agentes

Enfoque generalizado

La percepción actual esta combinada con el estado interno previo para generar una descripción actualizada del estado actual, basado en el modelo del agente acerca del funcionamiento del mundo.

Tipos de Agentes

Enfoque generalizado

La sección interesante es la función UPDATE-STATE, la cual es responsable de crear una nueva descripción interna del estado.

Posteriormente selecciona una acción de la misma manera que el agente reactivo simple.

Tipos de Agentes

Agente reactivo basado en objetivos o metas

Goal Based Agents

Surgen porque con los estados no es suficiente para tomar una decisión, ya que ésta muchas veces depende de cual es la misión del agente. Por tanto se requiere información sobre el objetivo o meta del agente. En este tipo de agentes, para decidir que acción de las posibles llevar a cabo, utiliza una descripción de las metas a alcanzar.

Utilizados en búsqueda y planificación.

Tipos de Agentes

Agente reactivo basado en objetivos o metas

Por ejemplo en un cruce de calle/empalme, un taxi puede dar vuelta a la izquierda, vuelta a la derecha o irse en dirección recta. La decisión correcta dependerá de a donde se dirige. En otras palabras, adicional a su estado actual, requiere información relacionada a su meta.

Tipos de Agentes

Enfoque generalizado

El programa del agente puede combinar la información de manera similar al agente basado en modelo para posteriormente seleccionar las acciones correspondientes que lo lleven a su meta.

Tipos de Agentes

Agente reactivo basado en utilidad

Utility based Agents

Las metas por si solas tampoco son suficientes para dotar al agente de un comportamiento igual, ya que se puede alcanzar una meta cuando existen varias. Para garantizar la selección de la mejor meta es necesario una medida que permita comparar estados.

Esta medida se denomina utilidad. Un estado puede tener más utilidad que otra, el agente debe buscar los estados que proporcionen más utilidad.

Tipos de Agentes

Agente reactivo basado en utilidad

Por ejemplo, muchas secuencias de acciones llevaran al taxi a su destino, sin embargo algunas serán mas rápidas, seguras, confiables o eficientes que otras.

Tipos de Agentes

Agente reactivo basado en utilidad

Las metas solamente nos dan una distinción binaria entre un estado deseado y uno no deseado.

Una métrica (utilidad) del desempeño mas generalizada que permite la comparación entre estados del mundo observado es deseable.

Tipos de Agentes

Agente reactivo basado en utilidad

Considerando que la función interna de utilidad y la métrica externa de desempeño coinciden, un agente que selecciona acciones que maximizan su utilidad sera racional de acuerdo a su métrica de desempeño externo.

Tipos de Agentes

Enfoque General

Utiliza un modelo de su mondo, así como una función de utilidad que mide sus preferencias entre los estados disponibles del mundo. Entonces selecciona una acción que lo lleve a la máxima utilidad esperada.

Tipos de Agentes

Agente basado en aprendizaje

Learning agents

En los escritos de Alan Turing (1950), se considera la idea de programar sus máquinas inteligentes a mano.

El método que propone es crear máquinas con capacidad de aprendizaje y enseñarles. En múltiples ares de la inteligencia artificial, este es el método preferido para generar sistemas del estado del arte. Cualquiera de los agentes previamente descritos puede volverse uno basado en aprendizaje o no.

Tipos de Agentes

Agente basado en aprendizaje

La principal distinción es el elemento de aprendizaje, el cual es el responsable de realizar mejoras y el elemento de desempeño el cual es responsable de seleccionar las acciones.

El elemento de aprendizaje retroalimenta desde su critica como esta desempeñándose y determina como modificar el elemento de desempeño para mejorar en el futuro.

Tipos de Agentes

Enfoque General

El elemento de desempeño que previamente se habia considerado como el agente completo puede modificarse a partir del elemento de aprendizaje para mejorar su desempeño.

Tipos de Agentes

Tipos de Agentes

Introducción a Python

15%

25%

Subir archivo(s) en python actividad de blackboard.

Introducción a Python

Introducción a Python

Ejercicio a resolver por  alumno 2

Ejercicio a resolver por  alumno 3

Introducción a Python

Agenda

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

Introducción al Teorema de Bayes

Introducción al análisis de datos con python

Antes de iniciar análisis de datos con python, necesitamos conocer los fundamentos del análisis de datos.

Necesitamos entender el procedimiento para analizar la información.

Se fundamenta en la estadística, que nos permite describir la información, realizar predicciones y obtener conclusiones de ella.

Introducción al Teorema de Bayes

Fundamentos

El análisis de datos es un proceso altamente iterativo que involucra la recolección, preparación, análisis exploratorio de datos (EDA) y la obtención de conclusiones.

En la práctica, encuestas han mostrado que la preparación de la información es el 80% del trabajo.

Introducción al Teorema de Bayes

Fundamentos

La recolección de datos es el primer paso natural de cualquier proceso de análisis de datos.

No podemos analizar datos que no tenemos.

En realidad, cualquier análisis puede comenzar antes de tener datos, cuando decidimos que investigar o analizar tendremos que pensar en que tipo de datos debemos recolectar que serán útiles para nuestro análisis.

Introducción al Teorema de Bayes

Fundamentos

Mientras que los datos pueden venir de cualquier fuente, algunas comunes son:

• Extracción de datos de HTML de sitios web (selenium, requests, scapy and beautifulsoup)
• APIs de servicios web (Librería requests)
• Bases de datos
• Fuentes de Internet que proveen datos para descargar, tales como sitios de gobierno o Yahoo! Finance
• Archivos de registro de los sistemas operativo (log files)

Introducción al Teorema de Bayes

Fundamentos

Estamos rodeados de información, las posiblidades son infinitas de recolección. lo importante es asegurarnos que los datos recolectados nos permitan dar conclusiones.

Introducción al Teorema de Bayes

Fundamentos

Por ejemplo, si queremos determinar si las ventas de chocolate caliente son mas altas cuando la temperatura es mas baja, deberíamos recolectar datos de las ventas de chocolate caliente y las temperaturas de cada día.

Recolectar datos de que tanta distancia recorrieron para obtener el chocolate caliente, puede no ser relevante.

Introducción al Teorema de Bayes

Fundamentos

No hay que preocuparnos mucho de obtener la información perfecta antes de iniciar el análisis.

Las probabilidades, son que tengamos que agregar o remover algo del conjunto de datos(dataset) inicial o cambiar su formato y  unir con otros datos.

Data wrangling

Introducción al Teorema de Bayes

Fundamentos

Introducción al Teorema de Bayes

Fundamentos

Data wrangling/mejora de la calidad de datos.

Es el proceso de preparación de datos y modificación a un formato útil para nuestro análisis. La realidad es que los datos pueden venir "sucios", que significa que requieren limpieza (preparación) antes de ser utilizados.

Introducción al Teorema de Bayes

Fundamentos

Algunas de las problemáticas usuales que podemos encontrarnos:

• Errores humanos: Datos registrados o recolectados incorrectamente, tal como escribir 100 en lugar de 1000. Múltipes versiones del mismo registro , por ejemplo New York City, NYC y nyc.
• Errores de la computadora: Quizás algunos registros no se guardaron por cierto periodo de tiempo(datos faltantes)

Introducción al Teorema de Bayes

Fundamentos

Algunas de las problemáticas usuales que podemos encontrarnos:

• Información incompleta: pensemos en alguna encuesta con preguntas opcionales, no todas serán respondidas. No es debido a error humano o de computadora.
• Resolución: la información puede estar registrada por segundo, pero requerimos datos por hora para nuestro análisis.

Introducción al Teorema de Bayes

Fundamentos

Algunas de las problemáticas usuales que podemos encontrarnos:

• Relevancia de los campos: En algunos casos, los datos son recolectados o generados para un proceso distinto a nuestro análisis.
• Para que nos sea útil, deberemos cambiar su estado o campos actuales.
• El formato de los datos
• Configuración inadecuada: Pueden tener campos faltantes o compartirlos en el orden inadecuado.

Introducción al Teorema de Bayes

Data cleansing

Introducción al Teorema de Bayes

Introducción al Teorema de Bayes

Fundamentos

Introducción al Teorema de Bayes

Análisis exploratorio de datos

En esta etapa, utilizamos visualizaciones y un resumen estadístico para obtener un entendimiento mejorado de los datos.

Ya que nuestro cerebro es grandioso identificando patrones visuales, la visualización de datos es esencial en cualquier análisis.

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Algunas características de los datos solo pueden ser observado en una gráfica.

Podemos mostrar como una variable de interés evoluciona en el tiempo, cuantas observaciones pertenecen a cada categorías, encontrar valores atípicos (outliers), ver distribuciones de variables continuas y discretas entre otros.

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Cuanto estemos calculando resumen estadístico, debemos considerar el tipo de datos que recolectamos. Los datos pueden ser cuantitativos  (cantidades medibles) o categóricos (descripciones, agrupaciones, categorías).

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Los datos categóricos pueden ser ordinales, tienen un orden natural.

Podemos ordenar los niveles/categorías (por ejemplo bajo<medio<alto)

Los datos categóricos pueden ser nominales, donde asignamos un valor numérico a cada categoría tal como on=1/off=0.

Introducción al Teorema de Bayes

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Los datos cuantitativos, pueden tener una escala de intervalo o una escala de razón.

La escala de intervalo se define como una escala de medición cuantitativa en la que se mide la diferencia entre dos variables.

El punto cero no tiene verdadero significado.

Introducción al Teorema de Bayes

Análisis exploratorio de datos

En la escala de intervalo tenemos por ejemplo temperatura. Podemos comparar temperaturas en grados celsius entre ciudades, pero no tiene significado decir que es el doble de caliente.

Podemos comparar a través de sumas y restas.

No tiene sentido decir que 20C es el doble de temperatura que 10C, no implica el doble de agitación térmica que la segunda.

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Los datos de escala de razón se definen como un tipo de datos cuantitativos que se caracterizan por un punto de cero absoluto, lo que significa que no hay ningún valor numérico negativo.

Ejemplo: cero metros significa tamaño nulo, o en la escala de edades, cero años significa recién nacido.

Introducción al Teorema de Bayes

Análisis exploratorio de datos

Cuentan con la misma característica de los datos de escala de intervalo, pero el cero tiene un significado.

Los valores pueden ser comparados con significado utilizando multiplicación y división.

Por ejemplo precios, tamaños y conteos.

Introducción al Teorema de Bayes

Introducción al Teorema de Bayes

Introducción al Teorema de Bayes

Fundamentos

Introducción al Teorema de Bayes

Conclusiones

Tras haber recolectado los datos para nuestro análisis, limpiarlos y realizar un análisis exploratorio, es momento de dar conclusiones.

• Encontramos patrones o relaciones al visualizarlos
• Podemos realizar predicciones, podemos realizar un modelo de los datos
• Necesitamos datos adicionales o mas recientes?
• Como se encuentran distribuidos?
• Nos permite dar respuesta al problema que investigábamos?

Introducción al Teorema de Bayes

Fundamentos estadísticos

Cuando queremos realizar observaciones de los datos que estamos analizando, usualmente sino es que siempre, recurrimos a la estadística.

Los datos  a los que nos referimos son una muestra, observada de la población (subconjunto).

Introducción al Teorema de Bayes

Fundamentos estadísticos

Dos grandes categorías de la estadística son utilizadas, la estadística inferencia y la descriptiva. La descriptiva busca describir la muestra y la inferencial busca deducir algo acerca de la población, tal como su distribución.

Introducción al Teorema de Bayes

Fundamentos estadísticos

Usualmente, la meta del análisis es crear una historia de los datos; desafortunadamente, es muy sencillo utilizar incorrectamente la estadística.

Esto es especialmente cierto de la estadística inferencial, que es utilizada en estudios científicos para mostrar la relevancia de sus hallazgos.

Nos enfocaremos en una primera etapa en estadística descriptiva.

Introducción al Teorema de Bayes

Fundamentos estadísticos

Estadística descriptiva univariable implica la obtención de la información de solamente una variable.

Es utilizada para describir o resumir la información con la que trabajamos, comenzaremos con una medida de la tendencia central, que describe donde la mayor parte de nuestra información se encuentra centrada y una medida de dispersión, que indicara que tan lejos se encuentran los valores.

Introducción al Teorema de Bayes

Tendencia central

Describe el centro de nuestra distribución de datos. Existen 3 indicadores de tendencia central: la media aritmética, la mediana y la moda.

Media aritmética

Cambien denominado promedio, se calcula sumando todos los valores y dividiendo entre la cantidad de datos.

Introducción al Teorema de Bayes

Fundamentos estadísticos

Mediana

Valor que se sitúa en la mitad de la distribución

Moda

Es el valor más frecuente de la distribución.

Introducción al Teorema de Bayes

Dispersión

El saber donde se encuentra el centro de la distribución nos permitirá parcialmente resumir la distribución de los datos, necesitamos saber como se encuentran los valores con respecto al centro. Tenemos múltiples indicadores relacionados.

Rango

Es la distancia entre el valor más pequeño y el más grande.

Introducción al Teorema de Bayes

Notas sobre el rango

El rango contara con las mismas unidades que nuestros datos. Por lo tanto a menos que dos distribuciones esten en las mismas unidades y midiendo la misma cosa, no podremos comparar sus rangos y decir que uno esta mas disperso que otro.

Introducción al Teorema de Bayes

Varianza

En el caso del rango, si tenemos valores atípicos, el rango sera inservible, asimismo no nos dice que tan disperso esta respecto al centro.

La varianza describe que tan retiradas las observaciones se encuentran del valor promedio.

Se denota con sigma cuadrada

Bessel's correction(n-1)

Introducción al Teorema de Bayes

Desviación estándar

La varianza nos da unidades cuadradas, por lo que no es útil de manera directa para describir los datos, por lo que se utiliza la desviación estandar que es la raíz cuadarada de la varianza para poder realizar comparaciones.

Introducción al Teorema de Bayes

Fundamentos estadísticos

Estadística de una sola variable

Describe el centro de nuestra distribucion de datos. Existen 3 indicadores de tendnecia central: la media aritmética, la mediana y la moda.

Media aritmética

Tambien denominado promedio, se calcula sumando todos los valores y dividiendo entre la cantidad de datos.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción al Teorema de Bayes

Análisis de datos con python

What Kinds of Data?

When I say “data,” what am I referring to exactly? The primary focus is on structured data, a deliberately vague term that encompasses many different common forms of data, such as:
• Tabular or spreadsheet-like data in which each column may be a different type (string, numeric, date, or otherwise). This includes most kinds of data commonly
stored in relational databases or tab- or comma-delimited text files.

Introducción a la materia

Análisis de datos con python

• Multidimensional arrays (matrices).
• Multiple tables of data interrelated by key columns (what would be primary or foreign keys for a SQL user).
• Evenly or unevenly spaced time series.
This is by no means a complete list. Even though it may not always be obvious, a large percentage of datasets can be transformed into a structured form that is more suitable for analysis and modeling. If not, it may be possible to extract features from a datasetnos equivalentes)

Introducción a la materia

Análisis de datos con python

•into a structured form. As an example, a collection of news articles could be processed into a word frequency table, which could then be used to perform sentiment
analysis.
Most users of spreadsheet programs like Microsoft Excel, perhaps the most widely used data analysis tool in the world, will not be strangers to these kinds of data.

Introducción a la materia

pip install jupyter

En carpeta de cuadernos (cd somewhere):

jupyter notebook

En interfaz web:

new python 3

En cuaderno:

print("Este es el bloque 1")

cell--> run cell ( cell , celda , bloque terminos equivalentes)

25/01

Introducción a la materia

En cuaderno:

print("Este es el bloque 1")

cell--> run cell (cell , celda , bloque términos equivalentes)

insert--> insert cell arriba

aparecen errores en el ide

In [3] el numero identifica el orden de ejecucion en el que ejecutamos los bloques

kernel--> interrupt o restart

Shortcut keys

shift+enter (ejecutar bloque de codigo)

ctrl+enter

25/01

Introducción a la materia

En cuaderno:

markdown celll

25/01

Introducción a la materia

En cuaderno:

Mover bloques

Edit--> move cell down, move cell up

Combinar bloques

Edit-->merge cell below, merge cell above

copiar y pegar bloques con los botones

Poner nombre al cuaderno

file--> new notebook--> python 3--> nombre: analisis de sentimientos.

Shortcut keys

Agenda

1.1. Encuadre del curso 

1.2. Introducción a los Sistemas Inteligentes  

1.3. Agentes y búsqueda

1.4. Teorema de Bayes  

Unidad 1: Introducción a los Sistemas Inteligentes

Análisis de datos con python

Existe un "ecosistema" en python usual para el análisis de datos, en el cual se encuentran múltiples librerías involucradas.

NumPy

Procedente de "Numerical Python" (NumPy), ha sido una piedra angular del computo numérico en python.

Provee estructuras de datos, algoritmos, entre otros elementos para aplicaciones científicas.

Introducción al Teorema de Bayes

Pandas

Provee estructuras y funciones de alto nivel diseñadas para que el trabajo con estructuras o información tabular sea sencillo, rápido y expresivo.

Desde su arribo en 2010, ha facilitado el análisis de datos en python.

Utilizaremos dos objetos de pandas DataFrame (tabular, orientado a columnas con capacidad para etiquetado de renglones y columnas) y las Series un arreglo unidimensional con etiqueta.

Introducción al Teorema de Bayes

matplotlib
Es la librería mas popular para producir gráficas y visualizaciones de dos dimensiones listas para publicarse.

Creado por John D. Hunter y actualmente mantenido por un gran grupo de desarrolladores.

Existen múltiples opciones alternativas en la actualidad.

Introducción al Teorema de Bayes

Paquetes de python

• Piezas de código que extienden funcionalidades de python
• Carpeta con codigo.py con estructura diseñada para usar funciones y clases

Utilidad

• Podemos hacer cálculos complejos reutilizando código
• Cuentas estadísticas, modelos, etc

Introducción al Teorema de Bayes

Convenciones para importar librerías

Nos permite diferenciar si es algo ya existente en python contra algo externo.

La convención de la comunidad de python es la siguiente:

Si vemos np.arange es una referencia a función arange de NumPy

Introducción al Teorema de Bayes

Diferencia entre función y método

Una función

Instrucciones que retornan algún resultado, existentes en alguna librería.

Método

Instrucciones que trabajan sobre un objeto generado por la librería.

Introducción al Teorema de Bayes