Sistemas Inteligentes

Unidad de competencia III. Algoritmos de aprendizaje

Ing. Oscar Alonso Rosete Beas

Semana 26 Abril Rev:1 ciclo 2021-1

Agenda

3.1. Aprendizaje supervisado y no supervisado
3.2. Algoritmo “Backpropagation through time”
3.3. Aprendizaje en tiempo real
3.4. Algoritmo K-Means
3.4. Redes Neuronales

Unidad de competencia III. Algoritmos de aprendizaje

Unidad 2

Agenda

3.1. Aprendizaje supervisado y no supervisado
3.2. Algoritmo “Backpropagation through time”
3.3. Aprendizaje en tiempo real
3.4. Algoritmo K-Means
3.4. Redes Neuronales

Unidad de competencia III. Algoritmos de aprendizaje

Repaso metodologías IA

Repaso Agentes Inteligentes

Inteligencia Artificial

Es la ciencia de enseñar a las computadoras a hacer predicciones basadas en datos.

En un nivel básico, el aprendizaje automático implica dar a una computadora un conjunto de datos y pedirle que haga una predicción.

Aprendizaje automático

Inteligencia Artificial

Al principio, la computadora tendrá muchas predicciones incorrectas. Sin embargo en el transcurso de miles de predicciones, la computadora actualizará su algoritmo para hacer mejores predicciones.

Este tipo de computación predictiva solía ser imposible. Las computadoras simplemente no podían almacenar suficientes datos o procesarlos lo suficientemente rápido como para aprender de manera efectiva.

Aprendizaje automático

Inteligencia Artificial

En la siguiente figura se muestran tres subconjuntos del aprendizaje automático que pueden utilizarse:

Aprendizaje supervisado, no supervisado y de refuerzo

Aprendizaje automático

Inteligencia Artificial

Imaginemos que hay que organizar 10,000 fotografías y los algoritmos tienen que identificar las fotos en las que aparece un gato.

Aprendizaje automático

Inteligencia Artificial

Los algoritmos usan datos que ya han sido etiquetados u organizados previamente para indicar como tendría que ser categorizada la nueva información. Con este método, se requiere la intervención humana para proporcionar retroalimentación.

Enseñaríamos previamente al algoritmo fotos donde apareciera un gato para que luego pudiera identificar imágenes similares.

Aprendizaje supervisado

Inteligencia Artificial

Los algoritmos no usan ningún dato etiquetado u organizado previamente para indicar como tendría que ser categorizada la nueva información, sino que tienen que encontrar la manera de clasificarlas ellos mismos. 

Este método no requiere la intervención humana.

En el ejemplo, los algoritmos tendrían que clasificar ellos mismos todas las fotos en las que apareciera un gato en una categoría.

Aprendizaje no supervisado

Inteligencia Artificial

Supervised vs Unsupervised Learning

Inteligencia Artificial

Los algoritmos que aprenden de la experiencia.

En otras palabras, tenemos que darles un refuerzo positivo cada vez que aciertan.

La forma en que estos algoritmos aprenden se puede comparar con la de los perros cuando les damos recompensas al aprender a sentarse, por ejemplo.

Aprendizaje por refuerzo (reinforcement learning)

Inteligencia Artificial

Aprendizaje por refuerzo (reinforcement learning)

Inteligencia Artificial

Una de las aplicaciones más poderosas y de mayor crecimiento de la inteligencia artificial es el aprendizaje profundo.

Se trata de un subcampo del aprendizaje automático que se utiliza para resolver problemas muy complejos y que normalmente implican grandes cantidades de datos. el aprendizaje profundo se produce mediante el uso de redes neuronales organizadas en capas para reconocer relaciones y patrones complejos en los datos.

Aprendizaje profundo (Deep learning)

En una extensión no menor a dos cuartillas con sus respectivas referencias deberá investigar y desarrollar los siguientes temas:

1. Diferencia entre una tarea de clasificación y una de regresión lineal.

2. Gradiente Descendiente para aprendizaje automático (Gradient Descent)

3. Perceptron

4. Algoritmo “Backpropagation through time

Aprendizaje automático

Trabajo de investigación

Agenda

3.1. Aprendizaje supervisado y no supervisado
3.2. Algoritmo “Backpropagation through time”
3.3. Aprendizaje en tiempo real
3.4. Algoritmo K-Means
3.4. Redes Neuronales

Unidad de competencia III. Algoritmos de aprendizaje

Supongamos que estamos en la búsqueda de un apartamento

Hablamos con amigos, familiares y hacemos una búsqueda en línea por apartamentos en Mexicali y detectamos que los apartamentos en diferentes zonas tiene precios distintos.

Aprendizaje automático

• Un departamento de una cama céntrico cuesta 5000 al mes
• Departamento de dos camas céntrico 7,000
• Departamento de una cama con cochera cuesta 6,000
• Departamento de una cama orillas de la ciudad 3,000
• Departamento con 2 camas orillas de la ciudad 4,500
• Departamento de 1 cama orillas de la ciudad con cochera 4,800

Aprendizaje automático

Empezamos a notar patrones:

• Los apartamentos céntricos son usualmente mas costosos y tienen un costo entre 5,000 y 7,000. 
• Los de las afueras mas baratos
• Incrementar el numero de habitaciones agrega entre 1,500 y 2,000 al mes
• La cochera agrega entre 800 y 1000

Aprendizaje automático

Este ejemplo muestra como utilizamos la información para encontrar patrones y tomar decisiones.

Si encuentras un departamento de 2 habitaciones céntrico con cochera, sería razonable asumir que el precio sería aproximadamente de 8,000 al mes.

Aprendizaje automático

La figura muestra la relación entre distintos atributos de la información.

Los puntos se encuentran mas cercanos al centro de la ciudad y hay un patrón claro de relación con el precio, así como un decremento gradual al incrementar la distancia.

Aprendizaje automático

Tipícamente la información esta representada en tablas. Las columnas son referidas como los atributos de la información, los renglones como los ejemplos. Al comparar dos atributos, el atributo medido puede ser representado como y  y el atributo cambiante como x.

Aprendizaje automático

Aprendizaje de maquina es útil cuando tenemos información y cuestiones a investigar que la información podría resolver.

Diferentes categorías de algoritmos resuelven diferentes preguntas.

Aprendizaje automático

Aprendizaje automático

Una de las técnicas mas comunes es el aprendizaje supervisado. Al visualizar la información queremos comprender las relaciones y patrones en la información para predecir los resultados.

En el ejemplo de búsqueda de apartamentos podría utilizarse, así como al utilizar autocompletado en aplicaciones o al recibir preferencias musicales.

Aprendizaje supervisado

Aprendizaje automático tiene dos subcategorías, regresión y clasificación.

Regresión involucra trazar una linea para separar un conjunto de datos que  sea acorde a  la forma de la información.

Puede utilizarse para detectar tendencias entre iniciativas de marketing y ventas.

Aprendizaje supervisado

Clasificación busca predecir categorías de ejemplos basados en sus atributos.

Podemos determinar si es un carro o un camión basándonos en su cantidad de llantas, peso y velocidad máxima.

Aprendizaje supervisado

No se trata solamente de algoritmos. Realmente, en múltiples ocasiones se trata del contexto de la información, la preparación de la información y las preguntas que se están realizando.

Machine learning workflow

Para el exito del aprendizaje automatico es clave recolectar y entender la informacion.

Supongamos trabajaremos con análisis de diamantes

Machine learning workflow

La tabla describe múltiples diamantes y sus propiedades. X, Y, Z describen el tamaño del diamante en 3 dimensiones espaciales.

Machine learning workflow

El conjunto de datos consiste de 10 columnas, referidas como atributos y 50,000 renglones.

Machine learning workflow

Preparación de datos

puede haber datos faltantes, inconsistencia, formatos difíciles de trabajar etc.

Machine learning workflow

Entrenar modelo

Como un paso preliminar debemos de asegurarnos de tener información suficiente para entrenar el modelo, así como información para probar que tan bien se están haciendo las predicciones con nuevos ejemplos.

Después de tener un entendimiento de como los atributos de los departamentos afectan el precio, podíamos hacer predicciones.

Machine learning workflow

Información para entrenar, probar y validar

La validación cruzada o cross-validation es una técnica utilizada para evaluar los resultados de un análisis estadístico y garantizar que son independientes de la partición entre datos de entrenamiento y prueba.

Overfitting, Underfitting, Good fit

Machine learning workflow

Información para entrenar, probar y validar

La validación cruzada o cross-validation es una técnica utilizada para evaluar los resultados de un análisis estadístico y garantizar que son independientes de la partición entre datos de entrenamiento y prueba.

Sobreajuste, infrajuste

Machine learning workflow

Entrenar modelo

La selección del algoritmo a utilizar se ve influenciada por múltiples factores entre los cuales se encuentra la pregunta de investigación y la naturaleza de la información disponible.

Si la pregunta tiene que ver con predicciones del precio de un diamante basado en el peso en quilates, los algoritmos de regresión pueden ser útiles.

Machine learning workflow

Regresión

Significa predecir un valor continuo, tal como el precio  de un diamante.

Al decir continuo nos referimos a que el valor predecido puede ser cualquier numero en un rango definido.

El precio de 2,271, por ejemplo, es un valor continuo  entre 0 y el máximo valor que la regresión puede predecir.

Machine learning workflow

Regresión lineal

La regresión lineal es uno de los algoritmos de aprendizaje más simples, nos ayuda a encontrar la relación entre dos variables y nos permite predecir una variable  con relación a otra.

Por ejemplo el precio del diamante considerando cantidad de quilates.

Machine learning workflow

Regresión lineal

Empecemos buscando encontrar una tendencia en la información para realizar predicciones.

Para explorar la regresión lineal, la pregunta de investigación sera:

¿Existe correlación entre los quilates de un diamante y su precio?, y en caso de existir, ¿podemos realizar predicciones precisas?

Machine learning workflow

Regresión lineal

Empezaremos por aislar los atributos de quilates y el precio y graficarlos.

Utilizaremos quilates como x y el precio como y

Machine learning workflow

Regresión lineal

El peso en quilates es una variable independiente (x). La variable independiente es la que cambia en un experimento para determinar el efecto en la variable dependiente (precio). 

Machine learning workflow

Machine learning workflow

Regresión lineal

Debemos notar el peso en quilates son valores pequeños(decimales de gramo) comparados con el precio(miles). Se recomienda multiplicar por 1000 para que sean mas fáciles los cálculos.

Machine learning workflow

Machine learning workflow

Regresión lineal

Al escalar los renglones, no afectamos la relación en la información ya que se ha realizado la misma operación sobre cada ejemplo.

Machine learning workflow

Encontrar la media de los atributos
Para determinar la linea de regresión es necesario obtener la media de cada atributo.
La media es la suma de todos los valores dividida entre el  numero de valores.1,229 para peso en quilates(linea vertical) y $3,431 para el precio(linea horizontal).

Machine learning workflow

Encontrar la media de los atributos
La media es importante porque matemáticamente cualquier linea de regresión deberá pasar a través de la intersección de la media en x y la media en y. Múltiples lineas pueden pasar por ese punto, algunas serán mejores para ajustarse a la información.

Machine learning workflow

Encontrar el promedio de los atributos

El método de mínimos cuadrados busca crear una linea que minimiza las distancias entre las lineas y todos los puntos.

Machine learning workflow

Método mínimos cuadrados

¿Porque una linea?

Supongamos que queremos construir un subterráneo que pase lo mas cerca posible de la mayoría de las oficinas principales.

No sería factible que visite cada edificio habrían múltiples estaciones y un costo elevado derivado.

Machine learning workflow

La regresión lineal determinaría una linea recta que se ajuste a la información para minimizar distancia de puntos general.

Entender la ecuación de la recta es importante.

y = c + mx

Machine learning workflow

La ecuación de la recta se describe por la siguiente expresión:

y = c + mx

y: variable dependiente

x: variable independiente

m: pendiente de la recta

c: valor de y , donde la linea intersecta el eje y.

Machine learning workflow

Machine learning workflow

Sabemos que la media de x es 1,229 y la media de y es 3,431,

Machine learning workflow

Calculamos la diferencia de cada valor de quilates y de precio con respecto a su media.

Machine learning workflow

Elevamos al cuadrado la diferencia del valor de quilates con respecto a la media y sumamos todos estos valores.

Machine learning workflow

Multiplicamos la diferencia de los valores de peso en quilates y precio con respecto a su media y realizamos su sumatoria (11,624,370)

Machine learning workflow

Utilizamos estos valores para calcular m:

Con el valor de m y las medias calculamos c:

Machine learning workflow

Por ultimo graficamos la línea resultante

Machine learning workflow

Determinar la precisión

La información se particiona en 80/20. 80% para entrenar y 20% para realizar pruebas del modelo. Se utilizan porcentajes ya que la cantidad de ejemplos necesarios para entrenar un modelo es difícil de saber.

De acuerdo al contexto y la pregunta de investigación puede requerirse más o menos información.

Machine learning workflow

Determinar la precisión

En regresión lineal un método común para medir la precisión de un modelo es calcular R2 (R squared) para determinar la varianza entre el valor actual y el valor predecido.

Machine learning workflow

R²

Mean vs fitted line

Machine learning workflow

R²

Su valor nunca es negativo y usualmente expresado en porcentaje.

Machine learning workflow

El resultado—0.88—significa que el modelo es 88% preciso con información nueva.

El resultado es razonable, mostrando que  la regresión lineal es precisa.

Machine learning workflow

Mejorar el desempeño

Entrenar y probar en información de prueba nos da una medida del desempeño del modelo. Cuando no se obtiene un resultado esperado debe realizarse trabajo adicional para mejorarlo lo que puede requerir iterar en los pasos previos.

Machine learning workflow

Recomendaciones para mejorar precisión

• Recolectar más información.
• Preparar la información distina
• Seleccionar atributos distintos.
• Seleccionar un algoritmo distinto para entrenar el modelo
• Realizar un tratamiento sobre los falsos positivos (overfitting)

Machine learning workflow

Referencia de clase

Regresión lineal

El escenario más sencillo con el que nos podemos encontrar es el de una variable dependiente y una única variable independiente, que siguen una relación aproximadamente lineal, salvo ruido (típicamente, normalmente distribuido):

En general, vamos a desconocer la relación de arriba, pero con un conjunto de datos y mediante cuadrados mínimos podemos estimar los coeficientes.

Si tenemos múltiples variables independientes, estamos en un problema de regresión  lineal múltiple:

Ejemplo: Precio de un auto en términos de consumo de combustible, año de fabricación, etc.

Sin embargo, este modelo nos impone una relación lineal entre la variable dependiente y sus regresores.

Regresión lineal

¿Cómo sabemos que necesitamos relaciones no-lineales?

En el gráfico de los residuos (residual plot analysis) no deberíamos ver ningún patrón. Si lo hubiera significa que el ruido depende de alguna de las variables independientes.

Regresión lineal

y-y estimada

En función de los valores estimados

¿Cómo sabemos que necesitamos relaciones no-lineales?

En el gráfico de los residuos no deberíamos ver ningún patron. Si lo hubiera significa que el ruido depende de alguna de las variables independientes.

Regresión lineal

y-y estimada

En función de los valores estimados

Ordinary least squares(OLS)

Mínimos cuadrados ordinarios

Análisis de los residuos (Residual plot analysis)

El supuesto más importante de la regresión lineal es que los errores son independientes y normalmente distribuidos.

Características de una buena gráfica de residuos:

• Alta densidad de los puntos cercano al origen y baja densidad fuera del origen
• Simetría respecto al origen.

Regresión lineal

Análisis de los residuos (Residual plot analysis)

Regresión lineal

Buena gráfica de residuos

Mala gráfica de residuos

¿Cómo introducir no linealidad al modelo?

En ningun momento dijimos que son las x's, pueden ser cualquier cosa...

La regresión polinómica sigue siendo lineal, ya que es lineal respecto a los parámetros del modelo.

Regresión lineal

La regresión polinómica sigue siendo lineal, ya que es lineal respecto a los parámetros del modelo.

Los parámetros se encuentran minimizando la suma del cuadrado de los residuos al igual que antes (residual sum of square).

Grado del polinomio:

Hiper-parámetro del modelo

Regresión polinómica

Parámetros vs Hiperparámetros

Los parámetros son las variables que definimos y ajustamos. Los parámetros son variables aprendidas y actualizadas por la red durante el entrenamiento y que nosotros no ajustamos.

Regresión polinómica

Consideremos este conjunto de datos generados sinteticamente

Se están considerando los datos generados más un ruido normal.

Regresión polinómica

¿Cómo elegimos el grado del polinomio?

¿Qué pasa si probamos con un polinomio de grado m<N cualquiera?

Regresión polinómica

¿Cómo elegimos el grado del polinomio?

¿Qué pasa si probamos con un polinomio de grado m<N cualquiera?

Regresión polinómica

Sub-ajuste (underfitting)

El ajuste es bastante malo (tenemos muy pocos grados de libertad).

Los datos presentan una variablidad, más allá del ruido intrínseco, que un modelo simple no puede captar.

Regresión polinómica

Sobreajuste (overfitting)

El ajuste es perfecto (tengo tantos grados de libertad como datos en mi sistema). La curva pasa por todos los puntos (describe exactamente la variabilidad de los datos)

Regresión polinómica

¿Cuál es el problema de sub-ajustar o sobre-ajustar?

Hacemos una mala predicción

Underfitting: cometemos sistemáticamente el mismo error.

Regresión polinómica

¿Cuál es el problema de sub-ajustar o sobre-ajustar?

Hacemos una mala predicción

Overfitting: La estimación perfecta en los datos de entrenamiento se pierde cuando predecimos nuevos datos.

Regresión polinómica

¿Cuál es el problema de sub-ajustar o sobre-ajustar?

Cuando el modelo es identificado, generaliza bien (describe bien datos distintos a los que fue entrenado)

Regresión polinómica

¿Qué pasa al cambiar datos de nuestro modelo (provenientes de la misma población)?

Regresión polinómica

Grado 1: mucho sesgo

Grado 3: poco sesgo y poca varianza.

Grado 8 (valor -0.8): mucha varianza

Cross validation

Sesgo y Varianza

Regresión polinómica

Sesgo y Varianza

El error que comete un modelo proviene de dos fuentes, sesgo y varianza, que compiten entre si al variar la complejidad (grado del polinomio) del modelo.

Regresión polinómica

Modelo de juguete

Un modelo de juguete es un conjunto simplificado de objetos y las ecuaciones que los relacionan para que, sin embargo, puedan ser utilizados para entender un mecanismo que también es útil en la teoría completa, no simplificada.

Regresión polinómica

Modelo de juguete

Un modelo que tenga la suficiente complejidad para captar la variabilidad de los datos, pero suficientemente simple para abstraer de los datos , abstenerse o tapar de ruido que presentan los datos  y poder señalizar o explicar bien otro conjunto de datos.

Regresión polinómica

K-fold Cross-validation for tuning hyper parameters

Regresión polinómica

K-fold Cross-validation for tuning hyper parameters

Regresión polinómica

Características del sobreajuste

• Cantidad de parámetros libres comparable con la cantidad de datos con la que ajustamos.
• Coeficientes muy altos

Regresión polinómica

Opciones contra sobreajuste (Regularización)

La idea de regularizar el polinomio es prevenir que los coeficientes no adopten valores absolutos muy altos, asociados a cambios bruscos en la curva ajustada.

Regresión polinómica

● q = 2 (ridge regression)
● q = 1 (lasso regression)

Regularización

Para atenuar el impacto de los problemas que aparecen al emplear modelos ajustados por minimos cuadrados ordinarios tales como el overfitting podemos utilizar regularización ridge, lasso o elastic net.

Estos métodos fuerzan a que los coeficientes del modelo tiendan a cero, minimizando así el riesgo de overfitting, reduciendo varianza, atenuado el efecto de la correlación entre predictores y reduciendo la influencia en el modelo de los predictores menos relevantes.

Regresión polinómica

Regularización

Ridge

Lasso

Regresión polinómica

Regularización

La principal diferencia práctica entre lasso y ridge es que el primero consigue que algunos coeficientes sean exactamente cero, por lo que realiza selección de predictores, mientras que el segundo no llega a excluir ninguno.

Regresión polinómica

Regularización

● q = 2 (ridge regression): deja a la función a minimizar cuadrática, con lo cual el proceso de minimización es muy parecido al de cuadrados mínimos.
● q = 1 (lasso regression): para valores de alfa altos, fuerza a que muchos coeficientes se vayan a 0, lo cual hace que el modelo se vuelva “esparso” (sparse en inglés, con muchos ceros). Ayuda a interpretar mejor modelo ya
que actúa como un selector de las variables importantes (se queda con los términos dominantes y descarta los otros).

Regresión polinómica

Regularización

Gracias a esto podríamos incrementar la complejidad del modelo y con el termino de regularización mejorar las características de predicción de datos futuros.

Regresión polinómica

Opción para interpolación

Random forest regression (bosque aleatorio)

Regresión polinómica

Regresión polinómica

1. Revisar la documentación existente en: https://github.com/iamaziz/PyDataset
2. Seleccionar un dataset
3. Seleccionar dos atributos
4. Ajustar un modelo de regresión polinomial de acuerdo al material visto en clase que obtenga los mejores resultados en el conjunto de datos de entrenamiento así como el conjunto de datos de prueba.

Aprendizaje automático

Actividad individual

1. Agregar visualizaciones donde se muestren los datos de entrenamiento, datos de prueba y la predicción de su modelo.
2. Agregar alguna métrica de la precisión de su predicción.
3. Justificar el ajuste propuesto de hiperparámetros

Aprendizaje automático

Actividad individual

Agenda

3.1. Aprendizaje supervisado y no supervisado
3.2. Algoritmo “Backpropagation through time”
3.3. Aprendizaje en tiempo real
3.4. Algoritmo K-Means
3.4. Redes Neuronales

Unidad de competencia III. Algoritmos de aprendizaje

Motivación

Regresión logística y clasificación

Motivación

Regresión logística y clasificación

Solución

Regresión logística y clasificación

Clasificación

Los problemas de clasificación involucran asignar una etiqueta a un ejemplo basado en sus atributos.

Estos problemas son diferentes a los de regresión, en  los que un valor es estimado.

Regresión logística y clasificación

Clasificación

La clasificación busca predecir un valor basado en una o más atributos, pero a diferencia de la regresión se busca predecir una clase discreta en lugar de un valor continuo.

Ejemplos de valores discretos son atributos categóricos tales como el color en el conjunto de datos del diamante a diferencia de valores continuos como el precio.

Regresión logística y clasificación

Clasificación

Suponga que contamos con múltiples vehículos que son carros y camiones, de los cuales mediremos el peso de  y contaremos su número de llantas de cada vehículo.

Podríamos buscar una relación entre el peso y el número de llantas de los vehículos para predecir si un vehículo es un carro o un camión.

Regresión logística y clasificación

Regresión vs Clasificación

Considere los siguientes escenarios y determine si es un problema de regresión o clasificación:

• Basado en la información de ratas, donde contamos con un atributo de la expectativa de vida y la obesidad, buscamos determinar la correlación entre los dos atributos.
• Basado en información de animales, donde contamos con el peso de cada animal y si cuenta o no con alas, buscamos determinar si esos animales son pájaros.

Regresión logística y clasificación

Regresión vs Clasificación

• Basado en información de dispositivos de cómputo, donde contamos con información de dimensiones de la pantalla, peso y sistema operativo y buscamos determinar si los dispositivos son tablets, laptops o teléfono.
• Basado en información del clima, donde contamos con información de la cantidad de lluvia y el valor de humedad y se busca determinar la humedad en diferentes temporadas de lluvia.

Regresión logística y clasificación

Regresión vs Clasificación

• Regresión: La relación entre las dos variables se explora. La expectativa de vida es la variable dependiente y la obesidad la variable independiente.
• Clasificación: Al asignar la etiqueta de si es un pájaro o no utilizando el peso y las características de los ejemplos.

Regresión logística y clasificación

Regresión vs Clasificación

• Clasificación: Se clasifica un ejemplo en tablet, laptop o teléfono utilizando sus características.
• Regresión: Se explora la relación entre cantidad de lluvia y humedad. La variable dependiente es la humedad y la independiente la cantidad de lluvia.

Regresión logística y clasificación

Diferentes algoritmos son utilizados para problemas de regresión y clasificación.

Algunos algoritmos de clasificación populares son regresión logística, análisis discriminante lineal (LDA), redes neuronales artificiales (ANN),  máquinas de vectores de soporte (SVM), K-Nearest-Neighbor (k-NN), clasificador bayesiano ingenuo (NB) y arboles de decisión (DT), bosques aleatorios y técnicas de aprendizaje profundo.

Regresión logística y clasificación

Motivación

Predicción pago de los clientes

Información utilizada: Ingreso, antecedentes previos de clientes

Regresión logística y clasificación

Motivación

Decisiones médicas de urgencia:

Llega paciente a una guardia, luego de pocos estudios se decide si se lleva a intensivos o no.

Regresión logística y clasificación

Motivación

El clima:

Dadas las temperaturas y la humedad, determinar si lloverá o no lloverá

Regresión logística y clasificación

Regresión Logística

La regresión logística y la regresión lineal son distintas en cuanto a los problemas que resuelven.

La regresión lineal se enfoca en predicciones numéricas y la regresión logística es utilizada en algoritmos de clasificación para predecir clases discretas.

Regresión logística

Regresión Logística

Por ejemplo la regresión logística se utiliza frecuentemente para detección de fraudes o identificar correos spam.

La principal diferencia es añadir una función sigmoide para calcular y convertir el resultado numérico a una probabilidad entre 0 y 1.

Regresión logística

La hipótesis de representación

Tenemos entonces:

• x1, x2 características numéricas
• Una etiqueta categórica (inicialmente binaria)

¿Qué hacemos?  clasificamos

Regresión logística

La hipótesis de representación

Supongamos el siguiente problema de clasificación

Llevamos las categorías a la representación binaria

Regresión logística

La hipótesis de representación

¿Qué pasa si tratamos de ajustar con una lineal?

Regresión logística

La hipótesis de representación

¿Qué pasa si tratamos de ajustar con una función lineal?

• Imagen no acotada a 0 y 1.
• Con nuevos datos de entrenamiento pueden cambiar abruptamente las predicciones del modelo, al agregar un registro al entrenamiento del modelo.

Regresión logística

La hipótesis de representación

Pensemos en una función como una probabilidad, no tiene sentido una probabilidad de 1.5

Utilizaremos una función con imagen acotada entre 0 y 1 (función sigmoidea), donde el parámetro de la exponencial son los coeficientes de la lineal

Regresión logística

Función sigmoidea

Utilizamos un poco del conocimiento previo de regresiones lineales para meterlo dentro del clasificador categórico.

La función sigmoidea también es llamada función logística, nos permite clasificar de forma binaria una categoría a partir de características numéricas.

Regresión logística

Función sigmoidea

• Monótonamente creciente
• Acotada entre 0 y 1
• x es la variable independiente, y es la variable dependiente

Regresión logística

Función sigmoidea

Nos otorga probabilidad de que un registro valga y, dado que tengo parámetros beta y atributos (features) x

En cierta medida, se puede identificar como una probabilidad condicional y el teorema de bayes.

Regresión logística

Probabilidad de corte/quiebre:

Valor a partir del cual asignaría la etiqueta.

En la imagen es 0.5.

Esto es un potencial hiperparámetro.

Regresión logística

Frontera de decisión

Trabajando con la probabilidad de corte en 0.5, la cual determina los parámetros B.

Regresión logística

Frontera de decisión (más de una característica)

Trabajando con la probabilidad de corte en 0.5, la cual determina los parámetros B.

Regresión logística

Líneas encontradas con gradiente descendiente

Regresión logística

Frontera de decisión

Al igual que con la regresión lineal, podemos proponer polinomios:

Regresión logística

Búsqueda de coeficientes

A diferencia de lo que teníamos en el caso lineal, no utilizamos cuadrados mínimos.

Utilizamos conceptos de probabilidad (máxima verosimilitud), donde buscamos minimizar el producto de probabilidad de que a cada punto se le asigne la categoría correcta.

Regresión logística

Máxima verosimilitud y su relación con la función de costo del método de mínimos cuadrados

Máxima verosimilitud 

Regresión logística

Búsqueda de coeficientes

La máxima verosimilitud(MLE, o Maximum Likelihood Estimation), no es un algoritmo, es un metodo de estimación. Usualmente se utiliza un algoritmo tal como gradiente descendiente para calcular la máxima verosimilitud.

Regresión logística

Gradiente descendiente

El método del gradiente descendiente nos permite automatizar de forma más eficiente el ir probando coeficientes de los modelos de machine learning.

Regresión logística

Gradiente descendiente

Es un algoritmo de optimización. Nos permite obtener un mínimo (o un máximo, gradient ascent) de nuestra función de costo J(w, b)

Regresión logística

Función de coste

La función de coste J es la función de lo que queremos optimizar. En el caso más simple, es igual al error que queremos minimizar.

J = MSE
En algunos casos nos interesará introducir términos de regularización

Regresión logística

Gradiente descendiente

Hay tres tipos populares, los cuales difieren de la cantidad de datos a utilizar:

• Batch gradient descent
• Stochastic gradient descent
• Mini-batch gradient descent

Se puede usar tanto con modelos simples como en modelos complejos (por ejemplo, redes neuronales con muchas variables)

Regresión logística

Implementación de gradiente descendiente para regresión lineal y logística

Regresión logística

Función de costo para la regresión lineal:

Mean Square Error (MSE)

Clasificación múlitple

¿Que pasa si tenemos mas de dos posibles categorías?

Predicción pago de los clientes:

paga el total, paga una parte, paga el minimo

Decisiones médicas de urgencia:

puede esperar, terapia intermedia, terapia intensiva.

Regresión logística

Clasificación múltiple

Uno contra todos, vamos a pensar en una comparación binaria para cada categoría:

• Que pertenezca a A o no
• Que pertenezca a B o no
• Que pertenezca a C o no

Regresión logística

Clasificación múltiple

• Que pertenezca a A o no (0.7)
• Que pertenezca a B o no (0.5)
• Que pertenezca a C o no (0.8)

Nos quedamos con la categoría según cual sea el :

Regresión logística

Regresión logística

Agenda

3.1. Aprendizaje supervisado y no supervisado
3.2. Algoritmo “Backpropagation through time”
3.3. Aprendizaje en tiempo real
3.4. Algoritmo K-Means
3.4. Redes Neuronales

Unidad de competencia III. Algoritmos de aprendizaje

Redes neuronales

1. Revisar la documentación existente en: https://github.com/iamaziz/PyDataset
2. Seleccionar un dataset
3. Ajustar un modelo de regresión logística de acuerdo al material visto en clase que obtenga los mejores resultados en el conjunto de datos de entrenamiento así como el conjunto de datos de prueba.

Aprendizaje automático

Actividad individual

1. Agregar visualizaciones donde se muestren los datos de entrenamiento, datos de prueba y la predicción de su modelo, así como la frontera de decisión.
2. Agregar alguna métrica de la precisión de su predicción.
3. Justificar el ajuste propuesto de hiperparámetros

Aprendizaje automático

Actividad individual

Introducción

Las redes neuronales artificiales (ANNs) son herramientas fundamentales del machine learning, utilizadas en una variedad de de formas para el logro de objetivos tales como reconocimiento de imágenes, procesamiento natural de lenguaje, entre otros

Redes neuronales artificiales

Introducción

​Las ANNs aprenden de manera similar a otros algoritmos, su principio es el entrenamiento basado en datos.

Su utilización recomendada es en conjuntos de datos donde es difícil identificar la relación entre lo distintos atributos.

Redes neuronales artificiales

Introducción

Para tener un mejor entendimiento es recomendable ver el contexto general de composición y clasificación de algoritmos de aprendizaje automático.

Redes neuronales artificiales

Introducción

Deep learning es el nombre dado a algoritmos que utilizan AANs en distintas arquitecturas para alcanzar un objetivo.

Redes neuronales artificiales

Introducción

Para su estudio podemos recurrir al ciclo de vida del aprendizaje automático.

Un problema necesita identificarse, los datos deben de ser recolectados, entendidos y preparados, entonces el modelo de ANN sera probado y mejorado si es necesario.

Redes neuronales artificiales

Inspiración

Se encuentran inspiradas en fenómenos naturales, en este caso el cerebro y el sistema nervioso. El sistema nervioso es una estructura biológica que nos permite sentir sensaciones y es la base de la operación del cerebro. 

Redes neuronales artificiales

Inspiración

Las redes neuronales consisten de neuronas interconectadas que comparten información utilizando señales eléctricas y químicas.

Las neuronas pasan información a otras neuronas y ajustan la información para cumplir una función.

Redes neuronales artificiales

Inspiración

Cuando tomas un vaso y tomas agua, millones de neuronas procesan la intención de lo que quieres realizar, la acción física para lograrlo e inclusive te retroalimentan de si fuiste exitoso.

Redes neuronales artificiales

Inspiración

Pensemos en los niños aprendiendo a beber del vaso. Empiezan con mucha dificultad, tirando el vaso. Posteriormente aprenden a sostenerlo con dos  manos,  gradualmente aprenden a sostenerlo con una sola mano y beber sin problemas.

El proceso dura meses, y es un ejemplo de aprendizaje basado en práctica o entrenamiento.

Redes neuronales artificiales

Inspiración

La figura muestra un modelo simplificado en el que se reciben entradas (estímulos), se procesan a través de la red neuronal y se provee una salida o respuesta.

Redes neuronales artificiales

Inspiración

Simplificado, una neurona consiste de dendritas que reciben señales de otras neuronas; un cuerpo de celda y un núcleo que activa y ajusta la señal; un axón que comparte la señal a otras neuronas; y sinapsis que ajusta la señal antes de pasarla a otras dendritas de neuronas.

Redes neuronales artificiales

Clasificación

Aproximadamente 90 billones de neuronas trabajan juntas para obtener nuestro nivel de inteligencia.

Aunque las ANNS están inspiradas en las redes neuronales biológicas, no son representaciones idénticas ya que todavía se encuentra en investigación el sistema. nervioso.

Redes neuronales artificiales

Perceptron

La neurona es un elemento fundamental en el cerebro y sistema nervioso, acepta entradas de otras neuronas, procesa y transfiere los resultados a otras neuronas conectadas.

Las redes neuronales artificiales tienen como concepto fundamental el perceptron, la representación lógica de una neurona biológica.

Redes neuronales artificiales

Perceptron

Los perceptrones también reciben entradas (dendritas), modifican estas entradas con pesos (weights) como la sinapsis,  procesan las entradas con pesos (como el núcleo y celda) y entregan una salida (axón).

Redes neuronales artificiales

Componentes del perceptrón

• Entradas (inputs)—Describe los valores de entrada, en una neurona sería la señal de entrada.
• Pesos (weights)—Representan la sinapsis, influencian la intensidad de una entrada en la respuesta de la salida.

Redes neuronales artificiales

• Nodo oculto (hidden node)—Suma los valores con sus respectivos pesos de entrada y aplica la función de activación al resultado.
• Salida—Describe la salida final del perceptrón

Redes neuronales artificiales

Supongamos que somos agentes de bienes raíces intentando determinar si un departamento sera rentado el siguiente mes, utilizando su dimensión y precio.

Asumimos que un perceptrón ya fue entrenado, es decir, sus pesos fueron ajustados.

Los pesos representan las relaciones e influencia de las variables de entrada.

Redes neuronales artificiales

La figura muestra un perceptrón entrenado para clasificar si un departamento sera rentado. Las entradas representan el precio y dimensiones del departamento. El precio y dimensiones máximas son de $8,000 y 80 metros cuadrados.

Redes neuronales artificiales

La salida del perceptron es la probabilidad de que sea rentado el departamento.

Los pesos, la función de suma y la función de activación son clave para lograr la predicción.

Redes neuronales artificiales

Utilizando el conocimiento del funcionamiento del perceptron, calculemos la salida.

Redes neuronales artificiales

Redes neuronales artificiales

Utilizando el conocimiento del funcionamiento del perceptron, calculemos la salida.

Un ejemplo de implementación de una arquitectura ANN puede ser la clasificación de si sucederá una colisión o no utilizando los atributos con los que cuentan.

Redes neuronales artificiales

Los atributos en el conjunto de datos deben ser entradas y la clase que buscamos predecir la salida.

Los nodos de entrada serán la velocidad, calidad del terreno, rango de visión, experiencia total; el nodo de salida será si habrá colisión.

Redes neuronales artificiales

Redes neuronales artificiales

Como en otros algoritmos, la preparación de los datos es importante para lograr una clasificación exitosa.

El principal reto es representar datos de manera adecuada, por ejemplo representar velocidad y rango de visión, no se puede comparar 65 km/h y visión de 36 grados con una ANN.

Redes neuronales artificiales

Como en otros algoritmos, la preparación de los datos es importante para lograr una clasificación exitosa.

Redes neuronales artificiales

Escalar vs Normalizar

¿Por qué escalamos los datos?

Imagina que estás viendo los precios de algunos productos tanto en yenes como en dólares estadounidenses. Un dólar estadounidense vale alrededor de 100 yenes, pero si no escala sus precios, los algoritmos como SVM o KNN (k-Nearest Neighbor) considerarán una diferencia de precio de 1 yenes tan importante como una diferencia de 1 dólar estadounidense.

Redes neuronales artificiales

Una manera de escalar datos para poder compararlos es utilizar el enfoque min-max, que busca escalar la totalidad de datos de 0 a 1.

También se reduce sesgo en datos de entrada grande, considerando los valores máximos y mínimos para cada atributo.

Redes neuronales artificiales

Los datos seleccionados son los siguientes:

• Velocidad—La velocidad mínima es 0 que significa que el carro no se mueve, la máxima 120, asumiendo limite legal promedio.
• Calidad del terreno—Valor mínimo 0 y valor máximo 10.
• Grado de visión—El valor máximo representaría visión total de 360, el valor mínimo es 0.
• Experiencia del conductor—Consideraremos un máximo de 400,00 km de experiencia y mínimo de 0.

Redes neuronales artificiales

El escalamiento Min-max utiliza los valores mínimos y máximos para cada atributo y encuentra el porcentaje del valor actual para el atributo.

La formula es simple: resta el valor mínimo al valor actual y divide entre la diferencia del mínimo y el máximo.