Redes neuronales convolucionales

MT3006 - Robótica 2

¿Por qué?

De MLPs a redes especializadas

Supongamos que se tiene una aplicación en donde deben clasificarse imágenes a color en dos categorías

De MLPs a redes especializadas

¿Cuáles deberían ser las especificaciones típicas de una red neuronal para esto, formada por perceptrones?

¿Dimensión de cada ejemplo? (asumiendo que se emplean las imágenes en bruto)

\(\dim(\mathbf{x})=224 \times 224 \times 3=150528\)

¿Nodos por capa? Típicamente, las redes que funcionan contienen más nodos que entradas

\(\left(D \ge \dim(\mathbf{x})\right) \times K\) capas \(\sim D^K\)

Inclusive en el caso mínimo de una única capa oculta, esto implica una cantidad impráctica de parámetros

\(\dim(\mathbf{W}) \sim 150528(150529) + 150529\approx 23\) billones

A parte de ser un modelo innecesariamente gigante, también conlleva otras implicaciones:

• Un rule of thumb establece \(\approx 10\times\) la cantidad de parámetros del modelo, es decir \(\approx\) un cuarto de trillón.
• De manera más conservadora, si se quisiera muestrear con una densidad del 1% del rango permisible por pixel se requerirían \(\approx 3\) ejemplos por dimensión de entrada, es decir \(3^{150528}\) que es mayor al número de partículas en el universo (\(3.28\times 10^{80}\)). Esto se conoce como el curse of dimensionality.

Número requerido de ejemplos

• Para imágenes (interpretables por humanos) sabemos que los pixeles cercanos se encuentran estadísticamente relacionados. Sin embargo, la red con perceptrones no considera esto y trata a cada pixel como independiente (y forma relaciones densas entre los mismos y las neuronas).
• Las imágenes presentan ciertas simetrías particulares, como invarianza y equivarianza, que hacen que, por ejemplo, un árbol sea un árbol sin importar su orientación o escala.

Particularidades de la data a procesar

Invarianza

perro

Invarianza

perro

Invarianza

perro

perro

Debería dar un flashback a sistemas LTI

perro

perro

Equivarianza

Equivarianza

Equivarianza

Equivarianza

¿Solución?

Capas| redes convolucionales (CNNs)

entrada \(\mathbf{X}\)

(imagen)

pesos \(\mathbf{W}\) (matriz)

salida \(\mathbf{Y}\)

(imagen)

entrada \(\mathbf{X}\)

(imagen)

pesos \(\mathbf{W}\) (matriz) \(\equiv\) kernel

salida \(\mathbf{Y}\)

(imagen)

ReLU

(típicamente)

Recordando algunos detalles sobre la convolución en imágenes

(0)(1) + (-1)(1) + (0)(3)

+ (-1)(1) + (5)(1) + (-1)(3) + (0)(2) + (-1)(2) + (0)(1) = -2

padding

kernel size

salto entre pixeles o stride

El stride reduce la dimensión de la salida

Stride horizontal de 2 y vertical de 3

entrada

kernel

salida

Template matching

Template matching

Regresando a redes convolucionales

¿Ventaja sobre perceptrones?

El explotar las particularidades en imágenes permite conexiones menos densas (o más dispersas) entre nodos. Por ejemplo:

capa convolucional 1D

matriz de pesos

stride = 2

¿Ventaja sobre perceptrones?

El emplear capas | redes especializadas también aporta en qué tanto puede "explicarse" el comportamiento del modelo de aprendizaje.

¿Ventaja sobre perceptrones?

El emplear capas | redes especializadas también aporta en qué tanto puede "explicarse" el comportamiento del modelo de aprendizaje.

Por ejemplo, las CNNs se asemejan a la manera en que funciona el córtex visual de diversos animales (incluyendo humanos), empleando la noción conocida como campos receptivos (receptive fields).

Feature maps y receptive fields

Puede incrementarse la "apertura" del kernel mediante el parámetro de dilatación (dilation), donde se "incrementa" (artificialmente) su tamaño insertando ceros.

Feature maps y receptive fields

Feature maps y receptive fields

La "primera" CNN influyente

AlexNet gana la ImageNet Challenge en 2012

https://www.image-net.org/challenges/LSVRC/2012/results.html

La "primera" CNN influyente

Presenta una arquitectura típica para CNNs

Arquitectura prototípica

Arquitectura prototípica

???

https://deeplizard.com/resource/pavq7noze3

Ejemplo SOTA: You Only Look Once

https://pjreddie.com/darknet/yolo/

https://docs.ultralytics.com/

Algunos últimos detalles relevantes para CNNs

Data Augmentation

Transfer learning

red A

(pre-entrenada)

Transfer learning

red A

(pre-entrenada)

Transfer learning

red A

(pre-entrenada)

red B

(a entrenar)

Transfer learning

red A

(pre-entrenada)

red B

(a entrenar)

Transfer learning

red A

(pre-entrenada)

red B

(a entrenar)

nuevas categorías

nuevos ejemplos

Transfer learning

red A

(pre-entrenada)

red B

(a entrenar)

nuevas categorías

nuevos ejemplos

queda constante, no hay que volver a entrenar

Transfer learning

red A

(pre-entrenada)

red B

(a entrenar)

nuevas categorías

nuevos ejemplos

sólo se entrena esto

Finetuning

red A

(pre-entrenada)

Finetuning

red A

(pre-entrenada)

nuevas categorías

Finetuning

red A

(pre-entrenada)

nuevas categorías

nuevos ejemplos

se re-entrena la red completa, empleando los pesos pre-entrenados como "valor inicial"

Otros ejemplos de redes especializadas (dentro de muchas, muchas, muchas más)

Residual Networks (ResNets)

Transformer Networks (ej. ChatGPT)

Referencias

1. S. Prince, Understanding Deep Learning, capítulo 10.
2. https://d2l.ai/chapter_convolutional-neural-networks/index.html
3. https://d2l.ai/chapter_convolutional-modern/index.html