Daniel Kottow, abril 2023

Elementos para un sano juicio

1. ¿De dónde viene la Inteligencia Artificial?
2. ¿Qué sabe hacer y cómo lo aprende?
3. ¿Cómo y en qué ha progresado "ahora" ?
4. ¿Qué tan cerca está de "nivel humano" ?

ChatGPT

Elements of AI

• Cada célula nerviosa es una unidad independiente
   
• La sinapsis transfiere impulsos entre células

1906

Santiago Ramón y Cajal

Camillo Golgi

Premio Nobel

SantiagoCajalHipocampo.jpg

Neurona

• El cerebro humano tiene ~100 000 000 000 neuronas
• Sus neuronas tienen hasta 15 000 conexiones

A logical calculus of the ideas immanent in nervous activity

1943

• McCulloch & Pitts Neural Net Simulator
• The Man Who Tried to Redeem the World with Logic - Nautilus
• Warren Sturgis McCulloch Interview - 1969

Warren S. McCulloch & Walter Pitts

What the Frog's Eye Tells the Frog's Brain

1959

Receptive fields of single neurones in the cat's striate cortex

No todo es cerebro ni binario

J.Y. Lettvin, H.R. Maturana, W.S. McCulloch and W.H. Pitts

D. H. Hubel and T. N. Wiesel

El perceptrón
A probabilistic model for information storage and organization in the brain

1957

Fotoceldas x Potenciómetros

Entradas

Pesos

Salida

Elementos para un sano juicio

1. ¿De dónde viene la Inteligencia Artificial?

• No viene de la computación tradicional!
   
• Viene de una abstracción matemática - ingenieril de las neuronas biológicas bastante grosera.

• But what is a Neural Network

Perceptrones multicapa

Yann LeCun

Meta AI

Geoffrey Hinton
Google AI

Multilayer Feedforward Networks are Universal Approximators

Learning representations by back-propagating errors

1986

Backpropagation applied to handwritten zip code recognition

1989

1989

• How Neural Networks learn

3Blue1Brown

Luego de treinta años AI Winter...

David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams

LeCun, Yann. et al.

Hornik, Kurt et al.

1998

LeNet

2012

AlexNet

Alex Krizhevsky
ex-Google

Ilya Sutskever

Open AI

Elementos para un sano juicio

2. ¿Qué sabe hacer y cómo lo aprende?

• Gran aumento de poder computacional en los últimos 10 años (GPUs).

• Transformar miles de entradas - números, imágenes - usando muchas "neuronas" iguales.
   
• Entradas similares entregan salidas iguales (clasificación).
   
• Aprende cualquier transformación a partir de ejemplos.

3. ¿Cómo y en qué ha progresado "ahora" ?

Comparison of deep neural networks to spatio-temporal cortical dynamics of human visual object recognition reveals hierarchical correspondence

Nature science report

2015

Deep Learning

Yann LeCun - Meta AI

1989 -1998

Redes neuronales multicapa

LeNet

Imagen 28 x 28

10 Categorías

Multilayer Feedforward Networks are Universal Approximators (1989)

Deep Learning

Alex Krizhevsky

2012

AlexNet

Imagen 224 x 224 x 3

1000 Categorías

 Ilya Sutskever - Open AI

Geoffrey Hinton - Google

Fase Entrenamiento

Fase Producción

Supervised Learning

¡Entrenar requiere muchos y buenos ejemplos!

Validar

Entrenar

?=

Descenso de Gradiente

¡La corrección de los pesos es delicada!

Entrenamiento AlexNet: 90 x 1.000.000 Imagenes ~ 6 días

¿Cómo encontrar pesos óptimos durante el entrenamiento?

• Comenzar con pesos aleatorios.
  • Procesar ejemplo y calcular error.
  • Cambiar pesos en dirección que mejor corrija el error cometido.
  • Iterar hasta convergencia ajustando "learning rate".

Deep Learning

Deep Learning vs Machine Learning

Reinforcement Learning

1986

Playing Atari with Deep Reinforcement Learning

Sutton & Barto

2013

Google DeepMind

AlphaGo

AlphaFold

2018

2015

Demis Hassabis

Dopamine and Reinforcement Learning Algorithms

Towards Data Science

• Siempre "en loop".
• Acciones y premios están desfasados.

1.000 Mill EUR

2013 - 2023

Aprendizaje

Elementos para un sano juicio

• Aprende en base a ejemplos o premios ajustando iterativamente el modelo.
   
• Aprende solo durante fase de entrenamiento.
   
• No se progama, se construye y parametriza. Aquí está el arte!
   
• No sabemos codificar programas equivalentes! (caja negra)

2. ¿Qué sabe hacer y cómo lo aprende?

Condicionamiento clásico

CS antes de US mejora resultados.

1897

Ivan Pavlov

Cell Assembly Theory

Neurons wire together if they fire together

1949

Neuronas Espejo

1990s

Donald Hebb

Aprender es asociar

Neuronas calculan similitud entre entradas y pesos (memoria)

The curse of dimensionality

Cell Assembly Theory

"Neurons wire together if they fire together"

1949

Donald Hebb

Neurosicólogo

8 conexiones / 8 dimensiones

Digitalizar es Vectorizar

• Imágenes
• Sonidos
• Planillas
• Letras
• ¿Palabras?

Regiones de Chile por indicadores económicos - Wikipedia

ChatGPT

Word Embeddings - word2vec

2013

Tomáš Mikolov
ex Google

• Wikipedia 2014 + Gigaword 5
• 6B tokens
• 400K vocab

0. frog

1. frogs

2. toad

Jay Allamar

GloVe - NLP Standford

ChatGPT

Bueno, mejor, excelente...

¡Palabra (concepto) "king" en 50 dimensiones!

"king - man + woman = queen" 

Entrenamiento word2vec

1. Seleccionar textos

2. Generar ejemplos deslizando una ventana

Ventanas de 5 - 20 palabras

Jay Allamar

3. Entrenar (SL)

• Representación de palabras con vectores númericos de muchas dimensiones.
   
• Medida de similitud coseno entre vectores permite establecer errores y aprendizaje.
   
• Aprendizaje ocurre "leyendo" textos. No requiere preparación de ejemplos!
   
• Similitud entre palabras aprendidas refleja su próximidad / relación en los textos.

Elementos para un sano juicio

3. ¿Cómo y en qué ha progresado "ahora" ?

¿Cómo se llama la capital de Chile?

La capital de Chile es Santiago.

What is the name of Chile´s capital?

Modelo de lenguaje para traducir y responder

2014

 Google AI

Sequence to Sequence Learning with Neural Networks

Él vio a ella con un telescopio.

Contextos tienen largo variable.

Secuencias y Contexto

Visualizing A Neural Machine Translation Model

Jay Allamar

Secuencia y contexto largo fijo

Atención y Contexto

Secuencia y contexto completo

Atención pondera contextos dinámicamente

Neural Machine Translation by Jointly Learning to Align and Translate

2015

D. Bahdanau et al

Transformer

Attention is all you need

2017

Ashish Vaswani
ex-Google

Secuencia transformer (N = 3).

Arcos ilustran capas de atención.

A. Vaswani et al

Transformer: A Novel Neural Network Architecture for Language Understanding

Google AI Blog

Atención capta contexto apropiado para discernir "it"

GPT 1 to GPT 4

• El cerebro humano tiene ~100 000 000 000 neuronas
• Sus neuronas tienen hasta 15 000 conexiones

Entrenamiento ChatGPT

1. Entrenar a predecir próxima(s) palabra(s) "leyendo" textos de entrenamiento (GPT 3.5).
2. Refinamiento supervisado con respuestas ejemplares.
3. Refinamiento RLHF con humanos expresando sus preferencias entre respuestas alternativas. 

A portrait photo of a kangaroo wearing an orange hoodie and blue sunglasses standing on the grass in front of the Sydney Opera House holding a sign on the chest that says Welcome Friends!

Propiedades Emergentes

Sparks of AGI

Sebastien Bubeck

Scaling to 540 Billion Parameters for Breakthrough Performance

Google AI Blog

Elementos para un sano juicio

• Atención y contexto modelan una memoria de trabajo (no persistente). ¡Aqui está lo "creepy"!
   
• Fenómenos emergentes
  con mismo modelo, solo más "grande".

Muchas gracias :)

3. ¿Cómo y en qué ha progresado "ahora" ?

4. ¿Qué tan cerca está de "nivel humano" ?

• En "poder computacional" parece estar cerca.
   
• Manejo de lenguaje natural a nivel humano.
   
• Razonamiento y discernimiento de sus capacidades limitados.