Carol Cuesta-Lazaro

IAIFI Fellow - Institute for Artificial Intelligence and Fundamental Interactions (MIT)

Deep Generative AI:

Inteligencia Artificial y sus aplicaciones en Física

Latam

Summer School

Las condiciones iniciales del Universo

Laws of gravity

Distribucion 3D de galaxias

Cuales son las CIs de NUESTRO Universo?

non-Gaussianidad primordial?

Inflacion

Galaxy formation

Distribucion 3D de materia oscura

Modificar GR en escalas grandes?

Como se forman las galaxias?

jerarquia de las masas de neutrinos?

AI y Fisica

Que son los modelos generativos?
Mis favoritos: likelihood-based
- Normalising flows
- Variational Autoencoders
- Variational Inference
- Diffusion models

Generar vs Discriminar

p(x)

p(y|x)

p(x|y) = \frac{p(y|x)p(x)}{p(y)}

p(x|y)

https://vitalflux.com/generative-vs-discriminative-models-examples/

El salón de la Fama

A teddy bear wearing a motorcycle helmet and cape is standing in front of Loch Awe with Kilchurn Castle behind him driving a speed boat near the Golden Gate Bridge

https://parti.research.google

Modelos generativos en Fisica

Emular procesos complejos en dimensiones altas

x \sim p(x|y)

y = \{ \Omega_{cdm}, \sigma_8, ... \}

arXiv:2206.04594

Super resolución

arxiv:2010.06608

Modelos generativos en Fisica

Detectar anomalias

arxiv:2010.14554

Modelos generativos en Fisica

Comparar datos y simulaciones de forma optima:

Simulation-based Inference

Modelos generativos en Fisica

arXiv:1911.01429

Modelar incertidumbres

arxiv:2010.14554

Modelos generativos en Fisica

Universo actual

Condiciones Iniciales

Representar priors complejos

arxiv:2206.14820

Modelos generativos en Fisica

prior en galaxies?

Lente

gravitacional

Modelos Generativos

p_\phi(x)

Datos

Una PDF que podamos parametrizar

Maximizar el likelihood!

(o algo que se le parece)

2. Generar muestras

x \sim p_\phi(x)

1. Estimar densidades

p_\phi(x)

Maximizar el likelihood (o algo que se le parezca)

p(\theta|X) = \frac{p(X|\theta)p(\theta)}{p(X)}

Posterior

Likelihood

Prior

Evidence

Distribucion base

Distribucion destino (target)

p_X(x) = p_Z(z) \left| \frac{dz}{dx}\right|

Z \sim \mathcal{N} (0,1) \rightarrow g(z) \rightarrow X

Normalising flows: Cambio de variables

Transformacion Invertible

z \sim p_Z(z)

p_Z(z)

\mathrm{Uniform(0,1)} \rightarrow U_1, U_2

Z_0 = \sqrt{-2 \ln U_1} \cos(2 \pi U_2)

Z_1 = \sqrt{-2 \ln U_1} \sin(2 \pi U_2)

Z_0, Z_2 \leftarrow N(0,1)

Transformacion Box-Muller: Normalising flows en 1934

x = f(z), \, z = f^{-1}(x)

p(\mathbf{x}) = p_z(f^{-1}(\mathbf{x})) \left\vert \det J(f^{-1}) \right\vert

(Image Credit: Phillip Lippe)

p(x) = \int dz \, p(x|z)

z: Variables latentes

Normalising flows

No es tan fácil encontrar funciones invertibles!

Splines

arXiv:2202.05282

Normalising flows en cosmologia

arXiv:2202.05282

Normalising flows en cosmologia

Simulation-based Inference

arXiv:1911.01429

arxiv:2211.00723

Simulation-based Inference en cosmology

Las soluciones de ecuaciones diferenciales ordinarias (ODEs) son siempre invertibles!

z = x + \int_0^1 \phi (x(t)) dt

x = z + \int_1^0 \phi (x(t)) dt

\log p_X(x) = \log p_Z(z) + \int_0^1 \mathrm{Tr} J_\phi (x(t)) dt

Problemas NFs: Falta expresividad

Function invertible
Jacobiano tratable

Chen et al. (2018), Grathwohl et al. (2018)

z = x + \int_0^1 \phi (x(t)) dt

Variational Auto Encoders

\mathcal{L} = || x - \hat{x} || ^2

Complex

Simple

Variational Auto Encoders

\mathcal{L} = \textrm{max} \, p(x)

Maximizar el likelihood o algo que se le parezca: Variational Inference

p_\theta(x) = \int p_\theta (x|z) p(z) dz

D_\mathrm{KL}(p(x)||q(x)) = \int p(x) \ln \frac{p(x)}{q(x)} dx

No es simetrica!

D_\mathrm{KL}(p(x)||q(x)) \geq 0

La divergencia de Kullback-Leibler (KL):

Distancia entre dos distribuciones de probabilidad

Forward KL

Backward KL

\log p(\boldsymbol{x}) =

\geq \mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x}, \boldsymbol{z})}{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right]

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x}, \boldsymbol{z})}{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right] + \mathcal{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x}) \mid\mid p(\boldsymbol{z}\mid\boldsymbol{x}))

Evidence Lower Bound

(ELBO)

Distancia al posterior real

q_\phi(z|x) \approx p(z|x)

Encontrar

1. ELBO es un lower bound del likelihood

2. Maximizar ELBO = Minimizar KL

Maximizar ELBO maximiza ev/likelihood

Maximizar ELBO para aproximar el posterior

Tutorial 1: Maximizar ELBO para aproximar posteriors en cosmologia

https://github.com/florpi/summer_school_generative

Variational Auto Encoders

\mathcal{L} = \textrm{ELBO} = \langle \log p_\theta(x,z) - \log q_\phi(z) \rangle _{q_\phi(z)}

= \langle \log p_\theta (x|z) \rangle_{q_\phi} - D_\mathrm{KL} (q_\phi(z|x) || p(z))

Reconstruccion (MSE)

Regularizacion

Continuo puntos cercanos en espacio latente deberian ser cercanos en el espacio de los datos
Completo cualquier punto sampleado del espacio latente debe llevar a un ejemplo sensible de los datos