El rol del Big Data y Data Scientist en la Cosmología

Favio Vázquez

Cosmólogo y Data Scientist

@faviovaz

https://github.com/faviovazquez

5 de mayo de 2017

http://slides.com/faviovazquez/bigdatacosmologiaextend/live/

Seguir presentación en vivo

¿Quién soy?

Venezolano
Licenciado en Física e Ingeniero en Computación
Estudiante de Maestría en el PCF-UNAM
Data Scientist
Colaborador del Proyecto de Apache Spark en GitHub

Releases 1.3.0, 1.4.0, 1.4.1 y 1.5.0

https://www.instagram.com/venezuelalucha

Resumen

¿Qué es el Big Data?

Actuales tendencias en Big Data

¿Quién es un Data Scientist?

¿Cuál es el papel del BD y el DS en la cosmología?

Apache Spark

Databricks

CosmoSIS

Demo (Spark + Databricks)

Big Data

¿Qué es?

Son los diversos tipos de procesos y estrategias de recolección, guardado y análisis que incluyen e integran distintos tipos de datos que no podrían ser estudiados con técnicas tradicionales de minería de datos.

Big Data

¿De dónde vienen estos datos?

Big Data

Primera Generación

Supercomputadoras

DATOS

ANALÍTICA

PERSONAS (DS)

Big Data

Segunda Generación

Data Warehouse

DATOS

ANALÍTICA

PERSONAS (DS)

Datos Estructurados

Analítica descriptiva

Enfocado en BI

Big Data

Tercera Generación

Hadoop + Data Lake

DATOS

ANALÍTICA

PERSONAS (DS)

Complicado centralizar datos

Herramientas muy complejas

Desarrolladores expertos en Big Data

Datos con poco valor sin ETL

Big Data

Nuevo Paradigma

databricks.com

Data Scientist

¿Quién es?

El encargado de saber todo lo necesario para poder utilizar las herramientas, lenguajes, plataformas y sistemas usados para analizar Big Data

Data Scientist

¿Qué debe saber?

http://spark.apache.org/

¿Qué es complicado en Big Data?

La combinación compleja de hilos de ejecución, sistemas de almacenamiento y modos de trabajo.

ETL, agregaciones, machine learning, streaming, etc.

Muy complicado obtener productividad y performance

¿Qué es?

Es un motor general y muy rápido para el procesamiento en paralelo de datos en gran escala.

Motor Unificado

APIs de alto nivel con espacio para optimizar

Expresa todo el workflow con una API
Conecta librerías existentes y sistemas de almacenamiento

RDD

Transformaciones

Acciones

Caché

Dataset

Tipado

Scala y Java

Beneficios de RDD

Dataframe

Dataset[Row]

Optimizado

Versátil

https://databricks.com/

https://databricks.com/product/databricks

Rol en Cosmología

¿En qué etapa del Big Data está la cosmología?

Primera :(

PERO ...

Rol en Cosmología

El futuro es brillante

Cosmología Open Source

Proyectos DS + Cosmología

Técnicas BD + Cosmología

Nuevos Lenguajes y Herramientas

Data Scientists interesados en Cosmología

Retos en cosmología de precisión

Muchos observables, correlacionados algunos:

CMB, lensing, clusters de galaxias, supernovas

Diferentes modelos teóricos:

Ajustes de curvas de supernovas, modelos de bias para galaxias

Diferentes parámetros y sistemática en cada modelo:

¿Cómo samplear sobre cada uno de ellos?

Posteriors y Likelihoods complicados, a veces multimodales:

La forma de samplear puede impactar en los resultados

Retos en cosmología de precisión

¿Cómo rastrear contribuciones, asegurar reproducibilidad y consistencia?
¿Cómo usar la cantidad de códigos existentes, así como datos, sin pasarnos años intentando descifrarlos (a veces toda una maestría o doctorado)?
¿Cómo saber qué tipo de código usar, y qué lenguaje de programación aprender para poder realizar una investigación?

Grandes colaboraciones, de cientos de personas (DES, DESI, PLANCK, etc.):

CosmoSIS fue diseñado para intentar solucionar cada uno de estos problemas.

CosmoSIS es un código para la estimación de parámetros cosmológicos.

Es un framework para estructurar estimaciones a parámetros cosmológicos, en una manera que facilita la reusabilidad, depuración, verificabilidad y compartir código en la forma de módulos de cálculo.

COSMOlogy Survey Inference System

Rol en Cosmología

Consolida y conecta los códigos existentes para predecir observables cósmicos, y hace mucho más accesible el mapeo de likelihoods experimentales con un rango de diferentes técnicas.