definición

Conjuntos de datos que debido a su tamaño y complejidad no es posible procesarlo con las tecnologías y metodologías convencionales

[FAN2013]

DEFINICIÓN

Un paradigma para permitir la recolección, almacenamiento, gestión, análisis y visualización, potencialmente bajo restricciones de tiempo real, de vastos conjuntos de datos con características heterogéneas.

 

[ITU-T Y.3600]

Concepto de big data

Propiedades emergentes en los datos

Concepto de big data

Valor del hardware de almacenamiento secundario

Concepto de big data

Modelos algorítmicos "simples" + muchos datos

~

Modelos algorítmicos "complejos" + pocos datos

Concepto de big data

Capacidad de generación y recolección de datos optimizadas

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Escala de los datos

 

Para CISCO, el consumo mensual de internet per capita promedio:

2000: 10 Mb

2008: 1Gb

2015: 7 Gb

2020: 20 Gb

 

Source: The Zettabyte Era: Trends and Analysis, CISCO, July 2016

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Escala de los datos

 

• El Colisionador del CERN generó en 2012 40TB/Seg
• Un Airbus A380 genera 640 TB por vuelo
• Twitter genera 12 TB de datos por día
• La bolsa de Nueva York genera 1 TB por día.
• Una cosechadora genera 5.000 datos por hectárea por pasada.

Source: Big Data Que Grande sos, Esteban Feuerstein, Fundacion Sadosky, 2014.

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Escala de los datos

Sistema SUBE

18.000 Colectivos registran su ubicación 5 veces por minuto. Se puede almacenar como point en DB Postgres (16 bytes). ¿Cuanta información de Geolocalización genera el sistema por día?

Dia: 1,93 GB

Año: 700 GB

Inicio (Junio 2009): 4,1 TB

Source: Big Data Que Grande sos, Esteban Feuerstein, Fundacion Sadosky, 2014.

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Fuentes de datos

 

• Integración de datos de orígenes diversos
• Medir la popularidad de una persona pública midiendo el impacto de publicaciones relacionadas en varias Redes Sociales.
• Formatos (Texto, audio, video, imágenes, información georeferencial).
• IoT (sensores, RFID).

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Flujos de datos

 

Velocidad en la generación de datos

Velocidad de procesamiento de datos

Velocidad de consumo de datos

 

Análisis en Real-Time

 

Trending Topics, Vehículos autónomos, Google Flu Trend

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Confianza en los datos disponibles

 

Google Flu Trend: ¿Casualidad o modelo?

 

Las decisiones tomadas a partir de los datos deben tener soporte en datos confiables

 

¿Como se define esta confianza?

4 V's de big data

Volumen

 

Variedad

 

Velocidad

 

Veracidad

Problema Estadístico: Correlación Espuria

HADOOP y BIG DATA

PARA entornos de produccion

Ambari

BigTop

Mesos