• Introducción
• Conceptos clave
• Arquitectura y Tecnología
  
• Web de datos
• Ejemplos prácticos
  
• FAQ
• Conclusiones

6 V'S

• Cantidad de datos que se han de procesar
  
• Crecimiento continuo
  

¿Tamaño para ser considerado big data?

• Al menos 1 TB hasta el orden de PB (en el futuro EB)
• ...pero también dependerá de la calidad

• Tipos
• Documentos
• Imágenes
• Vídeos
• Posts en redes sociales
• Datos científicos, geográficos, etc.
• Formatos (estructurado y no estructurado)
• CSV, TSV, MSExcel
• PNG, JPG, MPEG, etc.
• PDF, HTML, etc.
• Acceso
• Ficheros
• Lenguajes de consulta

• Actualización y Tipo de procesamiento
• Batch
• Periódico
• Eventos
• Cercano a tiempo real
• Tiempo real

• Calidad
• Limpieza
• Fuente de datos confiable
• ...

• http://shop.oreilly.com/product/0636920024422.do
  
• http://www.amazon.com/Bad-Data-Handbook-Cleaning-Back/dp/1449321887
  

• Resistencia a formar parte del flujo de datos
  
• Capacidad de integración de los datos
  
• Tipos de procesamiento:
  
• Stream
• Bus de integración
• Procesamiento de eventos complejos (CEP)

• Capacidad de propagación de la información
• Velocidad
• Tiempo

• Es lo mismo que resolver problemas "Small Data" 
• ...pero el disponer de muchos datos implica...
• Nuevas arquitecturas (distribuidas)
• Necesidades de almacenamiento
• Diferentes tipos de procesamiento
• ...
• para resolver problemas existentes con un mejor/nuevo enfoque

Old wine in new bottles!

• Almacenar grandes cantidades de datos
• Integrar fuentes de datos
• Procesar y consultar en
• Batch
• Tiempo real
• ...para proporcionar servicios de 
• Toma de decisiones
• Informes, etc.
• ....y con capacidades de...
• Escalabilidad
• Tolerancia a fallos
• Replicación

• Key /Value (Tablas)
• Documentos
• Grafos

• Procesamiento de datos a gran escala y distribuido
• Simple pero restringido
• Programación paralela
• Extensible

• Inspirado pero no equivalente

import operator
reduce(operator.add, map((lambda x: x **2), range(1,50)) , 0) 

• reduce es equivalente a foldl en otros lenguajes como Haskell
• se deben considerar otros aspectos matemáticos (tipo de operador)

• Indexado y búsqueda (índices inversos)
• Filtrado
• Clasificación
• Recomendación (clustering o filtrado colaborativo)

Análisis

• Resumen y estadística
• Ordenación y "merging"
• Distribución de frecuencia
• Consultas tipo SQL (group-by, having, etc.)
• Procesamiento y generación de gráficos (histogramas)

• Algoritmos tipo : Búsqueda en anchura o PageRank, 

• Indexado y búsqueda a escala web (pre-caché de consultas y resultados)
• Clustering para recomendación en Google News
• Informes para Google Trends
• Procesamiento de imágenes de satélites
• Machine translation
• Aprendizaje automático
• ...

• Querying
• Summarizing
• Analyzing
• ...

• Descripción:
• Agregar varios valores numéricos mediante alguna función estadística
• Objetivo:
• Procesar una lista de valores de entrada (números) para obtener un sólo valor y disponer de una medida de alto nivel de un conjunto de datos
• Aplicabilidad:
• Gestión de datos numéricos
• Agrupar datos por un campo determinado
• Ejemplos:
• Contar, Min/Max, media, desviación típica, etc.

 class Mapper
   method Map(recordid id, record r)
      for all term t in record r do
         Emit(term t, count 1)
 
class Reducer
   method Reduce(term t, counts [c1, c2,...])
      sum = 0
      for all count c in [c1, c2,...] do
          sum = sum + c
      Emit(term t, count sum)  
    

 
 public void map(LongWritable key, Text value, Context context) 
      throws Exception {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
    public void reduce(Text key, Iterable values, Context context) 
      throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }

public void map(Object key, Text value, Context context)
      throws IOException, InterruptedException, ParseException {
        Map parsed = MRDPUtils.parse(value.toString());
        String strDate = parsed.get(MRDPUtils.CREATION_DATE);
        String userId = parsed.get(MRDPUtils.USER_ID);
        if (strDate == null || userId == null) {
          return;
        }
        Date creationDate = MRDPUtils.frmt.parse(strDate);
        outTuple.setMin(creationDate);
        outTuple.setMax(creationDate);
        outTuple.setCount(1);
        outUserId.set(userId);
        context.write(outUserId, outTuple);
} 

 public void reduce(Text key, Iterable values,
      Context context) throws IOException, InterruptedException {
      result.setMin(null);
      result.setMax(null);
      int sum = 0;
      for (MinMaxCountTuple val : values) {
            if (result.getMin() == null
                  || val.getMin().compareTo(result.getMin()) < 0) {
                  result.setMin(val.getMin());
            }
            if (result.getMax() == null
                  || val.getMax().compareTo(result.getMax()) > 0) {
                  result.setMax(val.getMax());
                  }
                  sum += val.getCount();}
      result.setCount(sum);
      context.write(key, result);
}

 public void map(Object key, Text value, Context context)
      throws IOException, InterruptedException,ParseException {
      Map parsed = 
            MRDPUtils.parse(value.toString());
      String strDate = parsed.get(MRDPUtils.CREATION_DATE);
      String text = parsed.get(MRDPUtils.TEXT);
      if (strDate == null || text == null) {
            return;
      }
      Date creationDate = MRDPUtils.frmt.parse(strDate);
      outHour.set(creationDate.getHours());
      outCountAverage.setCount(1);
      outCountAverage.setAverage(text.length());
      context.write(outHour, outCountAverage);
}

public void reduce(IntWritable key, Iterable values,
      Context context) throws IOException, InterruptedException {
      float sum = 0;
      float count = 0;
      for (CountAverageTuple val : values) {
            sum += val.getCount() * val.getAverage();
            count += val.getCount();
      }
      result.setCount(count);
      result.setAverage(sum / count);
      context.write(key, result);
} 

 SELECT MIN(numcol1), MAX(numcol1),
COUNT(*) FROM table GROUP BY groupcol2;

 b = GROUP a BY groupcol2;
c = FOREACH b GENERATE group, MIN(a.numcol1),
MAX(a.numcol1), COUNT_STAR(a);

• Descripción:
• Evaluar una condición en cada registro de datos para decidir que se hace con él
• Objetivo:
• Filtrar registros de datos que no cumplen alguna condición
• Aplicabilidad:
• Filtrar
• Ejemplos:
• Vista parcial del dataset, limpieza de datos, monitorización de determinados eventos, selección de muestras, grep distribuido, análisis de registros, consulta y validación de datos, etc.

class Mapper
   method Map(recordid id, record r)
      field f = extract(r)
      if predicate (f)       
         Emit(recordid id, value(r))
 
class Reducer
   method Reduce(recordid id, values [r1, r2,...])
      //Whatever      
      Emit(recordid id, aggregate (values))      

public void map(Object key, Text value, Context context)
      throws IOException, InterruptedException {
      Map parsed = 
            MRDPUtils.parse(value.toString());
      String txt = parsed.get(MRDPUtils.TEXT);
      String mapRegex = ".*\\b"+context.getConfiguration()
            .get("mapregex")+"(.)*\\b.*";
      if (txt.matches(mapRegex)) {
            context.write(NullWritable.get(), value);
      }
} 

private TreeMap repToRecordMap = new TreeMap();
public void map(Object key, Text value, Context context)
      throws IOException, InterruptedException {
      Map parsed = 
      MRDPUtils.parse(value.toString());
      if (parsed == null) {return;}
      String userId = parsed.get(MRDPUtils.USER_ID);
      String reputation = String.valueOf(parsed.get(MRDPUtils.TEXT).length()); 
      //Max reputation if you write tweets longer
      if (userId == null || reputation == null) {return;}
            repToRecordMap.put(Integer.parseInt(reputation), new Text(value));
            if (repToRecordMap.size() > MAX_TOP) {
                  repToRecordMap.remove(repToRecordMap.firstKey());
            }
        } 

public void reduce(NullWritable key, Iterable values,
      Context context) throws IOException, InterruptedException {
            for (Text value : values) {
            Map parsed = MRDPUtils.parse(value.toString());
            repToRecordMap.put(parsed.get(MRDPUtils.TEXT).length(),new Text(value));
            if (repToRecordMap.size() > MAX_TOP) {
                  repToRecordMap.remove(repToRecordMap.firstKey());
                  }
              }
            for (Text t : repToRecordMap.descendingMap().values()) {
                  context.write(NullWritable.get(), t);
            }
} 

 SELECT * FROM table WHERE colvalue < VALUE;

 b = FILTER a BY colvalue < VALUE;< VALUE;

• M/R es un modelo de programación
• ...para manejar grandes cantidades de datos off-line
• ...escalabilidad, replicación, tolerancia a fallos, etc.
• Apache Hadoop no es una base de datos
• Existen muchos proyectos basados en Hadoop
• Existen enfoques similares: Storm, Signal/Collect
• ...

  ¿Y qué hay después?

• Concatenación de trabajos M/R
• Optimización de los parámetros del algoritmo
• Pipelining con otros lenguajes de programación
• Patrones más avanzados y Procesamiento en tiempo real
• Problemas actuales: imágenes, etc.
• ...
  

 PREFIX dbo: <http://dbpedia.org/ontology/>

SELECT ?name ?birth ?description ?person WHERE {
     ?person dbo:birthPlace :Madrid.
     ?person <http://purl.org/dc/terms/subject> <http://dbpedia.org/resource/Category:Spanish_writers> .
     ?person dbo:birthDate ?birth .
     ?person foaf:name ?name .
     ?person rdfs:comment ?description .
     FILTER (?birth > "1800-01-01"^^xsd:date AND ?birth < "1900-01-01"^^xsd:date).
     FILTER (LANG(?description) = 'en') .
}
ORDER BY ?name

PREFIX geo: <http://www.w3.org/2003/01/geo/wgs84_pos#> 
PREFIX onto: <http://dbpedia.org/ontology/> 
SELECT * WHERE {
	?s a onto:Place .
	?s geo:lat ?lat .
	?s geo:long ?long .
 FILTER(
	xsd:double(?lat) - xsd:double(40.4) <= 2 && 	xsd:double(40.4) - xsd:double(?lat) <= 2 &&
	xsd:double(?long) - xsd:double(-3.68) <= 2 && 	xsd:double(-3.68) - xsd:double(?long) <= 2).
        ?s <http://dbpedia.org/ontology/PopulatedPlace/populationDensity> ?density.
  FILTER(xsd:double(?density) > xsd:double(100)).
}
LIMIT 100

SELECT *
WHERE{
  ?country rdf:type wi-onto:Country.
  ?country rdfs:label ?label.
  FILTER (lang(?label) = 'en').  
  ?country skos:prefLabel ?countryLabel.
  FILTER (lang(?countryLabel) = 'zh').  
  ?country wi-onto:has-iso-alpha3-code ?id.
  ?country geo:lat ?lat.
  ?country geo:long ?long.
  }

• Iniciativa de Google, Bing y Yahoo
• Etiquetado con un vocabulario común para:
• Eventos
• Personas
• ...
• Mejora de la publicación de información y su posterior indexado
• RDFa
• Prueba con Google Rich Snippets
• http://bit.ly/KyVHIO 
  

http://lod-lam.slis.kent.edu/images/linked-data-image.jpg

http://www.w3.org/2011/gld/wiki/GLD_Life_cycle

http://labs.mondeca.com/sparqlEndpointsStatus/

arquitectura para big data

• Evaluar de acuerdo a las 3-6 V's
  
• Definir necesidades
• Procesamiento
• ¿Batch? ¿Tiempo real ? ¿Ambas?
• Almacenamiento
• Tablas, documentos, grafos, etc.
• Frecuencia de actualización
• Consulta
• Lenguaje de consulta
• Infraestructura
• ¿Local? ¿Cloud Computing?
• Seleccionar tecnología

• Se puede empezar con las herramientas ya disponibles como código abierto
• La clave está en el conocimiento y el modelado del problema
• Los datos ya están disponibles 
• Gratuitos 
• http://www.infochimps.com/datasets/wikipedia-articles
  
• http://www.datasciencecentral.com/profiles/blogs/big-data-sets-available-for-free
  
• Otros de pago
• http://www.infochimps.com/
  
• Se pueden crear
• Infraestructura para procesamiento y "crawling" (http://commoncrawl.org/)
• La implementación es cuestión de tiempo y de la tecnología seleccionada

• Cloudera Impala
• Pentaho (ETL)
• RapidMiner
• MapR
• ...

• Privacidad
  
• Salto entre modelo matemático y despliegue en arquitectura Big Data
  
• Big Data Governance (¿Semántica?)
  
• Aplicaciones: recomendación, análisis de sentimiento, etc.
  
• Visualización (D3.js, Highlights.js, etc.
• ...

• Big Data: estadística inferencial y low-density información
  
• BI: estadística descriptiva y high-density información

• Big Data trata sobre datos
• HPC trata sobre poder computacional

• http://www.slideshare.net/ProphetBrandStrategy/the-myths-of-big-data
  
• http://www.v3.co.uk/v3-uk/analysis/2302685/top-10-big-data-myths-and-misconceptions/page/2
  
• Big data is new
• Big data is a commodity
• Big data is a problem
• Your data is useful only to you
• The government isn't interested in your social media data
• Big data won't land you in jail
• ...

• Ponente: Dr. Jose María Alvarez-Rodríguez
• Profesor Visitante
• Universidad Carlos III de Madrid
• E-mail: josemaria.alvarez@uc3m.es
  
• WWW: 
• http://purl.org/krgroup/web
• http://www.josemalvarez.es
• Agradecimientos:
• Prof .Dr. Ricardo Colomo-Palacios