Big Data Zombies

El kit de desarrollo de Kinesis

AWS Mobile SDK

Kinesis Agent (utilidad java)

Kinesis Producer library (c++)

KPL java wrapper

Kinesis Client Library (java)

KCL daemon (utilidad java)

Kinesis producer library (KPL)

ObjectMapper mapper = new ObjectMapper();
KinesisProducer kinesis = new KinesisProducer();  

while(true) {
    ZombieLecture lect = nextLecture();
    LatLng latLng = lect.getCoordinates();
    UTM utm = Projections.toUTM(latLng);
    String shardKey = utm.asString(1000 /*meters*/);
    String json = mapper.writeValueAsString(lect);
    ByteBuffer data =
         ByteBuffer.wrap(json.getBytes("UTF-8"));
    kinesis.addUserRecord("zombieStream", shardKey, data);
}  

Kinesis Client Llibrary (KCL)

// iterator to iterate *inside* a shard
shardIterator = getShardIteratorResult.getShardIterator();
List<Record> records;   
while (true) {
  GetRecordsRequest recRequest = new GetRecordsRequest();
  recRequest .setShardIterator(shardIterator);
  recRequest .setLimit(25);

  GetRecordsResult result = client.getRecords(recRequest );
  records = result.getRecords();
  this.processRecords(records);
  shardIterator = result.getNextShardIterator();
}

Apache Storm

Procesamiento en tiempo real

Basado en topografías

Kinesis Storm Spout como origen

Bolts para agregar y almacenar

Integración

Visualización con Leafletjs

Librería ligera para mapas

Funciona en móviles

Excelente API

Dispone de decenas de plugins

Permite dibujar heatmaps

Código de ejemplo

var map = L.map('map')
  .setView([41.3902, 2.15400], 13);

L.tileLayer('http://{s}.tile.osm.org'+
            '/{z}/{x}/{y}.png', {})
  .addTo(map);
$.ajax(...)
 .done(function(points) {
    var heat = L.heatLayer(points)
                .addTo(map);    
});