Favio Medrano
Full Stack Developer - Big Data Analyst.
Áreas de oportunidad en manejo de datos geo-referenciados + no referenciados
Las caracteristicas de los datos georeferenciados
-
Mallas
- Mallas Lat Lon (2D)
- Mallas Z(Depth/Alt) Lat Lon (3D)
- Mallas Time Z Lat Lon (4D)
- Mallas no regulares y no estructuradas (curvilineas, sigma-z)
- Punto 1D (Lat Lon) (Time)
- Series Tiempo - Observaciones con un eje de tiempo (1D )
- Perfiles - Observaciones conectadas a lo largo de una linea vertical.
- Series de tiempo de perfiles - Observaciones de un perfil con un eje de tiempo.
- Trayectorias - Observaciones conectadas a lo largo de una curva en tiempo y espacio.
- Trayectoria de perfiles - Observaciones de una linea vertical a lo largo de una curva en tiempo y espacio.
El problema
Datos de modelos numéricos
Datos de observaciones, radares, satelite, boyas, gliders.
- Salidas con distintos formatos, netcdf, grib, hdf5, texto.
- Nombres, unidades, mallas distintas.
- Rutas de acceso distintas
- Formato depende totalmente del proveedor del instrumento.
- Nombres, unidades distintas o no existentes.
Tareas de manipulación de datos para su uso son un porcentaje alto del tiempo destinado para análisis.
Estandares
Formato datos
- Netcdf
- HDF5
- Grib
Convenciones de vocabularios
API's para la busqueda de datos geoespaciales
- OGC CWS (Open Geospatial Consortium. Catalog Service for the Web)
- OpenSearch
Modelo Metadatos
- ISO 1915-2
- FGDC
- GCMD
- Darwin Core
Software - Frameworks
Netcdf + CF + Thredds por Unidata UCAR
Entrega netcdf
Entrega imagenes
Capa NCML Netcdf Markup Language es una representación XML de metadatos y estructura de un dataset.
Software - Frameworks
Tiene como funcionalidad
- Crear un nuevos datasets (netcdf virtual)
- Modificar (arreglar) datasets existentes sin la necesidad de modificarlos o reescribirlos.
- Crear datasets virtuales agregando múltiples entradas de datasets existentes.
Software - Frameworks
Netcdf + CF + Thredds
- Soporta formatos mas comunes de datos en malla (nc, grib, hdf5)
- Capa NCML para presentar datasets con convenciones y estructuras mas útiles para los usuarios.
- Servicios (OpenDAP, WMS, WCS, SOS, algunos de estos como plugins)
- Servicios mas orientados a datos con geometría de malla.
Falta:
- Mas formatos de entrega de información.
- Mas formatos de entrada de información. (mas sabores)
- Servicios para datos con geometrías discretas (series, perfiles, trayectorias, etc)
- Sistema para unificar la dimensión temporal
Software - Frameworks
ERDDAP
Ingiere
Entrega
Software - Frameworks
ERDDAP
- Podemos ingerir datos locales como remotos, via solicitudes estandarizadas.
- Mas formatos de entrada de datos, como bases de datos, NCML, XML, texto.
- Ofrece API's REST para cualquier servicio del sistema.
- Entrega, datos, mapas y graficos.
- Mas formatos de salida. (NC, html, json, OpenDAP, servicios OGC)
- Unifica variables de dimensiones lat, lon, depth y el tiempo, con una sola representación y unidades para todos los datasets en el catalogo.
- Metadatos con estandares ISO 1915-2, FGDC
Software - Frameworks
ERDDAP - Su interfase web
Software - Frameworks
ERDDAP
Y no solo datos geo-espaciales, datos no geo-espaciales como resultados de laboratorio, referencias, listas , son datos que el sistema puede ingerir y presentar.
Dos estructuras básicas o modulos para contener información:
Gridded y Tabular datasets.
(Modelos, datos de satelites) (Boyas, estaciones, trayectorias)
Software - Frameworks
Clientes personalizados
Software - Frameworks
Clientes personalizados - Proyectos
Software - Frameworks
Gracias
Favio Medrano
EarthDataFramework
By Favio Medrano
EarthDataFramework
Rápida presentación sobre los estandares para el almacenamiento descripción y distribución de datos geo-referenciados, explorando los frameworks NetCDF+CF+Thredds y el sistema ERDDAP como bases para la construcción de interfases personalizadas.
