Playing with water in Doñana Natural Space

This project has received funding from the European Union's Horizon 2020 research and innovation programme under grant agreement No 641762

En esta presentación:

LAST-EBD
Flood Mask, Water Turbididty and NDVI Tool (LAST-EBD)
Hydroperiod Tool (CERTH & ITI)
Otros productos del LAST-EBD

CERTH: Centre for Research and Technology Hellas

ITI: Information Technologies Institute

Huge thanks to Georgios Kordelas and the CERTH team

El LAST es un servicio central de la Estación Biológica de Doñana, fundado en 2003, que presta servicios y apoyo técnico, en todo lo relacionado con el ámbito espacial. Gestionando y asesorando en el uso de PDA, GPS, GPS Diferencial, Radiómetros y cualquier equipo de toma de datos en campo.
Gestiona y procesa un banco de más de 500 imágenes Landsat (1984-presente), junto con imágenes provenientes de otros satélites (MODIS, SPOT, ASTER, etc...). Destacan aquí, las campañas realizadas junto con el INTA para la realización de vuelos hiperespectrales sobre el Espacio Naural de Doñana.
De las imágenes Landsat, se generan regularmente los productos Máscara de agua, Turbidez del agua y NDVI (Índice de Vegetación Normalizada).

Desde hace 5 años, el LAST ha incluido entre sus servicios los vuelos con dron, proporcionando como productos:

Imágenes multiespectrales
Imágenes hiperespectrales
Ortomosaicos RGB
Nubes de puntos
Modelos Digitales de Elevaciones (MDT y MDS)
Imágenes Térmicas

El LAST mantiene además 3 servidores cartográficos relacionados con las imágenes Landsat y sus productos y con datos del equipo de Seguimiento de la Estación Biológica de Doñana.

Landsat

http://venus.ebd.csic.es/imgs/

Seguimiento

http://venus.ebd.csic.es/seguimiento/

Spyder

http://maps.spiderwebgis.org

El LAST está compuesto por el siguiente equipo personal:

Responsable Científico: Javier Bustamante
Responsable Técnico: Ricardo Díaz-Delgado
Técnicos Funcionarios: Isabel Afán y David Aragonés
Técnico Pululante: Diego García

¡El LAST gestiona un aula con equipos informáticos equipados para SIG y Teledetección, en la que ofrece cursos sobre GIS (QGIS), Teledetección, Toma de datos en campo y Drones aplicados a la teledetección!

LAST TOOL

Máscaras de agua, Turbiez y NDVI

Virtual Lab

El Virtual Lab es un entorno de ejecución de scripts, basado en servidores que ejecutan contenedores de Docker, en los cuales corren los scripts que han generado los partners, para generar los productos deseados.

Estos contenedores docker, también han sido creados por los partners y contienen el entorno de programación necesario para ejecutar los scripts.

Creación de

scripts

Repositorio GitHub

Creación de contenedor Docker

Inputs

Ejecución contenedor

Productos

(Dropbox)

LAST Tool

Nuestra herramienta recibe como entradas una escena Landsat comprimida y una serie de datos auxiliares

Bandas escena de referencia
Modelo Digital de Elevaciones
Máscara Máxima Inundación

LAST Tool

¿Que hace nuestra herramienta?

NDVI:Índice de Vegetación Normalizado. Basado en un cociente entre el rojo y el infrarrojo, que muestra el estado de salud de la vegetación.
Turbidez del agua:Se trata de un índice más elaborado. Desarrollado y publicado por Javier Bustamante et al (2006). Basado en una serie de campañas de toma de datos datos de verdad terreno en campo. A partir de los cuales se genera una regresión multivariante que da lugar al índice en cuestión.
Máscara de Agua: Superficie inundada. Basado en un umbral en el SWIR-1.

LAST Tool

Surface Reflectance

Nor

Normalized Reflectance

Kl Values

DTM

Hillshade

Scene

Fmask

Flood

Maximun Flood Mask

PIAs

SWIR-1 Treeshold

{ 
    "_id" : "20140812l8oli202_34", 
    "Info" : {
        "Iniciada" : "Tue Nov 24 01:08:18 2015", 
        "Pasos" : {
            "rad" : {
                "Fecha" : "Tue Nov 24 01:17:22 2015", 
                "Kl-Values" : {
                    "b4" : NumberInt(5762), 
                    "b5" : NumberInt(4674), 
                    "b6" : NumberInt(4203), 
                    "b7" : NumberInt(4453), 
                    "b1" : NumberInt(9125), 
                    "b2" : NumberInt(8083), 
                    "b3" : NumberInt(6664), 
                    "b9" : NumberInt(4968)
                }, 
                "Corrad" : "True"
            }, 
            "geo" : {
                "Georef" : "True", 
                "Fecha" : "Tue Nov 24 01:14:02 2015"
            }, 
            "nor" : {
                "Normalize" : "True", 
                "Fecha" : "Tue Nov 24 01:18:01 2015", 
                "Nor-Values" : {
                    "b4" : {
                        "Parametros" : {
                            "slope" : 1.119179679624905, 
                            "r" : 0.9946001583686911, 
                            "intercept" : -0.818075379766352, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(56020)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(711), 
                            "Embalses" : NumberInt(2222), 
                            "Mineria" : NumberInt(163), 
                            "Mar" : NumberInt(49501), 
                            "Urbano-1" : NumberInt(628), 
                            "Urbano-2" : NumberInt(817), 
                            "Aeropuertos" : NumberInt(354), 
                            "Pastizales" : NumberInt(113), 
                            "Pinar" : NumberInt(1511)
                        }
                    }, 
                    "b5" : {
                        "Parametros" : {
                            "slope" : 1.4735184393927765, 
                            "r" : 0.9944821925427072, 
                            "intercept" : -8.002146493486533, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(54093)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(206), 
                            "Embalses" : NumberInt(1487), 
                            "Mineria" : NumberInt(180), 
                            "Mar" : NumberInt(49500), 
                            "Urbano-1" : NumberInt(424), 
                            "Urbano-2" : NumberInt(671), 
                            "Aeropuertos" : NumberInt(287), 
                            "Pastizales" : NumberInt(121), 
                            "Pinar" : NumberInt(1217)
                        }
                    }, 
                    "b6" : {
                        "Parametros" : {
                            "slope" : 1.3603867421884617, 
                            "r" : 0.9971326638449448, 
                            "intercept" : -5.338541949997632, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(55311)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(698), 
                            "Embalses" : NumberInt(1953), 
                            "Mineria" : NumberInt(194), 
                            "Mar" : NumberInt(49501), 
                            "Urbano-1" : NumberInt(599), 
                            "Urbano-2" : NumberInt(741), 
                            "Aeropuertos" : NumberInt(332), 
                            "Pastizales" : NumberInt(117), 
                            "Pinar" : NumberInt(1176)
                        }
                    }, 
                    "b7" : {
                        "Parametros" : {
                            "slope" : 1.5470858289888685, 
                            "r" : 0.9961333630704381, 
                            "intercept" : -1.4178915745814127, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(55864)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(683), 
                            "Embalses" : NumberInt(2284), 
                            "Mineria" : NumberInt(200), 
                            "Mar" : NumberInt(49501), 
                            "Urbano-1" : NumberInt(555), 
                            "Urbano-2" : NumberInt(713), 
                            "Aeropuertos" : NumberInt(398), 
                            "Pastizales" : NumberInt(108), 
                            "Pinar" : NumberInt(1422)
                        }
                    }, 
                    "b2" : {
                        "Parametros" : {
                            "slope" : 1.897435537990908, 
                            "r" : 0.9796848721026005, 
                            "intercept" : 0.931654933456219, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(53180)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(662), 
                            "Embalses" : NumberInt(1590), 
                            "Mineria" : NumberInt(80), 
                            "Mar" : NumberInt(47729), 
                            "Urbano-1" : NumberInt(489), 
                            "Urbano-2" : NumberInt(726), 
                            "Aeropuertos" : NumberInt(238), 
                            "Pastizales" : NumberInt(85), 
                            "Pinar" : NumberInt(1581)
                        }
                    }, 
                    "b3" : {
                        "Parametros" : {
                            "slope" : 1.4573014972232725, 
                            "r" : 0.9910393887505663, 
                            "intercept" : -2.521427924507977, 
                            "iter" : NumberInt(1), 
                            "N" : NumberInt(55643)
                        }, 
                        "Tipo_Area" : {
                            "Arena" : NumberInt(571), 
                            "Embalses" : NumberInt(2111), 
                            "Mineria" : NumberInt(125), 
                            "Mar" : NumberInt(49499), 
                            "Urbano-1" : NumberInt(532), 
                            "Urbano-2" : NumberInt(810), 
                            "Aeropuertos" : NumberInt(287), 
                            "Pastizales" : NumberInt(115), 
                            "Pinar" : NumberInt(1593)
                        }
                    }
                }
            }
        }, 
        "Tecnico" : "LAST-EBD Auto", 
        "Finalizada" : "Tue Nov 24 01:18:04 2015"
    }, 
    "Clouds" : {
        "cloud_scene" : 0.1, 
        "umbral" : NumberInt(50), 
        "cloud_PN" : 0.0
    }, 
    "usgs_id" : "LC82020342014224LGN00"
}

Toda la información del proceso se guarda en una base de datos NoSQL (MongoDB)

ToDo List (Dec 2015!)

Días:
1. Añadir Landsat 7 dentro de la clase
2. Quitar del rel de /nor las bandas que no se normalizan
3. Fichero js para servidor

Quien sabe:
1. Artículo
2. Normalizar Landsat 8 con Landsat 8
3. Versión sin Miramón

ToDo List (Oct 2019)

Metadatos
Nuevos productos
Sentinel 2

Hands On

Descarga de imágenes Landsat
Ejecución de LAST Tool
Hydroperiod Tool

Descarga de imágenes Landsat

Hay numerosas webs desde las que descargar imágenes de satélite. Dado que este es un taller sobre el procesamiento de imágenes en el Virtual Lab de Ecopotential, tan sólo vamos a ver una de las más famosas de ellas: Earth Explorer (https://earthexplorer.usgs.gov/)

No obstante, aquí hay una serie de servidores de imágenes satélite:

SciHub (ESA): https://scihub.copernicus.eu/
EO Browser (ESA): http://apps.sentinel-hub.com/eo-browser/
Land Viewer (EOS): https://lv.eosda.com/

Y aquí hay un link con un documento explicando como usarlos:

https://drive.google.com/file/d/1XKbk83hHsQ7Pz6FBaZmahRLxBpu9Lj3a/view?usp=sharing

Descarga de imágenes Landsat. Earth Explorer.

Aplicación pionera. Diseñada y mantenida por el USGS. Da acceso a una gran cantidad de información de distintos sensores y plataformas. No es necesario, para usar la página como visor, pero si pensamos descargar las escenas que nos interesen, el primer paso sería “logearse”. Se trata de un proceso sencillo y gratuito en el que sólo debemos de introducir algunos datos personales y una dirección de email.

Descarga de imágenes Landsat. Earth Explorer.

A continuación, debemos comenzar la búsqueda de las imágenes basádonos en una serie de criterios: Espacial, Temporal y Dataset.

* Actualmente tenemos la opción de tan sólo pinchar en la zona requerida

Descarga de imágenes Landsat. Earth Explorer.

Es importante seleccionar Collection

1-T1. Se trata de aquellos productos que han pasado una evaluación de calidad y estań listos para ser usados en series temporales.

Una vez hecho esto, el botón Results nos llevaría a ver los resultados

Descarga de imágenes Landsat. Earth Explorer.

Antes de la descarga tenemos las opciones de:

Ver Huella de la escena
Ver quicklook de la escena
Ver los metadatos

Información sobre:

Id de la escena
Fecha de acquisición
Fecha de procesado
Path & Row

Descarga

https://vlab.geodab.org

Virtual Lab-LAST Tool

Lo primero que se nos pedirá es un login, que podemos hacer con cualquier correo de gmail o dándole a Sign Up para crear un usuario nuevo.

Virtual Lab-LAST Tool

Una vez que estamos logeados, accedemos a la página principal del Virtual Lab, donde tenemos una serie de enlaces en los que nos dan información sobre el VLAB. En el panel izquierdo tenemos acceso a una serie de pestañas en las que podemos acceder a los workflows disponibles y a nuestro historial de procesos.

Virtual Lab-LAST Tool

La pestaña más interesante es Workflows, desde la que tenemos acceso a todos los procesos subidos al Virtual Lab. Tan solo tenemos que desplazarnos por ellos o poner su nombre en el buscador.

Virtual Lab-LAST Tool

En el caso de que no tengamos claro lo que estamos buscando podemos clickar en Details, que nos abrirá una ventana emergente con toda la información del proceso en cuestión.

Virtual Lab-LAST Tool

Una vez localizado el proceso que buscamos, sólo tenemos que darle a Create new experiment para que se nos abra la propia interfaz del proceso. Don de debemos ponerle un nombre a nuestro experimento y rellenar los links (¡¡Dropbox!!)con los datos de partida necesarios para ejecutar el modelo.

Virtual Lab-LAST Tool

Al rellenar los links con los datos de entrada en Dropbox, los iconos con las entradas cambiaran de rojo a amarillo, indicando que ya se puede subir el proceso al Virtual Lab. Esto nos habilitará el botón Next que nos llevará a una pantalla en la que se muestra la información del proceso. Desde esa ventana, si todo nos parece bien, podemos darle a Submit para subir el proceso al Virtual Lab

Virtual Lab-LAST Tool

Si todo ha ido el proceso se subirá al VLAB y veremos el siguiente mensaje:

Una vez subido el proceso, entrará en cola. Por lo general se ejecutará enseguida y podremos consultar la información sobre su ejecución desde la pestaña My Experiments:

Virtual Lab-LAST Tool

Por último, si todo el proceso se ha ejecutado correctamente, se nos habilitará la opción de descarga de los productos generados. Lo cual nos bajará una carpeta comprimida con los otuputs definidos en el modelo.

Inciso: Servidor Imágenes LAST

venus.ebd.csic.es/imgs/

Virtual Lab-Hydroperiod

Virtual Lab-Hydroperiod

El funcionamiento de la herramienta es el mismo que el de la herramienta del LAST (y de cualquier otra del VLAB). Tan solo es necesario saber los datos de entrada, que en este caso son los siguientes:

Watermasks

Settings

Virtual Lab-Hydroperiod

Watermasks

Settings

Las máscaras de agua deben de estar todas dentro de un .zip y tener la misma resolución espacial y tener el mismo extent. Están pensadas para Sentinel 2, pero cumpliendo esos criterios funciona con cualquier tipo de máscara.

En este archivo de configuración le indicamos al modelo los parámetros necesarios para poder ejecutarse:

Fecha de inicio
Fecha de fin
Valor Inundado
Valor Seco

* Ojo a la nomenclatura YYYY_MM_DD!

Virtual Lab-Hydroperiod

La salida de esta herramienta nos genera la siguiente información:

Hydromap.tif: Hidroperiodo en días
input_report.txt: Informe con los datos de entrada y su validez
L3Aquatic.kea: Máscara con la máxima inundación del ciclo
preview_only.jpg: Imagen del hidroperiodo
rasters_info.xlsx: Información de los rasters de entrada
uncertainty_statistics.txt: Estadísticas sobre la validez del hidroperiodo en función de las imágenes disponibles
Dwaterper.kea: Persistencia del agua por meses

Otros productos del LAST-EBD

Otros productos

Profundidad 1. Algoritmo

Basado en las campañas de campo realizadas por personal del LAST y de la Estación Biológica de Doñana.
Se basa en una regresión multivariante a partir de los datos in situ y de la reflectividad de las bandas.
Ajustado recientemente dentro del Proyecto Ecopotential con unos 1440 puntos de campo, entre los que se ha incluido Landsat 8