La "caccia", la pulizia e la ristrutturazione dei dati: alcuni casi tipici.

@aborruso | Palermo 20/02/2016

Geomatico, mi occupo di rilevamento e trattamento informatico di dati relativi alla Terra e all’ambiente, ho una società che costruisce sensori per droni (Panoptes srl) e sono uno degli autori delle linee guida Open Data dei Comuni di Palermo.

Di notte faccio il civic hacker

Mapzen

Un'iniziativa civica che si propone di far conoscere e diffondere la cultura dell'open government e le prassi dell'open data nel nostro territorio e aprire una discussione pubblica partecipata.

http://opendatasicilia.it/

Chiedete e vi sarà Dato

Luca 11

Un dato (dal latino datum che significa letteralmente fatto) è una descrizione elementare, spesso codificata, di un'entità, di un fenomeno, di una transazione, di un avvenimento o di altro (wikipedia).

Dato

L'elaborazione dei dati può portare alla conoscenza di un'informazione. I dati nascono dell'osservazione di aspetti e fenomeni elementari e permettono di effettuare dei calcoli, risolvere un problema, caratterizzare un fenomeno o di esprimere un'opinione. Ogni tipo di dato dipende dal codice e dal formato impiegati (wikipedia).

Metadati

Informazioni sui dati

Licenze

cosa ci posso fare con i dati?

L'esempio dal mondo open

scegliere la licenza per i propri dati
scegliere la licenza per il proprio codice

Data science

"il lavoro più interessante del XXI secolo, che unisce le competenze dell’informatico, dello statistico e del narratore per estrarre le pepite d’oro nascoste sotto montagne di dati" (Economist)

I dati aperti

Open data is data that can be freely used, re-used and redistributed by anyone - subject only, at most, to the requirement to attribute and sharealike.

I dati aperti

OSEMN

Obtaining data,
Scrubbing data,
Exploring data,
Modeling data,
Interpreting data

Obtaining Data

Download
Query su un database o tramite API
Estraendo dati da file (pagina HTML, foglio elettronico, ...)
Generandoli in modo autonomi (un sensone, penna e carta, ecc.)

Scrubbing Data

Filtrando alcune linee
Estraendo colonne
Sostituendo valori
Gestendo i valori mancanti
Convertendo il formato dei dati
...

l'80% del lavoro con i dati, è quello di pulizia (data-jujitsu)

Exploring Data

Guardare i propri dati
Derivarne dati statistici
Creare visualizzazioni interessanti

Il World (not so) Wide Web

solo il 5 % delle informazioni conosciute è alla portata di tutti;
il 95% è nell'oceano profondo
- è insieme al calamaro gigante, lo vedremo mai?

By Created by Uwe Kils (iceberg) and User:Wiska Bodo (sky). [GFDL or CC-BY-SA-3.0], via Wikimedia Commons

Dati "web"

Cataloghi di dati
File (xls, pdf, json, xml, ...)
"Servizi" (API)
Il social web
Noi stessi
L'inatteso

Cataloghi

I cataloghi dei dati, specie della Pubblica Amministrazione, esplodono con i temi della trasparenza e dei dati aperti

Il Portale Nazionale

Strumenti per i "Cataloghi"

browser
notepad
foglio elettronico
la shell
...

Un esempio

Comune di Palermo, TURISMO - LUOGHI DI INTERESSE
File XML 1
File XML 2
Foglio elettronico
Output

File

PDF, XLS, KML, JSON, TSV, CSV,
DXF, TIFF, TXT, XML, SHP, HTML

Strumenti

browser
notepad
foglio elettronico
la shell
...

Esempio

Comune Palermo: Inventario immobili comunali
File PDF
Barriere per trasformare dati in informazioni
- superiamole con Tabula
Leggiamo i dati

API

API (Application programming interface). – In informatica, regole e specifiche per la comunicazione tra software. Tali regole fungono da interfaccia tra i vari software e ne facilitano l’interazione, allo stesso modo in cui l’interfaccia utente facilita l’interazione tra uomo e computer
(Treccani, “Lessico del XXI Secolo”)

Strumenti

browser
notepad
foglio elettronico
la shell
linguaggi di scripting
...

Esempi (google maps)

http://maps.googleapis.com/maps/api/geocode/xml?sensor=false&address=Via%20Terrasanta%2082,%20Palermo
Documentazione
- Directions API
- Distance Matrix API
- Elevation API
- Geolocation API
- Places API Web Service
- Roads API
- Time Zone API
In azione

geocoding in batch;
esempio dei beni immobili;
il "tutorial".

Esempi (google maps)

Leggere sempre i TOS

The Google Maps Geocoding API may only be used in conjunction with a Google map; geocoding results without displaying them on a map is prohibited. For complete details on allowed usage, consult the Maps API Terms of Service License Restrictions (dettagli).