La "caccia", la pulizia e la ristrutturazione dei dati: alcuni casi tipici.

@aborruso | Palermo 20/02/2016 

Geomatico, mi occupo di rilevamento e trattamento informatico di dati relativi alla Terra e all’ambiente, ho una società che costruisce sensori per droni (Panoptes srl) e sono uno degli autori delle linee guida Open Data dei Comuni di Palermo.

Di notte faccio il civic hacker

Mapzen 

Un'iniziativa civica che si propone di far conoscere e diffondere la cultura dell'open government e le prassi dell'open data nel nostro territorio e aprire una discussione pubblica partecipata.

http://opendatasicilia.it/

 Chiedete e vi sarà Dato

Luca 11

Un dato (dal latino datum che significa letteralmente fatto) è una descrizione elementare, spesso codificata, di un'entità, di un fenomeno, di una transazione, di un avvenimento o di altro (wikipedia).

Dato

Dato

 

L'elaborazione dei dati può portare alla conoscenza di un'informazione. I dati nascono dell'osservazione di aspetti e fenomeni elementari e permettono di effettuare dei calcoli, risolvere un problema, caratterizzare un fenomeno o di esprimere un'opinione. Ogni tipo di dato dipende dal codice e dal formato impiegati (wikipedia).

Metadati

Informazioni sui dati

Licenze

cosa ci posso fare con i dati?

L'esempio dal mondo open

  • scegliere la licenza per i propri dati
  • scegliere la licenza per il proprio codice

Data science

"il lavoro più interessante del XXI secolo, che unisce le competenze dell’informatico, dello statistico e del narratore per estrarre le pepite d’oro nascoste sotto montagne di dati" (Economist)

I dati aperti

Open data is data that can be freely used, re-used and redistributed by anyone - subject only, at most, to the requirement to attribute and sharealike.

I dati aperti

OSEMN

  • Obtaining data, 
  • Scrubbing data,
  • Exploring data,
  • Modeling data,
  • Interpreting data

Obtaining Data

  • Download
  • Query su un database o tramite API
  • Estraendo dati da file (pagina HTML, foglio elettronico, ...)
  • Generandoli in modo autonomi (un sensone, penna e carta, ecc.)

Scrubbing Data

  • Filtrando alcune linee
  • Estraendo colonne
  • Sostituendo valori
  • Gestendo i valori mancanti
  • Convertendo il formato dei dati
  • ...

l'80% del lavoro con i dati, è quello di pulizia (data-jujitsu

Exploring Data

  • Guardare i propri dati
  • Derivarne dati statistici
  • Creare visualizzazioni interessanti

Il World (not so) Wide Web

  • solo il 5 % delle informazioni conosciute è alla portata di tutti;
  • il 95% è nell'oceano profondo
    • è insieme al calamaro gigante, lo vedremo mai?

By Created by Uwe Kils (iceberg) and User:Wiska Bodo (sky). [GFDL or CC-BY-SA-3.0], via Wikimedia Commons

Dati "web"

  • Cataloghi di dati
  • File (xls, pdf, json, xml, ...)
  • "Servizi" (API)
  • Il social web
  • Noi stessi
  • L'inatteso

Cataloghi

I cataloghi dei dati, specie della Pubblica Amministrazione, esplodono con i temi della trasparenza e dei dati aperti

 

Il Portale Nazionale

Strumenti per i "Cataloghi"

  • browser
  • notepad
  • foglio elettronico
  • la shell
  • ...

Un esempio

File

PDF, XLS, KML, JSON, TSV, CSV,
DXF, TIFF, TXT, XML, SHP, HTML

Strumenti

  • browser
  • notepad
  • foglio elettronico
  • la shell
  • ...

Esempio

API

API (Application programming interface). – In informatica, regole e specifiche per la comunicazione tra software. Tali regole fungono da interfaccia tra i vari software e ne facilitano l’interazione, allo stesso modo in cui l’interfaccia utente facilita l’interazione tra uomo e computer
(Treccani, “Lessico del XXI Secolo”) 

Strumenti

  • browser
  • notepad
  • foglio elettronico
  • la shell
  • linguaggi di scripting
  • ...

Esempi (google maps)

  • geocoding in batch;
  • esempio dei beni immobili;
  • il "tutorial".

Esempi (google maps)

Leggere sempre i TOS

The Google Maps Geocoding API may only be used in conjunction with a Google map; geocoding results without displaying them on a map is prohibited. For complete details on allowed usage, consult the Maps API Terms of Service License Restrictions (dettagli).

Eventbrite

Eventbrite

Twitter

Twitter

  • si crea APP;
  • si impara come accedere ai dati;
  • si impasta la farina.

Andarseli a prendere

In modo "inconsapevole" 1

In modo "inconsapevole" 2

In modo "incosapevole" 3

In modo "incosapevole" 4

In modo consapevole

In modo consapevole

L'"inatteso"

NASA 3D Models - 3D printable

GIF IT UP

Frinkiac 

Archeosticker

twitter: @aborruso

email: aborruso@gmail.com

La "caccia", la pulizia e la ristrutturazione dei dati: alcuni casi tipici | #wiad16

By Dataninja srls

La "caccia", la pulizia e la ristrutturazione dei dati: alcuni casi tipici | #wiad16

Presentazione per il workshop tenuto a Palermo per il WIAD 16, la "Giornata mondiale dell'architettura dell'informazione": http://www.wiadpalermo.com/

  • 2,933