Airflow

Data Workflow Management

O que é?

  • Execução de workflow de dados
    • Escritos em Python
    • Forma de DAGs
  • Criado pelo Airbnb
  • Open Source (Apache License)
  • Desenvolvido em Python
    • Flask, SQLAlchemy, Jinja, etc
  • Alternativa ao Luigi do Spotify

DAG

  • Directed Acyclic Graphs
  • Rede de jobs
  • Possui agendamento próprio
  • Código enxuto e fácil de entender quando criado

DAG Airflow - Backfill

DAG Airflow - Visualização de Grafos

DAG Airflow - Detalhes

Alguns processos feitos com Airflow

  • Data warehousing: cleanse, organize, data quality check

  • Growth analytics

  • Experimentation: compute our A/B testing

  • Email targeting

  • Sessionization: compute clickstream

  • Search: compute search ranking related metrics

  • Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, …

feitos pelo Airbnb

Email: me@gilsondev.in

Blog: gilsondev.in

Telegram/Github: @gilsondev

Twitter: @gilsonfilho

Em que posso ajudar?

Lightning Talk - Airflow

By Gilson Filho

Lightning Talk - Airflow

Lightning Talk no Python Brasil 13 para falar sobre o Airflow.

  • 473
Loading comments...

More from Gilson Filho