Airflow

Data Workflow Management

O que é?

• Execução de workflow de dados
  • Escritos em Python
  • Forma de DAGs
• Criado pelo Airbnb
• Open Source (Apache License)
• Desenvolvido em Python
  • Flask, SQLAlchemy, Jinja, etc
• Alternativa ao Luigi do Spotify

DAG

• Directed Acyclic Graphs
• Rede de jobs
• Possui agendamento próprio
• Código enxuto e fácil de entender quando criado

DAG Airflow - Backfill

DAG Airflow - Visualização de Grafos

DAG Airflow - Detalhes

Alguns processos feitos com Airflow

• Data warehousing: cleanse, organize, data quality check

• Growth analytics

• Experimentation: compute our A/B testing

• Email targeting

• Sessionization: compute clickstream

• Search: compute search ranking related metrics

• Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, …

feitos pelo Airbnb

https://medium.com/airbnb-engineering/airflow-a-workflow-management-platform-46318b977fd8

meucandidato.me

Blog: df.python.org.br

Telegram: @grupydf

Meetup: meetup.com/pt-BR/pythondf

Email: me@gilsondev.in

Blog: gilsondev.in

Telegram: @gilsondev

Github: gilsondev

Twitter: @gilsonfilho

Em que posso ajudar?