Airflow
Data Workflow Management
O que é?
-
Execução de workflow de dados
- Escritos em Python
- Forma de DAGs
- Criado pelo Airbnb
- Open Source (Apache License)
-
Desenvolvido em Python
- Flask, SQLAlchemy, Jinja, etc
- Alternativa ao Luigi do Spotify
DAG
- Directed Acyclic Graphs
- Rede de jobs
- Possui agendamento próprio
- Código enxuto e fácil de entender quando criado
DAG Airflow - Backfill
DAG Airflow - Visualização de Grafos
DAG Airflow - Detalhes
Alguns processos feitos com Airflow
-
Data warehousing: cleanse, organize, data quality check
-
Growth analytics
-
Experimentation: compute our A/B testing
-
Email targeting
-
Sessionization: compute clickstream
-
Search: compute search ranking related metrics
-
Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, …
feitos pelo Airbnb
