Airflow

Data Workflow Management

O que é?

  • Execução de workflow de dados
    • Escritos em Python
    • Forma de DAGs
  • Criado pelo Airbnb
  • Open Source (Apache License)
  • Desenvolvido em Python
    • Flask, SQLAlchemy, Jinja, etc
  • Alternativa ao Luigi do Spotify

DAG

  • Directed Acyclic Graphs
  • Rede de jobs
  • Possui agendamento próprio
  • Código enxuto e fácil de entender quando criado

DAG Airflow - Backfill

DAG Airflow - Visualização de Grafos

DAG Airflow - Detalhes

Alguns processos feitos com Airflow

  • Data warehousing: cleanse, organize, data quality check

  • Growth analytics

  • Experimentation: compute our A/B testing

  • Email targeting

  • Sessionization: compute clickstream

  • Search: compute search ranking related metrics

  • Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, …

feitos pelo Airbnb

Email: me@gilsondev.in

Blog: gilsondev.in

Telegram: @gilsondev

Github: gilsondev

Twitter: @gilsonfilho

Em que posso ajudar?

Python Cerrado Lightning Talk - Airflow

By Gilson Filho

Python Cerrado Lightning Talk - Airflow

Lightning Talk na Python Cerrado 2018 para falar sobre o Airflow.

  • 301
Loading comments...

More from Gilson Filho