Airflow

Qiang MENG

• Archi

• DQ

• ML+DS

• Scale

• Catalog

• Next

Archi - AWS

Archi - GCP

Scale - No dependency

• Compute
• SQL
• Python

Scale - Compute -Spark on EMR

Scale - Compute - Spark on EMR

Scale - SQL

Scale - Python

LSEDE DQ

• Availability 

  • yes or no

• Duplication

  • not more 

• Consistency

• • Schema 

• Leaking

  • not less

LSEDE DQ

• Availability 

• Consistency

• Duplication

• Leaking

LSEDE DQ

• Availability 

• Consistency

• Duplication

• Leaking

LSEDE DQ

• Availability 

• Consistency

• Duplication

• Leaking

LSEDE DQ

• Availability 

• Consistency

• Duplication

• Leaking

LSEDE Airflow Catalog

How about ML and DS

Next