Рулим запуском Spark-приложений в Airflow с помощью самописного оператора

Airflow играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.