Apache Airflow - свободное программное обеспечение, родившееся внутри компании Airbnb для управления многочисленными и разветвленными рабочими процессами.
Эта статья про установку Apache Airflow 2 с использованием Docker. Обращаю внимание, что в данном мануале рассматривается стандартная установка приложения с CeleryExecutor. Модификацию yaml под LocalExecutor возможно опишу в последующих статьях.
Apache Airflow - свободное программное обеспечение, родившееся внутри компании Airbnb для управления многочисленными и разветвленными рабочими процессами. Airflow написан на Python и процессы, которые вы будете использовать в своей работе также будете создавать на этом языке.
Docker - технология, развиваемая примерно с 2008 года для решения вопроса независимости среды выполнения от внешних условий. Общепринятое определение гласит, что Docker: это средство упаковки, доставки и запуска приложений. В этой статье разберемся с тем как Docker устанавливается а также освоим базовые команды для манипуляции образами.
Пакет pyenv для меня решает две основные задачи:
