Что нового в Apache Airflow 2.7?

Что нового в Apache Airflow 2.7?

🏆 СТАНЬТЕ ПРОФИ С AIRFLOW: https://www.udemy.com/course/the-comp...

Вот основные изменения:

➡️ Простая инициализация и удаление ресурсов, необходимых для задач!

💻 С задачами настройки и демонтажа (кластеры, вычислительные ресурсы и т. д.)

➡️ Мониторинг Airflow с помощью новой страницы активности кластера!

💻 Отслеживайте наиболее важные показатели вашего экземпляра Airflow одним щелчком мыши

➡️ Новое представление диаграммы Ганта!

💻 Для более точного выявления узких мест задач в группах DAG

➡️ Новое представление кода!

💻 Легче читать изменения в коде и проверять их применение.

➡️ Новые фильтры «Выполняется» и «Ошибка»!

💻 Нажмите кнопку, чтобы увидеть только DAG в состоянии «Выполняется» или «Ошибка».

➡️ Новый BranchExternalPythonOperator
💻 Возможность выбора между задачами без конфликтов зависимостей.

➡️ Новый кеш при вызове переменных и подключений.
💻 Более эффективная оптимизация ресурсов за счёт сокращения количества обращений к базе данных.

➡️ Ограничение параллелизма отложенных задач с помощью пулов.
💻 Установка include_deferred=True для пула.

➡️ Новое представление графика!

💻 Навигация по DAG-группам ещё никогда не была такой простой

➡️ Инициализация и обновление базы данных устарели
💻 Используйте миграцию базы данных для создания или обновления базы данных

➡️ Кнопка тестирования подключений отключена
💻 В целях безопасности включите её с помощью AIRFLOW__CORE__TEST_CONNECTION="Enabled"

И многое другое!

🏆 СТАНЬТЕ ПРОФИ: https://www.udemy.com/course/the-comp...

👍 Жмите «Мне нравится», чтобы стать супергероем Airflow!

❤️ Подпишитесь на мой канал, чтобы стать мастером Airflow

🚨 Мой Patreon:   / marclamberti  

Готовы?

Пойдем!