Лучшая альтернатива Airflow!? Mage.ai
Автор: Andreas Kretz
Загружено: 2023-05-25
Просмотров: 32418
Ребята из Mage.ai попросили меня ознакомиться с их подходом к построению ETL, ELT и потоковых конвейеров.
Итак, вот что я выяснил. Спойлер: это действительно весело!
▶︎ Посетите Mage.ai: https://www.mage.ai
▶︎ Пройдите Академию Data Engineering Academy: https://learndataengineering.com/p/ac...
Баллы:
0:00 Введение
1:00 Настройка Mage
1:42 Масштабирование
02:23 Пользовательский интерфейс
03:01 Конвейер ETL: Загрузчик данных
03:36 Преобразователь данных
04:00 Экспортер данных
04:51 Исследование данных с помощью диаграмм
05:50 Организация конвейеров
07:28 Выполнение тестов
08:10 Планирование конвейеров
09:13 dbt и Apache Spark
10:16 Краткое содержание
#инженерияданных #наукаоданных #большиеданные
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
