Скачать
Airflow + Spark + MinIO: запуск сквозных конвейеров данных
Автор: The Data Guy
Загружено: 2025-11-10
Просмотров: 831
Описание:
В этом видео вы узнаете, как создать полностью автоматизированный конвейер данных с помощью Apache Airflow, Apache Spark и MinIO.
Мы расскажем, как Airflow запускает задание Spark, которое считывает данные из одного контейнера MinIO, обрабатывает их с помощью PySpark и записывает выходные данные в другой контейнер MinIO — всё это в рамках понятного модульного рабочего процесса.
Репозиторий GH: https://github.com/gyatesofficial/afs...
Присоединяйтесь к моему каналу Patreon для раннего доступа к видео и коду: https://patreon.com/TheDataGuy?utm_me...
Присоединяйтесь к моему каналу Discord для вопросов и кода: / discord
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
