Никита Благодарный, Александра Чекмарева (Китченко) — CI/CD в большом on-premise Datalake-проекте
Автор: SmartData
Загружено: 2025-10-28
Просмотров: 72
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData —
У команды спикеров есть большой монорепозиторий, в котором хранится разнородный код для Datalake — Scala-код для Spark, DDL для различных БД, DAGи Airflow, служебные скрипты. Никита и Александра рассказали, как структурировали репозиторий и строили для него CI/CD-процессы, чтобы они:
— Работали инкрементально — собирали / тестировали / деплоили только те части, которые менялись.
— Работали параллельно, чтобы обеспечивать полную сборку / деплой за приемлемое время.
— Собирали один и тот же код под разные версии Spark.
— Учитывали при тестировании реальное окружение целевых систем.
— Были максимально демократичны (доступны широкому кругу разработчиков) и при этом безопасными для прода.
Обсудили и многое другое, в том числе грабли, по которым пришлось походить.
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![F[Scala] 2025](https://ricktube.ru/thumbnail/Lnby41Hp930/mqdefault.jpg)
