Антон Смирнов. ETL платформа. Первые шаги
Автор: DataOffice Ростелеком
Загружено: 2025-11-23
Просмотров: 16
00:00:00 Введение
00:01:50 Проект — Цели: автоматизация, снижение сроков и затрат, непростая инфраструктура.
00:03:09 Подготовка — Контракты с поставщиками, формирование межфункциональной команды.
00:04:31 Архитектура — Источники, стейджи, хранилище, витрины, исключение витринного слоя.
00:07:54 План — Тестовая эксплуатация до конца 2024, метрика — снизить срок релиза на 80%.
00:11:07 Технологии — Исследование через лабораторный подход, выбор самописного решения.
00:12:56 Процесс — Загрузка из Kafka, преобразование, архивы, ошибки, импортозамещение Microsoft.
00:13:34 Архитектура — Передача данных через сервисы, сырой слой данных.
00:14:13 Оптимизация — Решение не укладывалось, отказ от неэффективных сервисов, автоматизация.
00:15:08 Реализация — В коде возможность переноса в Kubernetes, Jenkins + Nexus + CDD.
00:16:12 Тест — Стажер за 4 часа 12 мин, быстрее на 94%, итоги — низкий порог входа.
00:17:28 Эффективность — Экономия 125 чел. дн. в год, платформа — база автоматизаций.
00:18:28 Итоги — Новые элементы дешевле, проект — MVP, метрики — защита у руководства.
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
