Александр Мошура. Новые вызовы бизнеса, как их поддержать и как выбрать подходящие технологии

00:00:00 Введение — Лидер архитектуры рассказывает о стратегии управления данными, подчеркивая важность децентрализации и построения систем вокруг данных.

00:00:58 Концепция дата мэш — Внедрение дата мэша для упрощения рутинных операций с помощью ИИ.

00:01:39 Проблемы инфраструктуры — Требуется обновление оборудования и сокращение локальных хранилищ.

00:02:54 Архитектура дата лейк хаус — Переход к разделению хранения и вычислений с горизонтальным масштабированием.

00:04:07 Исследование технологий — Разделение на три части: хранение, вычисления и форматы данных, структурированный выбор инструментов.

00:05:00 Инструменты распределённых вычислений — Критерии и оценки

00:07:59 Инструменты хранения данных — Apache Ozone и Zkroma лидируют по эффективности;

00:11:34 Открытые форматы данных — Приоритет: MERGE-READ и возможность чтения/записи;

00:14:38 Системы управления базами данных — Скорость поиска, масштабируемость и поддержка SPARs-векторов;

00:17:27 Прототип дата лейк хауса — Архитектура протестирована без потерь в производительности, обеспечивает изоляцию команд.

00:18:19 Горизонтальное масштабирование — Позволяет масштабировать компоненты более эффективно; Melvus выбран как решение для векторного поиска.

00:19:08 Пересмотр стека — Включая Starrocks и low-code инструменты для пайплайнов и метаданных, учитывая старые и новые решения.

00:20:07 Пилот Data Lake House — Совместное тестирование

00:20:15 Завершение