SmartData
SmartData — конференция по инженерии данных (Conference on Data Engineering).
Конференция для дата-инженеров и тех, кто работает с большими данными. Эксперты из различных компаний обсуждают техническую конкретику по всем темам — от отказоустойчивости до MLOps.
Ближайшая конференция — SmartData 2025, даты будут анонсированы позднее.
Подробнее — по ссылке ниже.
Основные темы:
— MMP СУБД и хранилища данных
— SMP и специализированные СУБД
— Архетектура дата-платформ
— Data Processing
— DataOps
— Database Internals
— Data Management
— Cloud Solutions
— Миграция с одних инструментов и хранилищ в другие
— Дата-инженерия не для дата-инженеров
Милена Булкина — Оптимизация распределения партиций в задачах распределенной обработки данных
Анастасия Сашина — Debezium Engine: практическое руководство по использованию
Альтернативные варианты восприятия информации в будущем программирования
Алексей Завальский и Дмитрий Крылов — Dagster: оркестратор пайплайнов для небольшой команды
Александр Токарев — Пишем свой cluster manager для Apache Spark
Денис Лукьянов — Data Vault 2.0. Когда внедрять, проблемы применения при построении DWH на Greenplum
Тимофей Брунько — Schema Registry: Ultimate Guide
Роман Ананьев — Как мы Apache Kafka на Redpanda меняли
Сергей Жемжицкий — Data sketches — быстро, дешево и (почти) точно!
Игорь Балюк — Как мы строим систему распределенного трейсинга, в которой можно терять данные
Александр Мадумаров — От ручного труда к автоматической генерации проверок качества данных
Данил Сабиров — Рецепт платформы потоковой обработки данных на Apache Flink
Валентин Пановский — Как кролик съел зеленую сливу и не умер: сказ о миграции на Iceberg
Арсений Бирюков — CI/CD для большого хранилища данных
Евгений Глотов — Apache Arrow: быстрее, ниже, сложнее
Airbyte или NiFi: два подхода, два инструмента, одна цель?
Максим Гудзикевич, Кирилл Осинцев — Как навести порядок в двух эксабайтах данных?
Павел Солодовников — Выбрасываем Java и кратно ускоряем Spark/Presto… Или пока нет?
Дмитрий Руднев — Инструменты Data Quality: как, зачем, почему. Опыт Т-Банка
Олег Кочергин — The State of Data, RU Edition
Евгений Иванов, Олег Бондарь — Шардированный не значит распределенный: если PostgreSQL мало
Петр Гуринов — Data mesh: ожидания vs реальность
Яна Харлан — Это реальный космос: space-индустрия сегодня
Александра Попова — Airbyte. 2 года в продакшене
Антон Александров — dbt в деле: реальные кейсы и лайфхаки
Мария Бученкова, Владимир Седельников — Обработка событий в Snowplow: от сбора до аналитики
Булат Усманов — Data Lineage: как настроить в зоопарке технологий и зачем это нужно
Дмитрий Вертлиб — Использование вероятностных структур данных для оптимизации ETL-процессов
Никита Юрасов, Леонид Кожинов — От хайпа до продакшена: data mesh на Airflow + dbt
Наталья Журавлева — Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub