Как Netflix обрабатывает 10 миллионов событий в секунду с помощью ClickHouse

Netflix ежедневно обрабатывает целых пять петабайт данных наблюдения — это 10,6 миллионов событий в секунду, поступающих в ClickHouse. На встрече ClickHouse в марте 2025 года Дэниел Муино из Netflix поделился тремя уроками, полученными тяжким трудом в ходе разработки и масштабирования своей платформы наблюдения. Это не теоретические рекомендации, а реальные решения реальных проблем, возникающих в огромных масштабах.

🔸 *Переход на низкоуровневый уровень, когда это необходимо* — Netflix отказался от пакетной вставки JDBC в пользу кодирования на основе собственных нативных протоколов, поскольку стандартный подход иногда оказывается недостаточно быстрым.
🔸 *Сохранение экономии на горячем пути* — Они заменили шаблоны регулярных выражений на скомпилированные лексеры во время обработки, поскольку дорогостоящая работа с 10 миллионами событий в секунду — прямой путь к проблемам.
🔸 *Проектирование с учётом того, как работает ClickHouse на самом деле* — Оптимизация хранилища карт с использованием типов с низкой кардинальностью и интеллектуального шардинга показывает, почему понимание внутреннего устройства ClickHouse важно для производительности запросов.

Запись в блоге: https://clickhouse.com/blog/netflix-p...