Типичные ошибки при работе с Apache Kafka — Виктор Корейша

Доклад с митапа DevTalks. Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python (9 декабря 2023)
Apache Kafka — это распределенный и хорошо масштабируемый лог сообщений с открытым исходным кодом, выдерживающий огромные нагрузки.
В рамках доклада Виктор Корейша разобрал базовое устройство «Кафки», вспомнил основные понятия и термины, поговорил о том, как эффективнее взаимодействовать с кластером «Кафки», и разобрал 7 типовых ошибок при его использовании.
Доклад будет полезен тем, кто уже работает с «Кафкой», но не погружался глубоко в принципы его работы.
Ссылка на презентацию из доклада:
https://drive.google.com/file/d/1APmf...

Cайт митапа — https://devtalks.dev/infrastructure-k...
Официальный канал митапа — https://t.me/+X4DZg7ma1DdlM2I6

Нанять команду Spectr — https://digital-spectr.ru/new-client

Организаторы митапа: Spectr, Тэглайн.

#devtalks #devtalks_russia #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #kafka #s3 #python #performance #highload #polars #development #meetup #dev

00:00 Начало, представление спикера
02:15 Что такое Apache Kafka?
05:22 Топики и партиции
07:17 Консьюмер-группы и оффсеты
11:21 Внутреннее устройство Apache Kafka
14:10 Ошибка: сообщения пропадают из топика
16:17 Retention Policy: ограничиваем сообщения по размеру
17:21 Retention Policy: ограничиваем сообщения по времени
17:59 Cleanup Policy
20:54 Почему чтение дольше записи?
24:05 Как обозначить сообщения в партиции как обработанные?
26:18 Как писать больше и быстрее?
32:01 Группа постоянно падает в ребаланс
37:04 Почему лучше делать по одной группе на каждый топик?
38:10 Почему retry topic далеко не всегда хороший план?
45:03 Вопросы из зала