Как: Репликация данных из Kafka в Kafka

В этом видео Андреас из Learn Data Engineering беседует с Карлосом из Lenses.io о кросс-кластерной репликации в Apache Kafka. Они объясняют, почему репликация данных между кластерами сложнее, чем внутри одного кластера, рассматривают реальные примеры использования, такие как аварийное восстановление и миграция, а также ограничения современных инструментов, таких как MirrorMaker. Карлос знакомит с K2K (репликатором Kafka-to-Kafka), показывая, как он масштабируется с Kubernetes, обеспечивает отсутствие дублирующихся записей с помощью темы назначения и даже обрабатывает репликацию схемы с сопоставлением идентификаторов. Включает демонстрацию репликации в действии.

Ознакомьтесь с Lenses K2K здесь: https://lenses.io/kafka-replication/

00:00 – Введение: Что такое кросс-кластерная репликация Kafka?
01:30 – Зачем перемещать данные между кластерами Kafka?
03:00 – Типичные примеры использования: аварийное восстановление, промежуточное хранение, архивирование
05:20 – Миграция данных Kafka: локально в облако и AWS MSK
07:00 – Распространенные ошибки: почему MirrorMaker добавляет слишком много накладных расходов
09:00 – Роль групп потребителей в репликации
11:00 – Масштабирование репликации с помощью Kubernetes и разделов
13:00 – Предотвращение дублирования данных с помощью темы задания
15:30 – Обработка сбоев: предотвращение неэффективных производителей
18:00 – Объяснение репликации схемы и сопоставления идентификаторов схемы