Go Kafka: Потребитель Exactly-Once. Ручные коммиты со смещением и идемпотентностью базы данных

🔔 ПОДПИШИТЕСЬ, чтобы получать больше подобного контента 👇: https://www.youtube.com/@kcode_tech?s...

-------

В этом продвинутом руководстве по Kafka мы реализуем ручное управление смещением на Go для обработки сообщений «точно один раз»! Узнайте, как создать отказоустойчивый потребитель Kafka, используя стратегию High Water Mark, ручное подтверждение смещения и идемпотентные операции с базой данных.

🎯 Что вы узнаете:
Стратегия ручного коммита смещения в Kafka
Реализация семантики exact-once
Создание системы отслеживания состояния смещения с помощью Mutex
Предотвращение дублирования обработки сообщений с помощью проверок базы данных
Безопасная обработка параллельных сообщений

00:00 Введение
00:59 Визуальная постановка задачи
04:45 Обзор начальной настройки Kafka
06:51 Обновление потребителя Kafka
10:13 Настройка базы данных с помощью SQLX
17:13 Реализация exact-once
23:30 Ручное коммит смещения Kafka
32:45 Тестирование доставки exact-once

-------

📂 Предыдущие видео:
Часть 1 - Основы Kafka Producer и Consumer:    • Go Kafka Intro - Producer & Consumer with ...  

🔗 Полезные ссылки:
Репозиторий GitHub: https://github.com/k-code-yt/golang-y...
Конфлюентный клиент Kafka Go: https://github.com/confluentinc/confl...
Документация Apache Kafka: https://kafka.apache.org/documentation/

📱 Ссылки на социальные сети:
Twitch:   / kcode_tech  

#kcode #go #golang #kafka #exactlyonce #offset #concurrency #distributed #systems #messaging #idempotency #database #transactions #sync #mutex #programming #tutorial #advanced