Интеграция Oracle и Kafka

Несмотря на все свои особенности и лицензионные сборы, мы все любим Oracle за то, что он делает. Но иногда нам нужно получить данные для использования в других местах. Возможно, мы хотим построить на их основе аналитику; возможно, мы хотим использовать их для разработки приложений; а иногда мы даже можем захотеть перенести их в другую базу данных, не являющуюся Oracle — можете себе это представить! 😱

С помощью Apache Kafka, нашей масштабируемой распределенной платформы для потоковой передачи событий, мы можем получать данные из Oracle в виде потока событий. Мы можем использовать Kafka для преобразования и обогащения событий, если захотим, даже объединяя их с данными из других источников. Мы можем передавать полученные события в целевые системы, а также использовать их для создания микросервисов, управляемых событиями.

В этом докладе будут представлены некоторые основы Kafka, а затем мы углубимся в процесс получения данных из Oracle в Kafka, применение потоковой обработки с помощью ksqlDB, а затем отправку этих данных в системы, включая PostgreSQL, а также обратно в саму Oracle.

🗣️ Презентация на встрече ACEs @ Home 15 июня 2020 г.

📔 Слайды и материалы: https://talks.rmoff.net/ixPL5r/integr...

--

ℹ️ Содержание:

1:34 Что такое Kafka? (см. также https://talks.rmoff.net/Q3AoWZ/kafka-...)
10:00 Каковы причины интеграции Oracle в Kafka?

14:41 Kafka Connect (см. также https://talks.rmoff.net/DQkDj3/from-z...)
17:50 Два типа захвата изменений данных (CDC)
19:40 Живая демонстрация - Oracle в Kafka
24:30 Живая демонстрация - Иллюстрация различий между методами CDC
28:40 Живая демонстрация - Потоковая передача данных из Kafka в другую базу данных (Postgres)
32:59 Живая демонстрация - ksqlDB
37:19 Живая демонстрация - Присоединение потока событий к таблице в ksqlDB
40:14 Живая демонстрация - Создание агрегатов в ksqlDB
41:24 Живая демонстрация - Создание коннектора-приемника из ksqlDB в Postgres
44:04 Живая демонстрация - Двойственность потока/таблицы ksqlDB, запросы push и pull
46:29 Живая демонстрация - Поиск ключ/значение в состоянии в ksqlDB с использованием REST API
47:44 Краткий обзор CDC, как выбрать подходящий API
49:29 Обзор ksqlDB
52:50 Краткое содержание и полезные ссылки

--

☁️ Confluent Cloud ☁️
Confluent Cloud — это управляемый сервис Apache Kafka и Confluent Platform. Он масштабируется до нуля и позволяет начать работу с Apache Kafka одним щелчком мыши. Вы можете зарегистрироваться по адресу https://confluent.cloud/signup?utm_so... и использовать код 60DEVADV для получения скидки в размере 60 долларов США (мелкий шрифт: https://www.confluent.io/confluent-cl...)