Apache Iceberg на AWS с S3 и Athena [ПОЛНЫЙ КУРС ЗА 30 МИН.]

Вы ежедневно сталкиваетесь с ситуацией, когда запросы к озеру данных выполняются медленно? Обновление данных практически невозможно? А конечные пользователи сталкиваются с проблемами при чтении или обновлении данных? Тогда Apache Iceberg может стать тем решением, которое вы ищете. Iceberg — это формат таблиц с открытым исходным кодом, изначально разработанный Netflix, но затем переданный Apache Foundation. Он обеспечивает быструю обработку запросов независимо от структуры хранения файлов данных. Iceberg имеет встроенный синтаксис merge-in, позволяющий обновлять, вставлять и удалять петабайты данных. Благодаря ACID-транзакциям он решает проблему, когда несколько пользователей одновременно пытаются получить доступ к данным. В этом видео мы рассмотрим теоретические основы работы Apache Iceberg и создадим собственные таблицы в AWS. ССЫЛКА НА УЧЕБНЫЕ РЕСУРСЫ GITHUB:
💾 Репозиторий кода: https://github.com/johnny-chivers/ice...

ПОДДЕРЖИТЕ КАНАЛ:
☕ Купите мне кофе: https://www.buymeacoffee.com/johnnych...
🖥️ Мой VPN: https://go.nordvpn.net/aff_c?offer_id...

▬▬▬▬▬▬ ВРЕМЯ ⏰ ▬▬▬▬▬▬
00:00 — Введение
01:05 — Теория айсберга
06:58 — Настройка
10:01 — Apache Iceberg Main Урок
12:31 — Создание таблицы CSV
13:58 — Создание таблицы «Айсберг»
17:03 — Вставка данных в таблицу «Айсберг»
19:46 — Выбор данных из таблицы «Айсберг»
21:28 — Обновление данных
22:43 — Путешествие во времени в айсберге
25:10 — Удаление данных
27:23 — Очистка ресурсов
27:44 — Заключение

ДРУГИЕ ПОЛЕЗНЫЕ ССЫЛКИ:
📹 Урок по Glue:    • AWS Glue Tutorial for Beginners [FULL COUR...  
ℹ️ Мой сайт: https://johnnychivers.co.uk
🔗 Linkedin:   / johnny-chivers  

😎 Обо мне
Последние десять лет я посвятил миру больших данных, работая консультантом в крупнейших компаниях мира. Мой путь в мир данных был не самым обычным. Я начал свою карьеру в профессиональном спорте, работая аналитиком эффективности в регби и футболе высшего уровня. Затем я перешёл в сферу данных и вычислений. Этот путь увенчался получением степени магистра по программному обеспечению.

Наслаждайтесь 🤘