52 декларативных конвейера Lakeflow Spark | Новый редактор кода конвейера | AUTO CDC | Внешние це...

Декларативные конвейеры Lakeflow Spark (SDP) | PySpark | DLT | Databricks

Видеообзоры 👉🏻
Как создавать декларативные конвейеры Lakeflow Spark (SDP)? Как использовать новый редактор конвейеров в Databricks? Что случилось с DLT? DLT против SDP?

Главы
00:00 — Введение
04:22 — Новый интерфейс редактора конвейеров Lakeflow
14:09 — Код декларативного конвейера Spark
15:28 — Потоковые таблицы SDP
16:50 — Материализованные представления SDP
18:14 — Таблица SCD2 SDP с использованием AUTO CDC (предварительное применение изменений)
22:24 — Внешний целевой приемник
24:35 — Выполнение конвейера SDP
29:24 — Удаление конвейера ETL SDP
31:24 — Режим публикации по умолчанию
32:55 — Использование кода SQL в сочетании с Python

Плейлист 👉🏻
Databricks -    • Databricks - Zero to Hero| Databricks With...  
DLT -    • Lakeflow Spark Declarative Pipelines| Data...  
PySpark -    • PySpark - Zero to Hero | PySpark Tutorial ...  
Хранилища данных -    • Data Warehousing - Learn With Examples  

Документация 👉🏻
Сайт Databricks: www.databricks.com
https://learn.microsoft.com/en-us/azu...
https://learn.microsoft.com/ru-ru/azu...
https://learn.microsoft.com/ru-ru/azu...

Файл кода на Github - https://github.com/subhamkharwal/data...

Серия представляет собой пошаговое руководство по изучению Databricks, популярной унифицированной платформы для анализа данных.

Подпишитесь на Субхама Кхандельвала в LinkedIn и не забудьте поделиться ссылкой - https:// www.linkedin.com/in/subhamkharwal/

Отказ от ответственности: эта серия предназначена исключительно для обучения и преподавания. Организатор/преподаватель не несет ответственности за любое ненадлежащее использование или любые комментарии. Представленные мысли и взгляды принадлежат преподавателю и не имеют никакого отношения к работодателю.

#databricks #dataengineering #spark