Мониторинг блоков данных с помощью системных таблиц

В этом видео я расскажу о другом аспекте мониторинга:
Что системные таблицы Databricks предлагают для мониторинга?
Насколько это пересекается с журналами приложений и метриками Spark?

Системные таблицы Databricks — это общедоступная предварительная версия функции, которую можно включить, если в вашем рабочем пространстве установлен каталог Unity. В первые три минуты я расскажу о концепции, а в последние три минуты расскажу, где она наиболее полезна. Далее будут приведены примеры запросов и пояснения к таблицам.

Все мысли и мнения принадлежат мне *

Более подробная информация в блоге:
https://dustinvannoy.com/2024/02/22/d...

Варианты включения системных таблиц:
Curl - https://learn.microsoft.com/en-us/azu...
dbdemos notebook - https://www.databricks.com/resources/...

Полезно Блоги:
  / databricks-system-tables-an-introduction  

https://www.databricks.com/blog/impro...

Полезная документация:
https://learn.microsoft.com/en-us/azu...

https://learn.microsoft.com/en-us/azu...

Ещё от Дастина:
Сайт: https://dustinvannoy.com
LinkedIn:   / dustinvannoy  
Github: https://github.com/datakickstart

ГЛАВЫ
0:00 Введение
1:15 Включение системных таблиц
3:28 Запрос на использование биллинга
6:55 Основные моменты в документации
7:57 Запрос на определение происхождения
9:02 Запрос аудита
11:17 Дополнительные таблицы
13:20 Сравнение с Log4J/Metrics
14:08 Резюме