Мощный агент качества данных для Dataplex

Отказ от ответственности: Мнения и взгляды, высказанные в этом видео, принадлежат мне и не обязательно отражают официальную политику или позицию моего работодателя.
-----

Агент качества данных для #Dataplex: детерминированный подход к анализу.

Отслеживание проблем качества данных в масштабах сотен таблиц в Dataplex требует эффективных и надежных решений для мониторинга, которые выходят за рамки специализированных сложных информационных панелей.

Я делюсь видео, в котором подробно описывается агент качества данных, созданный для быстрого развертывания и предназначенный для предоставления мгновенной и практической информации без необходимости использования дополнительных уровней визуализации.

🛑 Устранение неопределенности NL2SQL

Ключевой проблемой масштабирования интерфейсов естественного языка является неопределенность, присущая преобразованию NL2SQL (естественный язык в SQL). При работе с критически важными для бизнеса данными даже 1% погрешности достаточно, чтобы подорвать доверие заинтересованных сторон и ограничить внедрение. 📉

Для обеспечения уверенности и надежных результатов это решение использует уникальную методологию:
⭐ Предварительно подготовленный SQL: мы определяем и проверяем высокодетерминированные SQL-запросы, адаптированные к важным проблемам качества данных.
⭐ Интеграция с LLM: мы используем возможности логического мышления LLM для интеллектуального заполнения необходимых переменных и контекстных параметров в этих предопределенных запросах.

Эта архитектура обеспечивает детерминированный и надежный результат для важных рабочих процессов восстановления качества данных, делая агент готовым к использованию уже сегодня. 🛠️

00:00 — Введение в Data Quality Agent для Dataplex и новый взгляд на задачу NL2SQL.

03:16 — Создание основы для нашего агента
09:19 — Демонстрация
18:14 — Архитектура агента
22:05 — Глубокое погружение в решение (также используйте Data Canvas, чтобы писать SQL быстрее!)
34:43 — Дальнейшие шаги

Кодовая база: https://github.com/richardhe-fundamen...