Как инженеры ИИ улучшают агентные продукты

С Brilliant каждый может стать любителем математики и естественных наук! Зайдите на сайт https://brilliant.org/AdamLucek/, чтобы начать обучение и получить скидку 20% на годовую премиум-подписку.

Ресурсы:
Обсуждаемый контент - https://lucek.ai/blogs/llm-evaluations
Оценщик - https://github.com/ALucek/evaluizer
Часто задаваемые вопросы об оценке LLM - https://hamel.dev/blog/posts/evals-faq/
Краткие размышления о разработке ИИ и «проваленных проектах ИИ»
https://www.sh-reya.com/blog/ai-engin...
Оценка продукта в три простых шага - https://eugeneyan.com/writing/product...
Судья LLM не спасёт продукт — поможет исправление процесса
https://eugeneyan.com/writing/eval-pr...
Руководство по быстрому улучшению продуктов ИИ - https://hamel.dev/blog/posts/field-gu...
Кто проверяет валидатора - https://arxiv.org/pdf/2404.12272

Главы:
00:00 — Почему нам нужно совершенствоваться?
05:20 — Великолепно!
07:13 — Продолжение контекста
09:10 — Что такое оценки LLM?
12:11 — Обратная связь
13:48 — Создание начального набора обратной связи
16:15 — Аннотация, часть 1
19:56 — Анализ ошибок
26:14 — LLM-As-AJudge (магистр права как судья)
27:44 — Подводные камни для LLM-судьи
29:46 — Согласование LLM-судьи
33:11 — Оценка функций
36:10 — Платформы для наблюдения
39:09 — Преимущества
40:21 — Преимущество: алгоритмическая оптимизация
42:37 — Преимущество: обучение с подкреплением
44:28 — Контрольный список на будущее
47:10 — Стоит ли оно того?

Это видео спонсируется Brilliant

#ai #coding #datascience