Никита Сидоров. Метрики и бенчмарки для оценки генеративных текстовых моделей
Автор: Видео с мероприятий {speach!
Загружено: 2024-10-21
Просмотров: 149
DUMP SPb 2025 - 14 февраля, dump-spb.ru
DUMP Ekb 2025 - 25 апреля, dump-ekb.ru
Метрики и бенчмарки для оценки генеративных текстовых моделей
Никита Сидоров
Руководитель направления, SberDevices
Доклад про автоматические и ручные методы оценки генеративных моделей, как работать с ними при множественном сравнении различных моделей. Также рассмотрим, какие бывают открытые бенчмарки для мультимодальных и текстовых инструктивных моделей. Рассмотрим пример пайплайна по созданию локального бенчмарка с использованием LLM.
Слушатели смогут понять, как эфективнее выбирать генеративные модели, и познакомятся с методами создания и валидации датасетов для оценки их качества на своих задачах.
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке: