Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Никита Сидоров. Метрики и бенчмарки для оценки генеративных текстовых моделей

Автор: Видео с мероприятий {speach!

Загружено: 2024-10-21

Просмотров: 149

Описание:

DUMP SPb 2025 - 14 февраля, dump-spb.ru
DUMP Ekb 2025 - 25 апреля, dump-ekb.ru

Метрики и бенчмарки для оценки генеративных текстовых моделей

Никита Сидоров
Руководитель направления, SberDevices

Доклад про автоматические и ручные методы оценки генеративных моделей, как работать с ними при множественном сравнении различных моделей. Также рассмотрим, какие бывают открытые бенчмарки для мультимодальных и текстовых инструктивных моделей. Рассмотрим пример пайплайна по созданию локального бенчмарка с использованием LLM.

Слушатели смогут понять, как эфективнее выбирать генеративные модели, и познакомятся с методами создания и валидации датасетов для оценки их качества на своих задачах.

Никита Сидоров. Метрики и бенчмарки для оценки генеративных текстовых моделей

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

Ольга Шиншинова. Речевая аналитика на миллионах минут звонков в месяц

Ольга Шиншинова. Речевая аналитика на миллионах минут звонков в месяц

Топ-5 ошибок при объяснении метрик на собеседованиях по ML

Топ-5 ошибок при объяснении метрик на собеседованиях по ML

Полный разбор БЕЛЫХ СПИСКОВ.  Как мы будем выживать в 2026

Полный разбор БЕЛЫХ СПИСКОВ. Как мы будем выживать в 2026

GameDev_Продуктовая аналитика в Gamedev_Кушнарев Игорь_Targem Games

GameDev_Продуктовая аналитика в Gamedev_Кушнарев Игорь_Targem Games

Как ИИ и Нейросети уничтожат онлайн курсы и обучающий контент в 2026. NotebookLM от Google - обзор

Как ИИ и Нейросети уничтожат онлайн курсы и обучающий контент в 2026. NotebookLM от Google - обзор

Квантизация LLM: делаем модели легче в 4 раза

Квантизация LLM: делаем модели легче в 4 раза

Метрики классификации в ML: как интерпретировать ROC-AUC, Precision-Recall и не запутаться

Метрики классификации в ML: как интерпретировать ROC-AUC, Precision-Recall и не запутаться

Владимир Зворыгин. Аналитика на естественном языке — как переводить вопросы в SQL-запросы

Владимир Зворыгин. Аналитика на естественном языке — как переводить вопросы в SQL-запросы

Кирилл Овчинников. Учим Гигачат решать свои задачки с помощью RAG, на примере школьной математики

Кирилл Овчинников. Учим Гигачат решать свои задачки с помощью RAG, на примере школьной математики

Андрей Кобец,

Андрей Кобец, "Архитектура LocalFirst для Frontend приложений"

Человек и LLM. Как оценивать качество моделей и строить метрики | Ирина Барская, Яндекс Поиск

Человек и LLM. Как оценивать качество моделей и строить метрики | Ирина Барская, Яндекс Поиск

От потерь на фронте до перебоев с интернетом | Что происходило в 2025-м (English subtitles)

От потерь на фронте до перебоев с интернетом | Что происходило в 2025-м (English subtitles)

Fine-tuning, RAG, Llama, prompt-engineering, LLM-арены | Что происходит в LLM

Fine-tuning, RAG, Llama, prompt-engineering, LLM-арены | Что происходит в LLM

Серебро по $71 — это ГЛУБОКИЙ НАРКОЗ, который уничтожит ваш КАПИТАЛ | Уоррен Баффет

Серебро по $71 — это ГЛУБОКИЙ НАРКОЗ, который уничтожит ваш КАПИТАЛ | Уоррен Баффет

Подстава Козака, претензии ФБК, охота на Чубайса. Кирилл Мартынов

Подстава Козака, претензии ФБК, охота на Чубайса. Кирилл Мартынов

Семен Рожков,

Семен Рожков, "Тестирование межсервисного взаимодействия на моках"

ДНК создал Бог? Самые свежие научные данные о строении. Как работает информация для жизни организмов

ДНК создал Бог? Самые свежие научные данные о строении. Как работает информация для жизни организмов

RAG | САМОЕ ПОНЯТНОЕ ОБЪЯСНЕНИЕ!

RAG | САМОЕ ПОНЯТНОЕ ОБЪЯСНЕНИЕ!

Полная история СОЛИ: вещество, ломающее психику навсегда | История для сна

Полная история СОЛИ: вещество, ломающее психику навсегда | История для сна

Мы ЗАСТРЯЛИ в Солнечной системе, и вот почему... | Михаил Никитин, Борис Штерн

Мы ЗАСТРЯЛИ в Солнечной системе, и вот почему... | Михаил Никитин, Борис Штерн

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]