1. Introduction to LLM evaluations in 10 key ideas

Автор: Evidently AI

Загружено: 2025-05-11

Просмотров: 3768

Описание:

00:03 Intro
00:24 LLM evals ≠ benchmarking
01:03 LLM evals are a tool, not a task
02:26 LLM evals ≠ software testing
03:36 Manual + automated evals
04:31 Use reference-based and -free evals
05:40 Think in datasets, not unit tests
06:30 LLM-as-a-judge is a key method
07:30 Use custom criteria, not generic metrics
09:12 Start with analytics
10:05 Evaluation is a moat

LINKS
Intro playlist mentioned in the video: • LLM evaluation course
LLM evaluation guides:
LLM Benchmarks https://www.evidentlyai.com/llm-guide...
Intro to LLM evals https://www.evidentlyai.com/llm-guide...
Test datasets https://www.evidentlyai.com/llm-guide...

COURSE PLAYLIST
Full playlist: • Course: LLM evaluation for builders
Instructor: Elena Samuylova, CEO Evidently AI.

EVIDENTLY
Sign up for Evidently Cloud https://www.evidentlyai.com/register
Support Evidently on GitHub https://github.com/evidentlyai/evidently

1. Introduction to LLM evaluations in 10 key ideas

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

2.1. Tutorial on LLM evaluation methods. Overview and Basic API.

2.1. Tutorial on LLM evaluation methods. Overview and Basic API.

LLM as a Judge: Scaling AI Evaluation Strategies

LLM as a Judge: Scaling AI Evaluation Strategies

Intro to LLM Evaluation w/ OpenAI Evals [Walk-Thru]

Intro to LLM Evaluation w/ OpenAI Evals [Walk-Thru]

Уроки с передовой: создание оценочных программ LLM, которые работают в реальной жизни: Апарна Дхи...

Уроки с передовой: создание оценочных программ LLM, которые работают в реальной жизни: Апарна Дхи...

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

Complete Beginner's Course on AI Evaluations in 50 Minutes (2025) | Aman Khan

Complete Beginner's Course on AI Evaluations in 50 Minutes (2025) | Aman Khan

How to Evaluate (and Improve) Your LLM Apps

How to Evaluate (and Improve) Your LLM Apps

Why AI evals are the hottest new skill for product builders | Hamel Husain & Shreya Shankar

Why AI evals are the hottest new skill for product builders | Hamel Husain & Shreya Shankar

3. Tutorial: How to create an LLM judge and align with human labels

3. Tutorial: How to create an LLM judge and align with human labels

Учебное пособие по искусственному интеллекту (AI) — модели машинного обучения с открытым исходным...

Учебное пособие по искусственному интеллекту (AI) — модели машинного обучения с открытым исходным...

Новый курс обучения DeepSeek LLM - Гиперсоединения с ограничениями многообразия (mHC)

Новый курс обучения DeepSeek LLM - Гиперсоединения с ограничениями многообразия (mHC)

Даулет Жангузин, Groq, Cohere, Lyft - Главные уроки за 15 лет в Кремниевой Долине

Даулет Жангузин, Groq, Cohere, Lyft - Главные уроки за 15 лет в Кремниевой Долине

How to Systematically Setup LLM Evals (Metrics, Unit Tests, LLM-as-a-Judge)

How to Systematically Setup LLM Evals (Metrics, Unit Tests, LLM-as-a-Judge)

Я УДАЛИЛ Claude Code – Вот, что я использую сейчаc

Я УДАЛИЛ Claude Code – Вот, что я использую сейчаc

Introduction to LLM Post Training by Maxime Labonne, PhD

Introduction to LLM Post Training by Maxime Labonne, PhD

Evals 101 — Doug Guthrie, Braintrust

Evals 101 — Doug Guthrie, Braintrust

LLM Evals: Common Mistakes

LLM Evals: Common Mistakes

2.3. Tutorial on LLM evaluation methods: Reference-free evals.

2.3. Tutorial on LLM evaluation methods: Reference-free evals.

2.2. Tutorial on LLM evaluation methods: Reference-based evals.

2.2. Tutorial on LLM evaluation methods: Reference-based evals.

Превратите ЛЮБОЙ файл в знания LLM за СЕКУНДЫ

Превратите ЛЮБОЙ файл в знания LLM за СЕКУНДЫ