Find the BEST RAG Strategy with Domain Specific Evals

Автор: Adam Lucek

Загружено: 2025-01-08

Просмотров: 7551

Описание:

Creating custom RAG chunking and embedding strategies with domain specific evaluation experiments

Resources:
Notebook Repo: https://github.com/ALucek/custom-rag-...
Prior Chunking Breakdown: • The BEST Way to Chunk Text for RAG
ChromaDB Repo: https://github.com/brandonstarxel/chu...
ChromaDB Colab Notebook: https://colab.research.google.com/dri...
ChromaDB Research Report: https://research.trychroma.com/evalua...

Chapters:
00:00 - Why Measure Chunking & Embedding
03:44 - Creating a Custom Chunking Strategy
06:12 - Breaking Down Eval Metrics
08:00 - Metrics: Eval Dataset
09:17 - Metrics: Recall, Precision, IoU
13:27 - General Evals: Describing Test Set
14:32 - General Eval: Process & Running Test
17:58 - General Eval: Embedding Test
19:00 - Running Multiple Evals Across Strategies
20:36 - Multiple Evals: Interpreting Results
23:18 - Domain Specific Dataset Generation & Filtering
27:06 - Running Domain Specific Evals
29:32 - Final Thoughts

#ai #machinelearning #datascience

Find the BEST RAG Strategy with Domain Specific Evals

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

Stop Prompt Engineering! Program Your LLMs with DSPy

Stop Prompt Engineering! Program Your LLMs with DSPy

Do Reranking Models Actually Improve RAG?

Do Reranking Models Actually Improve RAG?

Claude Cowork to create multiple SEO articles

Claude Cowork to create multiple SEO articles

Улучшает ли тонкая настройка встраиваемых моделей RAG?

Улучшает ли тонкая настройка встраиваемых моделей RAG?

ЛУЧШИЙ способ разбить текст на фрагменты для RAG

ЛУЧШИЙ способ разбить текст на фрагменты для RAG

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Fine-Tuning Text Embeddings For Domain-specific Search (w/ Python)

Fine-Tuning Text Embeddings For Domain-specific Search (w/ Python)

Practical RAG - Choosing the Right Embedding Model, Chunking Strategy, and More

Practical RAG - Choosing the Right Embedding Model, Chunking Strategy, and More

Как создать предметно-ориентированные системы оценки LLM: Хамель Хусейн и Эмиль Седг

Как создать предметно-ориентированные системы оценки LLM: Хамель Хусейн и Эмиль Седг

Knowledge Graph or Vector Database… Which is Better?

Knowledge Graph or Vector Database… Which is Better?

Я УДАЛИЛ Claude Code – Вот, что я использую сейчаc

Я УДАЛИЛ Claude Code – Вот, что я использую сейчаc

Improving RAG Retrieval by 60% with Fine-Tuned Embeddings

Improving RAG Retrieval by 60% with Fine-Tuned Embeddings

Wait... What REALLY Is A Vector Database?

Wait... What REALLY Is A Vector Database?

Model Distillation: Same LLM Power but 3240x Smaller

Model Distillation: Same LLM Power but 3240x Smaller

Conversation with Elon Musk | World Economic Forum Annual Meeting 2026

Conversation with Elon Musk | World Economic Forum Annual Meeting 2026

Все стратегии RAG объясняются за 13 минут (без лишних слов)

Все стратегии RAG объясняются за 13 минут (без лишних слов)

400x Faster Embeddings! - Static & Distilled Embedding Models

400x Faster Embeddings! - Static & Distilled Embedding Models

I Trained an LLM to Think Deeper (Here's How)

I Trained an LLM to Think Deeper (Here's How)

What Do LLM Benchmarks Actually Tell Us? (+ How to Run Your Own)

What Do LLM Benchmarks Actually Tell Us? (+ How to Run Your Own)