Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

ЛУЧШИЙ способ разбить текст на фрагменты для RAG

Автор: Adam Lucek

Загружено: 2024-12-09

Просмотров: 45458

Описание:

Чтобы бесплатно попробовать все возможности Brilliant в течение 30 дней, посетите https://brilliant.org/AdamLucek/. Вы также получите скидку 20% на годовую премиум-подписку!

Ресурсы:
Блокнот по фрагментации: https://github.com/ALucek/chunking-st...
Технический отчёт ChromaDB: https://research.trychroma.com/evalua...
Репозиторий отчётов ChromaDB: https://github.com/brandonstarxel/chu...
Визуализатор токенов OpenAI: https://platform.openai.com/tokenizer
Грег Камрадт, 5 уровней разбиения текста: https://github.com/FullStackRetrieval...
Указатель Жаккара: https://en.wikipedia.org/wiki/Jaccard...

Главы:
00:00 — История фрагментации текста
02:28 — Великолепно!

03:47 - Разделение текста по символам
06:28 - Разделение текста по токенам
10:26 - Рекурсивное разделение по символам/токенам
16:07 - Камрадт и модифицированное семантическое фрагментирование
20:43 - Кластерное семантическое фрагментирование
24:46 - Семантическое фрагментирование LLM
27:56 - Метрики и сравнение фрагментирования
30:00 - Общие выводы

#ai #programming #datascience

Это видео спонсируется Brilliant

ЛУЧШИЙ способ разбить текст на фрагменты для RAG

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

Улучшает ли тонкая настройка встраиваемых моделей RAG?

Улучшает ли тонкая настройка встраиваемых моделей RAG?

The 5 Levels Of Text Splitting For Retrieval

The 5 Levels Of Text Splitting For Retrieval

Do Reranking Models Actually Improve RAG?

Do Reranking Models Actually Improve RAG?

Why Your RAG Gives Wrong Answers (And 4 Chunking Strategies to Fix It) | LangChain Text Splitters

Why Your RAG Gives Wrong Answers (And 4 Chunking Strategies to Fix It) | LangChain Text Splitters

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

RAG Evaluation Metrics Explained: Context Precision, Recall, Relevancy & Faithfulness

Knowledge Graph or Vector Database… Which is Better?

Knowledge Graph or Vector Database… Which is Better?

Лучший на сегодняшний день метод RAG? Объяснение контекстного поиска Anthropic!

Лучший на сегодняшний день метод RAG? Объяснение контекстного поиска Anthropic!

Как инженеры ИИ улучшают агентные продукты

Как инженеры ИИ улучшают агентные продукты

Find the BEST RAG Strategy with Domain Specific Evals

Find the BEST RAG Strategy with Domain Specific Evals

Семантическая фрагментация — 3 метода для улучшения RAG

Семантическая фрагментация — 3 метода для улучшения RAG

LightRAG: более эффективное решение, чем GraphRAG для систем RAG?

LightRAG: более эффективное решение, чем GraphRAG для систем RAG?

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

«Я хочу, чтобы Llama3 работала в 10 раз лучше, используя мои личные знания» — Local Agentic RAG с...

«Я хочу, чтобы Llama3 работала в 10 раз лучше, используя мои личные знания» — Local Agentic RAG с...

400x Faster Embeddings!  - Static & Distilled Embedding Models

400x Faster Embeddings! - Static & Distilled Embedding Models

2 метода улучшения поиска в RAG

2 метода улучшения поиска в RAG

Extracting Knowledge Graphs From Text With GPT4o

Extracting Knowledge Graphs From Text With GPT4o

Build an AI Document (PDF, DOC, XML) Processing Pipeline for RAG | Docling, OCR, Chunking, Images

Build an AI Document (PDF, DOC, XML) Processing Pipeline for RAG | Docling, OCR, Chunking, Images

Все стратегии RAG объясняются за 13 минут (без лишних слов)

Все стратегии RAG объясняются за 13 минут (без лишних слов)

RAG vs. CAG: Solving Knowledge Gaps in AI Models

RAG vs. CAG: Solving Knowledge Gaps in AI Models

Improving RAG Retrieval by 60% with Fine-Tuned Embeddings

Improving RAG Retrieval by 60% with Fine-Tuned Embeddings

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: infodtube@gmail.com