Создайте конвейер LLM на Python с RAG, используя LangChain и Mongo Vector DB

Это видео о системе RAG на Python: создание векторной базы данных в Mongo.

В этом руководстве вы узнаете, как построить конвейер модели изучения языка (LLM) на Python с использованием технологии дополненной генерации поиска (RAG) и LangChain. Мы создадим систему семантического поиска по векторной базе данных с помощью MongoDB Atlas и интегрируем её с LLM с помощью API Gemini от Google. Это пошаговое руководство охватывает все этапы: от настройки базы данных MongoDB и создания вложений с помощью преобразователей предложений Hugging Face до запросов к LLM на получение определённых данных. К концу этого видео у вас будет полнофункциональная система RAG, способная выполнять осмысленный семантический поиск и генерировать ответы LLM. Не забудьте поставить лайк, подписаться и проверить полный код в репозитории GitHub.

https://github.com/kirkmcpherson/rag_...

00:00 Введение в построение конвейера LLM
00:37 Настройка MongoDB Atlas
03:01 Создание среды Python
04:54 Инициализация модели с помощью Hugging Face
07:50 Загрузка и разбиение данных на фрагменты
12:08 Создание вложений и вставка в MongoDB
19:52 Построение конвейера запросов с помощью LangChain
20:14 Выполнение запросов к Google Gemini LLM
28:17 Финальное тестирование и заключение