Мичил Егоров — Вашей компании LLM не нужен? Построение инфраструктуры с нуля
Автор: PiterPy
Загружено: 2025-01-27
Просмотров: 1156
Подробнее о конференции PiterPy: https://jrg.su/QZ6wK1
— —
Скачать презентацию с сайта PiterPy — https://jrg.su/HxEN5z
Подробно рассматриваем построение инфраструктуры для использования больших языковых моделей (LLM) с нуля, опираясь на опыт Х5 Tech.
Спикер начал с объяснения, что такое LLM и почему они становятся все более важными для современных технологий. Обсудил ключевые компоненты, необходимые для создания масштабируемой и надежной инфраструктуры. Сравнил три популярных бэкенда для инференса LLM: llama-cpp, TGI и vLLM, выделяя их преимущества и недостатки. Особое внимание уделил подводным камням llama-cpp и рассмотрел, действительно ли vLLM — идеальное решение. Затронул тему информационного поиска и его связь с LLM — объяснил, как эти модели могут улучшить процессы поиска по базам знаний.
В заключение показал, как заставить LLM писать качественный текст, на основе опыта внедрения чат-бота для сотрудников Пятерочки.
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
