ReqLLM: унифицированный интерфейс LLM для Elixir
Автор: Code and Stuff
Загружено: 2025-10-31
Просмотров: 1776
В этом видео я расскажу о ReqLLM, новом пакете Elixir, который предоставляет унифицированный интерфейс для работы с LLM-программами разных поставщиков.
Мы будем использовать блокнот Livebook для демонстрации потоковых ответов, структурированных выходных данных с различными форматами схем и создания ИИ-агентов с помощью вызовов инструментов. Это устраняет сложность переключения между различными поставщиками LLM и позволяет оптимизировать стоимость и производительность приложения без переписывания кода.
Что рассматривается:
Что такое ReqLLM и зачем его использовать?
– Настройка Livebook с ReqLLM
– Изучение поддерживаемых поставщиков и моделей с models.dev
– Базовая генерация текста с параметрами поставщика
– Потоковая передача ответов с потокенной обработкой
– Многовариантные диалоги с управлением контекстом
– Генерация структурированных выходных данных с помощью NimbleOptions, JSON Schema и Zoi
– Создание ИИ-агентов с вызовами инструментов и внешними источниками данных
– Отслеживание затрат и подсчёт токенов для выставления счетов
Ссылки
Демонстрационный блокнот: https://gist.github.com/ChristianAlex...
Документация ReqLLM: https://hexdocs.pm/req_llm
Livebook: https://livebook.dev
The Swarm Discord: / discord
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![Master Ash Framework [Эпизод 2]: Многопользовательские основы (часть 1) — Организации и изоляция ...](https://ricktube.ru/thumbnail/7mmO6njkELY/mqdefault.jpg)