Серия обучающих материалов ComfyUI: Эпизод 11 — LLM, Генерация подсказок, img2txt, Обзор txt2txt

В этом выпуске мы сосредоточимся на создании подсказок с использованием больших языковых моделей (LLM) в ComfyUI. Вы узнаете, как создавать подсказки из текста и изображений, а также как интегрировать их в свои рабочие процессы. Мы также рассмотрим такие инструменты, как Florence 2 для создания подписей к изображениям, и расскажем, как установить пользовательские узлы, обновить ComfyUI и управлять зависимостями для обеспечения бесперебойной работы.

Ключевые темы:

Установка и использование Florence 2 (модель Vision-Language)
Создание подробных подсказок из изображений (img2txt)
Использование LLM для текстовых подсказок (txt2txt)

Получите эксклюзивные бонусы, присоединившись к нашему каналу:
   / @pixaroma  

Скачайте все рабочие процессы из Discord
  / discord  
найдите канал pixaroma-workflows

-----
Установка Florence 2 в ComfyUI

Шаг 1. Пользовательский узел:
Перейдите в «Менеджер», затем в «Менеджер пользовательских узлов»
Найдите florence
Установите узел с идентификатором 269 и именем ComfyUI-Florence2 от kijai
Перезапустите

Шаг 2. Требования:
Предполагаю, Вы используете ComfyUI Portable, поэтому вам необходимо установить необходимые пакеты. Перейдите в папку ComfyUI_windows_portable, щелкните адресную строку, введите cmd и нажмите Enter.
Затем вставьте следующий текст и нажмите Enter.

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-Florence2\requirements.txt
Можно закрыть окно. Затем перезапустите ComfyUI, нажав «Менеджер» и выбрав «Перезапустить».

Если в командной строке появится подобная ошибка, не волнуйтесь: она будет исправлена ​​при первом запуске рабочего процесса, так как модель будет загружена в папку LLM. FileNotFoundError: [WinError 3] Системе не удаётся найти указанный путь: '..\\ComfyUI_windows_portable\\ComfyUI\\models\\LLM'

-----

Установка пользовательских узлов
Найти searge
Идентификатор установки 97 Searge-LLM для ComfyUI v1.0

Перезапустите comfyui

Создайте новую папку с именем llm_gguf в каталоге ComfyUI/models.
Скачайте файл Mistral-7B-Instruct-v0.3.Q4_K_M.gguf (4,37 ГБ) из репозитория MaziyarPanahi/Mistral-7B-Instruct-v0.3-GGUF на HuggingFace.
https://huggingface.co/MaziyarPanahi/...

Поместите Mistral-7B-Instruct-v0.3.Q4_K_M.gguf в каталог ComfyUI/models/llm_gguf.

Обновите comfyui

Другие модели можно найти здесь:
https://huggingface.co/MaziyarPanahi/...

Если возникнут проблемы с установкой, проверьте https://github.com/SeargeDP/ComfyUI_S...

#comfyui #llm #fluxai
-----
Главы:

00:00 Введение
00:20 Генерация подсказки из изображения
17:02 Использование LLM для генерации подсказок
26:16 Формула ChatGPT для подсказок Flux