Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Serve Any Hugging Face Model with vLLM: Hands-on Tutorial

Автор: Fahd Mirza

Загружено: 2025-04-25

Просмотров: 4477

Описание:

This video shows how to run huggingface transformer based models with vllm for large scale.

🔥 Buy Me a Coffee to support the channel: https://ko-fi.com/fahdmirza

🔥 Get 50% Discount on any A6000 or A5000 GPU rental, use following link and coupon:

https://bit.ly/fahd-mirza
Coupon code: FahdMirza

🚀 This video is sponsored by https://camel-ai.org/ which is an open-source community focused on building multi-agent infrastructures.

#vllm #transformes

PLEASE FOLLOW ME:
▶ LinkedIn:   / fahdmirza  
▶ YouTube:    / @fahdmirza  
▶ Blog: https://www.fahdmirza.com

RELATED VIDEOS:

▶ Resource https://github.com/vllm-project/vllm

All rights reserved © Fahd Mirza

Serve Any Hugging Face Model with vLLM: Hands-on Tutorial

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

ЧТО ЗА РАЛЬФ?  Вечный ИИ-агент для кодинга и не только

ЧТО ЗА РАЛЬФ? Вечный ИИ-агент для кодинга и не только

Самая сложная модель из тех, что мы реально понимаем

Самая сложная модель из тех, что мы реально понимаем

GitHub Basics Intro

GitHub Basics Intro

Multimodal RAG - Chat with Text, Images and Tables

Multimodal RAG - Chat with Text, Images and Tables

Развертывание LLM с использованием Serverless vLLM на RunPod за 5 минут

Развертывание LLM с использованием Serverless vLLM на RunPod за 5 минут

How-To Fine-Tune Qwen3 on Custom Dataset: Step-by-Step Tutorial

How-To Fine-Tune Qwen3 on Custom Dataset: Step-by-Step Tutorial

Установка и локальный запуск LLM с использованием библиотеки vLLM в Windows

Установка и локальный запуск LLM с использованием библиотеки vLLM в Windows

Сисадмины больше не нужны? Gemini настраивает Linux сервер и устанавливает cтек N8N. ЭТО ЗАКОННО?

Сисадмины больше не нужны? Gemini настраивает Linux сервер и устанавливает cтек N8N. ЭТО ЗАКОННО?

Fine-Tune Gemma 3n on Your Own Data — Full Local Guide

Fine-Tune Gemma 3n on Your Own Data — Full Local Guide

SUNO.AI Как стереть цифровой след

SUNO.AI Как стереть цифровой след

vLLM Inference on AMD GPUs with ROCm is so Smooth!

vLLM Inference on AMD GPUs with ROCm is so Smooth!

Cursor AI: полный гайд по вайб-кодингу (настройки, фишки, rules, MCP)

Cursor AI: полный гайд по вайб-кодингу (настройки, фишки, rules, MCP)

Запуск программы Hugging Face LLM на вашем ноутбуке

Запуск программы Hugging Face LLM на вашем ноутбуке

Teach LLM Something New 💡 LoRA Fine Tuning on Custom Data

Teach LLM Something New 💡 LoRA Fine Tuning on Custom Data

Local Ai Server Setup Guides Proxmox 9 - vLLM in LXC w/ GPU Passthrough

Local Ai Server Setup Guides Proxmox 9 - vLLM in LXC w/ GPU Passthrough

QWEN-3: EASIEST WAY TO FINE-TUNE WITH REASONING 🙌

QWEN-3: EASIEST WAY TO FINE-TUNE WITH REASONING 🙌

Zettelkasten + AI: Как я связал ChatGPT и Obsidian в единую систему знаний

Zettelkasten + AI: Как я связал ChatGPT и Obsidian в единую систему знаний

vLLM: Easily Deploying & Serving LLMs

vLLM: Easily Deploying & Serving LLMs

Локальный LightRAG: альтернатива GraphRAG, но полностью локальная с Ollama

Локальный LightRAG: альтернатива GraphRAG, но полностью локальная с Ollama

How To Run Hugging Face Models Within Ollama

How To Run Hugging Face Models Within Ollama

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: infodtube@gmail.com