Как подобрать инфраструктуру для LLM? От выбора железа до работы в Kubernetes 💥

Ефим Головин, старший менеджер MLOps в Selectel показал, как на практике решить проблемы с инференсом LLM. На Selectel Tech Day 2025 поговорили, что делать бизнесу с нехваткой GPU, высокими требованиями к ресурсам и дорогим автоскейлингом Kubernetes.

А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀

Официальный сайт Selectel — https://slc.tl/hbJ0Q

Подписывайтесь на Selectel в социальных сетях:
Telegram — https://t.me/selectel
VK — https://vk.com/selectel

Подписывайтесь на блоги Selectel:
Хабр — https://habr.com/ru/company/selectel/
vc.ru — https://vc.ru/selectel

Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами: https://slc.tl/khiyk
Телеграм-канал с вакансиями: https://t.me/selectelcareers