Экономия железа для МЛ-моделей в продакшен

Подписывайтесь на наш канал здесь и в телеграмм https://t.me/meetups_evrone, чтобы быть в курсе будущих митапов и не пропускать полезные доклады!

Олег Бугримов / Авито

00:00 - Введение
00:34 - МЛ требует много железа
01:06 - Почему важно время ответа?
01:44 - Давайте купим ещё железа
02:03 - Наше решение: давайте держать как можно больше РПС
02:51 - Как мы это делаем?
04:04 - Разбиваем модели на этапы
06:20 - Добавляем батчирование
08:32 - Добавляем шаренную память
09:50 - Локи на шаренную память
10:56 - Быстрый перескок между шагами по условию
13:45 - Приоритетная обработка запросов
16:31 - Где взять Aqueduct?