Как компания Clay увеличила скорость работы своих ИИ-агентов в 10 раз в масштабе предприятия | Py...

Рохил Хаталкар, инженер по искусственному интеллекту в компании Clay, рассказывает о том, как они перестроили свою инфраструктуру ИИ-агентов для обработки 300 миллионов запусков в месяц — и при этом увеличили скорость в 6-10 раз.
Clay помогает компаниям находить и обогащать лиды в больших масштабах. Когда вы запускаете ИИ-агентов на 50 000 строк данных, узкие места быстро накапливаются. В этом докладе рассматриваются проблемы, которые возникли, и математические расчеты, лежащие в основе их решения по ограничению скорости запросов (на самом деле это не так уж и страшно).

В этом докладе:

Что делает Clay и как работает их система обогащения на основе таблиц
Почему ограничения параллельного выполнения снижали производительность их ИИ-агентов
Четыре изменения, которые обеспечили 6-10-кратное повышение скорости
Асинхронная архитектура, контрольные точки и предотвращение потери токенов
Смешанные частоты ошибок для предотвращения проблем с «громоподобным стадом»
Реальные результаты: сокращение времени с 90 минут до менее 15

Запись сделана на конференции PY AI NYC, 21 ноября 2025 года.

Ссылки:
Clay: clay.com
Мероприятия PY AI: pyai.events

Связанные темы: ИИ-агенты в масштабе, ограничение скорости, распределенные системы, асинхронная архитектура, инфраструктура LLM, Clay, Vercel AI SDK, контрольные точки, оптимизация вывода

Временные метки:
0:00 Что делает Clay
0:56 Таблица Clay: обогащение и действия ИИ
2:09 Масштаб: 300 миллионов запусков агентов в месяц
2:52 Жизненный цикл агента Clay выполнение
4:02 Как работает очередь выполнения действий
5:47 Проблема узкого места в параллельном выполнении
7:03 Четыре ключевых изменения, которые все исправили
8:00 Архитектура асинхронного запуска ИИ
8:57 Контрольные точки для предотвращения потери токенов
10:20 Формула смешанной частоты ошибок (не так уж и страшно)
13:01 Результаты: в 6-10 раз быстрее
14:12 Вопросы и ответы