Подключение со сверхнизкой задержкой | Ишан Хот и Хани Атасси, Мета

Инженеры-программисты из Meta, Ишан и Хани представили презентацию новой системы, разработанной ими под названием Ultra Low Latency Connection (ULLC) для улучшения диалогового ИИ. [01:37]

Они начали с выявления «неловкой паузы», вызванной задержкой соединения при взаимодействии с ИИ, которая ухудшала пользовательский опыт. [00:44]

После того, как первоначальных оптимизаций оказалось недостаточно для преодоления барьера в одну секунду, они переработали архитектуру системы. В основе ULLC лежало распараллеливание процессов сигнализации и подключения к медиаресурсам, которые традиционно выполнялись последовательно, что позволило полностью исключить время на передачу и подтверждение. [08:56]

Они подробно рассказали о технических проблемах, таких как обеспечение маршрутизации потоков данных в один и тот же центр обработки данных, и о реализованных ими решениях, включая систему сопоставления задержек и надежный резервный путь. Презентация завершилась демонстрацией результатов применения ULLC в производственной среде — более быстрое соединение, более активное взаимодействие с пользователями и более высокие показатели успешности вызовов — а также рассмотрением будущих применений технологии в области периферийного вывода, обработки мультимедиа и носимых устройств, таких как очки Ray-Ban Meta AI. [14:56]