Модель распространения движения робота: генерация движения для роботизированных персонажей.

Последние достижения в области генеративных моделей движения позволили добиться замечательных результатов, обеспечив синтез реалистичных движений человека на основе текстовых описаний. Эти кинематические подходы, хотя и визуально привлекательны, часто создают движения, не соответствующие физическим ограничениям, что приводит к артефактам, препятствующим их применению в реальных условиях. Для решения этой проблемы мы предлагаем новый метод, интегрирующий кинематические генеративные модели с физически обоснованным управлением персонажем. Наш подход начинается с обучения модели-заменителя вознаграждения для прогнозирования производительности последующей недифференцируемой задачи управления, предлагая эффективную и дифференцируемую функцию потерь. Затем эта модель вознаграждения используется для тонкой настройки базовой генеративной модели, гарантируя, что генерируемые движения не только разнообразны, но и физически правдоподобны для реальных сценариев. Результатом нашей обработки является модель диффузии движения робота (Robot Motion Diffusion Model, RobotMDM), кинематическая модель диффузии, обусловленная текстом, которая взаимодействует с контроллером слежения на основе обучения с подкреплением. Мы демонстрируем эффективность этого метода на сложном человекоподобном роботе, подтверждая его практическую полезность и устойчивость в динамичных условиях. Ссылка на публикацию: https://la.disneyresearch.com/publica...