Inference-Time Policy Customization Through Interactive Task Specification

Автор: Ai2

Загружено: 2025-02-21

Просмотров: 234

Описание:

Abstract: Imitation learning has driven the development of generalist policies capable of autonomously solving multiple tasks. However, when a pretrained policy makes errors during deployment, there are limited mechanisms for users to customize its behavior. While collecting additional data for fine-tuning can address such issues, doing so for each downstream use case is inefficient at scale. My research proposes an alternative perspective: framing policy errors as task mis-specifications rather than skill deficiencies. By
enabling users to specify tasks unambiguously at inference-time, the appropriate skill for a given context can be retrieved without fine-tuning. Specifically, I propose (1) inference-time steering, which leverages human interactions for single-step task specification, and (2) task and motion imitation, which uses symbolic plans for multi-step task specification. These frameworks correct misaligned policy predictions without requiring additional training, maximizing the utility of pretrained models while achieving inference-time user objectives.

Bio: Felix Yanwei Wang is a final-year PhD candidate in Electrical Engineering and Computer Science (EECS) at MIT, advised by Prof. Julie Shah. His research focuses on adapting pretrained manipulation policies for human-robot interaction. He earned his Bachelor's degree from Middlebury College and his Master's degree from Northwestern University. He has also worked under the guidance of Prof. Dieter Fox at the NVIDIA Robotics Lab. Felix is a recipient of the MIT Presidential Fellowship and the Work of the Future Fellowship in Generative AI at MIT. His research has been recognized with oral and spotlight presentations at CoRL and ICLR, featured on PBS, and is currently exhibited at the MIT Museum.

Inference-Time Policy Customization Through Interactive Task Specification

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(10) { [0]=> object(stdClass)#4538 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "DxVvF8xzk1I" ["related_video_title"]=> string(61) "AI Scaffolding Systems for the Academic Peer Review Ecosystem" ["posted_time"]=> string(25) "4 месяца назад" ["channelName"]=> string(3) "Ai2" } [1]=> object(stdClass)#4511 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "LCEmiRjPEtQ" ["related_video_title"]=> string(45) "Andrej Karpathy: Software Is Changing (Again)" ["posted_time"]=> string(21) "7 дней назад" ["channelName"]=> string(12) "Y Combinator" } [2]=> object(stdClass)#4536 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "IHZwWFHWa-w" ["related_video_title"]=> string(131) "Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение" ["posted_time"]=> string(19) "7 лет назад" ["channelName"]=> string(11) "3Blue1Brown" } [3]=> object(stdClass)#4543 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "aircAruvnKk" ["related_video_title"]=> string(101) "Но что такое нейронная сеть? | Глава 1. Глубокое обучение" ["posted_time"]=> string(19) "7 лет назад" ["channelName"]=> string(11) "3Blue1Brown" } [4]=> object(stdClass)#4522 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "wjZofJX0v4M" ["related_video_title"]=> string(148) "LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> string(11) "3Blue1Brown" } [5]=> object(stdClass)#4540 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "MCIhB7Sy9NU" ["related_video_title"]=> string(93) "Аналоговые компьютеры возвращаются? Часть 2 [Veritasium]" ["posted_time"]=> string(21) "3 года назад" ["channelName"]=> string(10) "Vert Dider" } [6]=> object(stdClass)#4535 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "2l-dv_z4KUc" ["related_video_title"]=> string(57) "Что полезного сделал ИИ? [Veritasium]" ["posted_time"]=> string(21) "9 дней назад" ["channelName"]=> string(10) "Vert Dider" } [7]=> object(stdClass)#4545 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "mBgk8vGL6ic" ["related_video_title"]=> string(109) "Ждать ли возвращения аналоговых компьютеров? Часть 1 [Veritasium]" ["posted_time"]=> string(21) "3 года назад" ["channelName"]=> string(10) "Vert Dider" } [8]=> object(stdClass)#4521 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "ybkkiGtJmkM" ["related_video_title"]=> string(52) "Как работала машина "Энигма"?" ["posted_time"]=> string(21) "3 года назад" ["channelName"]=> string(10) "Jared Owen" } [9]=> object(stdClass)#4539 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "RJCIYBAAiEI" ["related_video_title"]=> string(81) "[DeepLearning | видео 1] Что же такое нейронная сеть?" ["posted_time"]=> string(19) "6 лет назад" ["channelName"]=> string(34) "3Blue1Brown translated by Sciberia" } }

AI Scaffolding Systems for the Academic Peer Review Ecosystem

AI Scaffolding Systems for the Academic Peer Review Ecosystem

Andrej Karpathy: Software Is Changing (Again)

Andrej Karpathy: Software Is Changing (Again)

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Аналоговые компьютеры возвращаются? Часть 2 [Veritasium]

Аналоговые компьютеры возвращаются? Часть 2 [Veritasium]

Что полезного сделал ИИ? [Veritasium]

Что полезного сделал ИИ? [Veritasium]

Ждать ли возвращения аналоговых компьютеров? Часть 1 [Veritasium]

Ждать ли возвращения аналоговых компьютеров? Часть 1 [Veritasium]

Как работала машина

Как работала машина "Энигма"?

[DeepLearning | видео 1] Что же такое нейронная сеть?

[DeepLearning | видео 1] Что же такое нейронная сеть?