Форма на основе событий из поляризации (CVPR 2023)

Современные решения для определения формы по поляризации (SfP) страдают от компромисса между скоростью и разрешением: они либо жертвуют количеством измеряемых углов поляризации, либо требуют длительного времени сбора данных из-за ограничений частоты кадров, что снижает точность или задержку. Мы решаем эту проблему, используя камеры событий. Камеры событий работают с микросекундным разрешением, обеспечивая пренебрежимо малое размытие движения и выдавая непрерывный поток событий, который точно измеряет асинхронные изменения света во времени. Мы предлагаем схему, состоящую из линейного поляризатора, вращающегося с высокой скоростью перед камерой событий. Наш метод использует непрерывный поток событий, создаваемый вращением, для реконструкции относительных интенсивностей при нескольких углах поляризатора. Эксперименты показывают, что наш метод превосходит физические базовые линии с использованием кадров, снижая MAE на 25% в синтетических и реальных наборах данных. Однако в реальном мире мы наблюдаем, что сложные условия (т.е. когда генерируется мало событий) снижают производительность решений, основанных на физике. Чтобы преодолеть эту проблему, мы предлагаем подход, основанный на обучении, который позволяет оценивать нормали к поверхности даже при низкой частоте событий, что улучшает физический подход на 52% на реальном наборе данных. Предлагаемая система достигает скорости сбора данных, эквивалентной 50 кадрам в секунду (более чем в два раза превышающей частоту кадров коммерческого поляризационного датчика), сохраняя при этом пространственное разрешение 1 мегапиксель. Наша оценка основана на первом крупномасштабном наборе данных для событийного SfP. Код и набор данных доступны по адресу https://rpg.ifi.uzh.ch/esfp.html

Ссылки:
Манаси Мугликар, Леонард Бауэрсфельд, Дидерик П. Мойс, Давиде Скарамуцца
Форма изображения, основанная на событиях, по поляризации
PDF: https://rpg.ifi.uzh.ch/docs/CVPR23_Mu...
Код: https://rpg.ifi.uzh.ch/esfp.html

Наша страница, посвящённая исследованию видеонаблюдения, основанного на событиях: http://rpg.ifi.uzh.ch/research_dvs.html
Симулятор камеры событий: http://rpg.ifi.uzh.ch/esim
Обзорную статью о камерах событий см. здесь: https://rpg.ifi.uzh.ch/docs/EventVisi...

Другие ресурсы по камерам событий (публикации, программное обеспечение, драйверы, где купить и т. д.): https://github.com/uzh-rpg/event-base...

Принадлежность к организации:
Д. Мойс работает в группе передовых датчиков и моделирования, научно-исследовательский центр SONY в Европе, SL1
М. Мугликар, Л. Бауэрсфельд и Д. Скарамуцца работают в группе робототехники и восприятия, кафедре информатики Цюрихского университета и кафедре нейроинформатики Цюрихского университета и Швейцарской высшей технической школы Цюриха, Швейцария http://rpg.ifi.uzh.ch/