Регрессия угловой скорости на основе событий с использованием импульсных сетей (видеопрезентация ...

Спайковые нейронные сети (SNN) – это сети, вдохновлённые биологией, которые обрабатывают информацию, передаваемую в виде временных скачков, а не числовых значений. Примером датчика, предоставляющего такие данные, является событийная камера. Она генерирует событие только тогда, когда пиксель сообщает о значительном изменении яркости. Аналогично, спайковый нейрон SNN генерирует скачок только тогда, когда значительное количество скачков происходит в течение короткого периода времени. Благодаря своей вычислительной модели, основанной на спайках, SNN могут обрабатывать выходные данные с асинхронных датчиков, основанных на событиях, без какой-либо предварительной обработки при чрезвычайно низкой мощности, в отличие от стандартных искусственных нейронных сетей. Это возможно благодаря специализированному нейроморфному оборудованию, реализующему концепцию SNN с высокой степенью распараллеливания в кремнии. Тем не менее, SNN не получили такого же роста популярности, как искусственные нейронные сети. Это связано не только с тем, что их входной формат довольно нетрадиционен, но и со сложностями обучения спайковых сетей. Несмотря на их временную природу и недавние достижения в алгоритмах, они в основном оценивались в задачах классификации. Мы впервые предлагаем задачу временной регрессии числовых значений на основе событий, полученных с камеры событий.

Мы специально исследуем прогнозирование угловой скорости вращающейся камеры событий с тремя степенями свободы с помощью нейронной сети (SNN). Сложность этой задачи возникает из-за непрерывного прогнозирования угловых скоростей непосредственно на основе нерегулярных, асинхронных входных данных, основанных на событиях. Прямое использование выходных данных камер событий без какой-либо предварительной обработки гарантирует сохранение всех их преимуществ по сравнению с обычными камерами. А именно: высокое временное разрешение, широкий динамический диапазон и отсутствие размытия движения. Для оценки эффективности нейронных сетей (SNN) в этой задаче мы представляем синтетический набор данных камеры событий, сгенерированный на основе реальных панорамных изображений, и показываем, что мы можем успешно обучить нейронную сеть (SNN) для выполнения регрессии угловой скорости.

Ссылка:
М. Гериг, С. Шреста, Д. Моуритцен, Д. Скарамуцца. Регрессия угловой скорости на основе событий с использованием импульсных сетей
Международная конференция IEEE по робототехнике и автоматизации (ICRA), Париж, 2020 г.
PDF: http://rpg.ifi.uzh.ch/docs/ICRA20_Geh...
Код: https://github.com/uzh-rpg/snn_angula...

Наша страница с исследованиями по машинному зрению на основе событий: http://rpg.ifi.uzh.ch/research_dvs.html

Симулятор камеры событий: http://rpg.ifi.uzh.ch/esim/index.html

Обзорную статью о камерах событий см. здесь:
http://rpg.ifi.uzh.ch/docs/EventVisio...

Другие ресурсы по камерам событий (публикации, программное обеспечение, драйверы, где купить и т. д.):
https://github.com/uzh-rpg/event-base...

Принадлежность к организации:
М. Гериг, С. Шреста, Д. Моуритцен и Д. Скарамуцца работают в группе робототехники и восприятия кафедры информатики Цюрихского университета и кафедры нейроинформатики Цюрихского университета и Швейцарской высшей технической школы Цюриха (ETH Zurich, Швейцария) http://rpg.ifi.uzh.ch/