Готовое к производству изображение лица для визуальных эффектов.

Фотореалистичное цифровое омоложение лиц в видео становится все более распространенным в индустрии развлечений и рекламы. Однако преобладающий рабочий процесс 2D-рисования часто требует покадровой ручной работы, которая может занимать дни даже у опытных художников. Хотя исследования в области омоложения лиц пытались автоматизировать и решить эту проблему, существующие методы малоприменимы на практике, поскольку обычно страдают от потери идентичности лица, низкого разрешения и нестабильных результатов в последующих кадрах видео. В этой статье мы представляем первый практичный, полностью автоматический и готовый к производству метод омоложения лиц в видеоизображениях. Наше первое ключевое открытие заключается в решении проблемы сбора данных для обучения омоложению лиц в течение длительных периодов времени — задача, которая практически невыполнима для большого количества реальных людей. Мы показываем, как можно создать такой продольный набор данных, используя современные достижения в области омоложения лиц, которые, хотя и не справляются с реальными изображениями, обеспечивают фотореалистичные результаты омоложения на синтетических лицах. Вторая наша ключевая идея заключается в использовании таких синтетических данных и формулировании задачи омоложения лица как практической задачи преобразования изображений, которую можно выполнить путем обучения хорошо изученной архитектуры U-Net без необходимости более сложных сетевых решений. Мы демонстрируем, как простая U-Net, как ни удивительно, позволяет нам продвинуться в области омоложения реальных лиц на видео, обеспечивая беспрецедентную временную стабильность и сохранение идентичности лица при различных выражениях, ракурсах и условиях освещения. Наконец, наша новая сеть омоложения лица (FRAN) включает в себя простые и интуитивно понятные механизмы, которые предоставляют художникам локальный контроль и творческую свободу для управления и точной настройки эффекта омоложения — функция, которая имеет большое значение в реальных производственных процессах и часто игнорируется в смежных исследованиях.

Ссылка на публикацию: https://studios.disneyresearch.com/20...