Д. П. Ветров "Вид функции потерь в нейронных сетях и перспективы ансамблирования"
Автор: Optimization and Statistics
Загружено: 2020-06-16
Просмотров: 1917
Аннотация: К настоящему времени мало что известно о виде функции потерь, минимизируемой при обучении глубинных нейронных сетей. За последние несколько лет в глубинном обучении обнаружен ряд интересных эффектов, которые позволяют высказать ряд предположений о ее возможных свойствах. В докладе мы разберем некоторые эффекты и выдвинем гипотезу, которая может объяснить хорошую обобщающую способность обученных нейросетей, наличие «минных полей» в пространстве весов, причины двойного спуска (double descent) по эпохам и по сложности моделей. Во второй части доклада мы поговорим про преимущества использования ансамблей нейросетей и про интересные степенные законы, которые эмпирически наблюдаются при ансамблировании.
Слайды: http://www.mathnet.ru/php/seminars.ph...
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![Играем Lichess.org [RU] :Шахматы! Блиц на личесс! Контроль 5+0! Далее - бундеслига, контроль 3+2!](https://ricktube.ru/thumbnail/9PExc32P7lw/mqdefault.jpg)
