Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

[ICML 2024] On the Nonlinearity of Layer Normalization

Автор: Musicath

Загружено: 2024-07-20

Просмотров: 161

Описание:

Layer normalization (LN) is a ubiquitous technique in deep learning but our theoretical understanding to it remains elusive. This paper investigates a new theoretical direction for LN, regarding to its nonlinearity and representation capacity. We investigate the representation capacity of a network with layerwise composition of linear and LN transformations, referred to as LN-Net. We theoretically show that, given m samples with any label assignment, an LN-Net with only 3 neurons in each layer and O(m) LN layers can correctly classify them. We further show the lower bound of the VC dimension of an LN-Net. The nonlinearity of LN can be amplified by group partition, which is also theoretically demonstrated with mild assumption and empirically supported by our experiments. Based on our analyses, we consider to design neural architecture by exploiting and amplifying the nonlinearity of LN, and the effectiveness is supported by our experiments.

[ICML 2024] On the Nonlinearity of Layer Normalization

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(10) { [0]=> object(stdClass)#4308 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "yBL7J0kgldU" ["related_video_title"]=> string(46) "ICML 2024 Tutorial: Physics of Language Models" ["posted_time"]=> string(28) "11 месяцев назад" ["channelName"]=> string(23) "Zeyuan Allen-Zhu, Sc.D." } [1]=> object(stdClass)#4281 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "DtEq44FTPM4" ["related_video_title"]=> string(32) "Batch Normalization - EXPLAINED!" ["posted_time"]=> string(19) "5 лет назад" ["channelName"]=> string(12) "CodeEmporium" } [2]=> object(stdClass)#4306 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "_uo5h-74130" ["related_video_title"]=> string(192) "«Этот год — это расплата»: болезненные вопросы про экономику, доллар и недвижимость | Олег Вьюгин" ["posted_time"]=> string(19) "2 дня назад" ["channelName"]=> string(13) "Private Talks" } [3]=> object(stdClass)#4313 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "eyPZ9Mrhri4" ["related_video_title"]=> string(65) "Layer Normalization | Lecture 63 (Part 2) | Applied Deep Learning" ["posted_time"]=> string(21) "4 года назад" ["channelName"]=> string(13) "Maziar Raissi" } [4]=> object(stdClass)#4292 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "kCey8Srxx7c" ["related_video_title"]=> string(93) "Новейшая ракета РФ уничтожена / Жаркая ночь в Крыму" ["posted_time"]=> string(23) "6 часов назад" ["channelName"]=> string(10) "NEXTA Live" } [5]=> object(stdClass)#4310 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "iyrnPNBWIQ4" ["related_video_title"]=> string(161) "«Жить надо сегодня». Олег Тиньков и Майкл Калви о взлете нового финтех-стартапа Plata" ["posted_time"]=> string(19) "3 дня назад" ["channelName"]=> string(28) "Это Осетинская!" } [6]=> object(stdClass)#4305 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "nec3aZM8aUY" ["related_video_title"]=> string(83) "Deep House Mix 2024 | Deep House, Vocal House, Nu Disco, Chillout Mix by Diamond #3" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> string(7) "Diamond" } [7]=> object(stdClass)#4315 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "m3TN9FFmqsI" ["related_video_title"]=> string(19) "Group Normalization" ["posted_time"]=> string(19) "6 лет назад" ["channelName"]=> string(36) "European Computer Vision Association" } [8]=> object(stdClass)#4291 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "Ilg3gGewQ5U" ["related_video_title"]=> string(85) "Что происходит с нейросетью во время обучения?" ["posted_time"]=> string(19) "7 лет назад" ["channelName"]=> string(11) "3Blue1Brown" } [9]=> object(stdClass)#4309 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "HzeqFYbqNwA" ["related_video_title"]=> string(97) "Клещ думал, что он охотник, пока не встретил муравьев!" ["posted_time"]=> string(21) "1 день назад" ["channelName"]=> string(10) "Alex Boyko" } }
ICML 2024 Tutorial: Physics of Language Models

ICML 2024 Tutorial: Physics of Language Models

Batch Normalization - EXPLAINED!

Batch Normalization - EXPLAINED!

«Этот год — это расплата»: болезненные вопросы про экономику, доллар и недвижимость | Олег Вьюгин

«Этот год — это расплата»: болезненные вопросы про экономику, доллар и недвижимость | Олег Вьюгин

Layer Normalization | Lecture 63 (Part 2) | Applied Deep Learning

Layer Normalization | Lecture 63 (Part 2) | Applied Deep Learning

Новейшая ракета РФ уничтожена / Жаркая ночь в Крыму

Новейшая ракета РФ уничтожена / Жаркая ночь в Крыму

«Жить надо сегодня». Олег Тиньков и Майкл Калви о взлете нового финтех-стартапа Plata

«Жить надо сегодня». Олег Тиньков и Майкл Калви о взлете нового финтех-стартапа Plata

Deep House Mix 2024 | Deep House, Vocal House, Nu Disco, Chillout Mix by Diamond #3

Deep House Mix 2024 | Deep House, Vocal House, Nu Disco, Chillout Mix by Diamond #3

Group Normalization

Group Normalization

Что происходит с нейросетью во время обучения?

Что происходит с нейросетью во время обучения?

Клещ думал, что он охотник, пока не встретил муравьев!

Клещ думал, что он охотник, пока не встретил муравьев!

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]