Deep-Learning: How to improve the Scalability of The Transformer Architecture Part-1

Автор: AI Super Storm

Загружено: 2022-03-12

Просмотров: 427

Описание:

Part-1 Contains.
1. Paper: “Transformer Quality in Linear Time”
2. Gated Linear Unit
3. Gated Attention Unit
4. Mixed Chunk Attention
5. Relative Position Bias
6. Squared RELU

Link for the supporting videos.
1. Multi-Head Self Attention and Traditional Transformer architecture:    • Transformer to RNN (T2RNN) Part-1
2. XLNet Architecture:
-Part-1:    • XLNet Made Easy Part-1
-Part-2:    • XLNet Made Easy PART 2
-Part-3:    • XLNet Made Easy PART 3
3. Transformer-to-RNN (T2RNN):
-Part-1:    • Transformer to RNN (T2RNN) Part-1
-Part-2:    • Transformer to RNN (T2RNN) Part-2

Reference
[1]. Hua, Weizhe, Zihang Dai, Hanxiao Liu, and Quoc V. Le. "Transformer Quality in Linear Time." arXiv preprint arXiv:2202.10447 (2022).
[2] Shazeer, Noam. "Glu variants improve transformer." arXiv preprint arXiv:2002.05202 (2020)
[3]Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. "Attention is all you need." Advances in neural information processing systems 30 (2017).

Deep-Learning: How to improve the Scalability of The Transformer Architecture Part-1

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

Vanishing and Exploding Gradient Problems Part-1

Vanishing and Exploding Gradient Problems Part-1

Иллюстрированное руководство по нейронной сети Transformers: пошаговое объяснение

Иллюстрированное руководство по нейронной сети Transformers: пошаговое объяснение

How to explain Q, K and V of Self Attention in Transformers (BERT)?

How to explain Q, K and V of Self Attention in Transformers (BERT)?

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length

MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

The Physicist Who Puts Penrose’s Quantum Ideas To The Test | Ivette Fuentes

The Physicist Who Puts Penrose’s Quantum Ideas To The Test | Ivette Fuentes

ВАХ, какой гробовой ВАХ! Самая жесткая задача на ВАХ среди олимпиад

ВАХ, какой гробовой ВАХ! Самая жесткая задача на ВАХ среди олимпиад

Преломление и «замедление» света | По мотивам лекции Ричарда Фейнмана

Преломление и «замедление» света | По мотивам лекции Ричарда Фейнмана

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Are We Using the Wrong Kind Of Electricity?

Are We Using the Wrong Kind Of Electricity?

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Цепи Маркова: понятно и понятно! Часть 1

Цепи Маркова: понятно и понятно! Часть 1

Теорема Байеса, геометрия изменения убеждений

Теорема Байеса, геометрия изменения убеждений

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Физически-информированные нейронные сети (PINN) [Машинное обучение с учетом физики]

Физически-информированные нейронные сети (PINN) [Машинное обучение с учетом физики]

Понимание сталей и термообработки

Понимание сталей и термообработки