[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)

Автор: 서울대학교 산업공학과 DSBA 연구실

Загружено: 2020-06-07

Просмотров: 13984

Описание:

발표자: 이유경
1. Topic
: Transformer 기반의 언어모델들에대한 정리 및 비교 (2018~2019년 발표된 논문)

2. Overview
: Natural Language Process (NLP)는 transformer의 등장으로 엄청난 발전을 이루었다. 특히 2018년에 발표된 BERT와 GPT는 Transformer 기반의 모델로서 다양한 NLP task에 높은 성능을 보였다. 본 발표는 BERT 발표 이후 T5모델이 발표될 때까지 NLP에서 높은 성능을 보인 모델 6가지를 정리하고 비교하며, 특히 XLNet과 T5에 초점을 맞추어 구성하였다. (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)

[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

08-8: GPT-3

RoBERTa: надежно оптимизированный подход к предварительной подготовке BERT

RoBERTa: надежно оптимизированный подход к предварительной подготовке BERT

08-2: Transformer

08-2: Transformer

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Законодательное ограничение C++

Законодательное ограничение C++

BART: Denoising Sequence-to-Sequence Pre-training for NLG & Translation (Explained)

BART: Denoising Sequence-to-Sequence Pre-training for NLG & Translation (Explained)

NotebookLM тихо обновился. Как делать Инфографику, Презентации, Видеопересказ.

NotebookLM тихо обновился. Как делать Инфографику, Презентации, Видеопересказ.

LLM inference optimization: Architecture, KV cache and Flash attention

LLM inference optimization: Architecture, KV cache and Flash attention

08-5: BERT

Теренс Тао о том, как Григорий Перельман решил гипотезу Пуанкаре | Лекс Фридман

Теренс Тао о том, как Григорий Перельман решил гипотезу Пуанкаре | Лекс Фридман

OpenAI CLIP: Соединение текста и изображений (объяснение в статье)

OpenAI CLIP: Соединение текста и изображений (объяснение в статье)

Предел развития НЕЙРОСЕТЕЙ

Предел развития НЕЙРОСЕТЕЙ

Как Сделать Настольный ЭЛЕКТРОЭРОЗИОННЫЙ Станок?

Как Сделать Настольный ЭЛЕКТРОЭРОЗИОННЫЙ Станок?

RoFormer: Enhanced Transformer with Rotary Position Embedding paper review!!

RoFormer: Enhanced Transformer with Rotary Position Embedding paper review!!

Ургант устал ждать и пришёл на Ютуб. Почему это важно

Ургант устал ждать и пришёл на Ютуб. Почему это важно

⚡Утренний выпуск новостей 27.12.25

⚡Утренний выпуск новостей 27.12.25

Превратите ЛЮБОЙ файл в знания LLM за СЕКУНДЫ

Превратите ЛЮБОЙ файл в знания LLM за СЕКУНДЫ