[DMQA Open Seminar] Transformer in Computer Vision

Автор: ‍김성범[ 교수 / 산업경영공학부 ]

Загружено: 2021-03-25

Просмотров: 20717

Описание:

NLP 분야에서 Transformer가 큰 성공을 거두면서 Computer Vision 분야에도 많은 영향을 미치게 되었다. 지금까지의 연구들은 Transformer의 핵심인 Self Attention을 CNN에 적용하는 연구가 주를 이루었다면 최근에는 Transformer 구조 자체를 Computer Vision 분야에 적용한 연구들이 활발하게 수행되고 있다. 이번 세미나에서는 Transformer를 이미지 분류 문제에 적용한 Vision Transformer(ViT)와 이를 개선한 Data-efficient image Transformer(DeiT)에 대해 소개하고자 한다.

참고문헌 :
1. A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, "An image is worth 16x16 words: Transformers for image recognition at scale," arXiv preprint arXiv:2010.11929, 2020.
2. H. Touvron, M. Cord, M. Douze, F. Massa, A. Sablayrolles, and H. J´egou, “Training data-efficient image transformers & distillation through attention,” arXiv preprint arXiv:2012.12877, 2020.
3. S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. Shah, "Transformers in vision: A survey," arXiv preprint arXiv:2101.01169, 2021.

[DMQA Open Seminar] Transformer in Computer Vision

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

[DMQA Open Seminar] Graph-Based Semi-supervised Learning

[DMQA Open Seminar] Graph-Based Semi-supervised Learning

Как работала машина

Как работала машина "Энигма"?

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Изображение стоит 16x16 слов: Трансформеры для масштабного распознавания изображений (с пояснения...

Изображение стоит 16x16 слов: Трансформеры для масштабного распознавания изображений (с пояснения...

Как производятся микрочипы? 🖥️🛠️ Этапы производства процессоров

Как производятся микрочипы? 🖥️🛠️ Этапы производства процессоров

Vision Transformer for Image Classification

Vision Transformer for Image Classification

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Краткое объяснение больших языковых моделей

Краткое объяснение больших языковых моделей

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

[DMQA Open Seminar] Self-Supervised Learning

[DMQA Open Seminar] Self-Supervised Learning

Vision Transformer in PyTorch

Vision Transformer in PyTorch

ViT: Model and Data Scaling는 Transformer로 가능하다! | ICLR 2021 | 이인규

ViT: Model and Data Scaling는 Transformer로 가능하다! | ICLR 2021 | 이인규

An image is worth 16x16 words: ViT | Vision Transformer explained

An image is worth 16x16 words: ViT | Vision Transformer explained

DINO: Emerging Properties in Self-Supervised Vision Transformers (Facebook AI Research Explained)

DINO: Emerging Properties in Self-Supervised Vision Transformers (Facebook AI Research Explained)

Positional embeddings in transformers EXPLAINED | Demystifying positional encodings.

Positional embeddings in transformers EXPLAINED | Demystifying positional encodings.

The $200M Machine that Prints Microchips: The EUV Photolithography System

The $200M Machine that Prints Microchips: The EUV Photolithography System

Hack Pack – Введение в Arduino

Hack Pack – Введение в Arduino