RoFormer: Enhanced Transformer with Rotary Position Embedding paper review!!
Автор: 딥러닝논문읽기모임
Загружено: 2021-10-20
Просмотров: 4997
[ROFORMER 논문 리뷰]
발표자료 : https://www.slideshare.net/taeseonryu...
지금까지 발표한 논문 :https://github.com/Lilcob/-DL_PaperRe...
안녕하세요 딥러닝 논문읽기 모임입니다 오늘 업로드된 논문 리뷰 영상은 올해 발표된, RoFormer: Enhanced Transformer with Rotary Position Embedding 라는 제목의 논문입니다.
해당 논문은 Rotary Position Embedding을 이용하여 Transformer를 개선 시킨 논문입니다. Position embedding은 Self attention의 포지션에 대한 위치를 기억 시키기 위해 사용이 되는 중요한 요소중 하나 인대요, Rotary Position Embedding은 선형대수학 시간때 배우는 회전행렬을 사용하여 위치에 대한 정보를 인코딩 하는 방식으로 대체하여 모델의 성능을 끌어 올렸습니다.
논문에 대한 백그라운드 부터, 수식에 대한 디테일한 리뷰까지,
논문 리뷰를 자연어 처리 진명훈님이 디테일한 논문 리뷰 도와주셨습니다!
오늘도 많은 관심 미리 감사드립니다!
• [2020 - ICML]Progressive Identification of...
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке: