그 이름도 유명한 어텐션, 이 영상만 보면 이해 완료! - DL6

어텐션, 트랜스포머를 아시려면 이건 뭐 당연히 아셔야죠.

------------------

관련 자료입니다.

한국어 스케일링 법칙 영상
   • 챗지피티는 집에서 만들지 말고 사서 쓰세요 | 스케일링 법칙  

Build a GPT from scratch, by Andrej Karpathy
   • Let's build GPT: from scratch, in code, sp...  

언어 모델을 처음부터 개념적으로 이해하고 싶다면?
@vcubingx 채널에 언어 모델의 개념을 기초부터 설명하는 시리즈가 있습니다.
   • What does it mean for computers to underst...  

거대한 신경망이 실제로 무엇을 하고 있는지 이해하고 싶다면?
Anthropic의 Transformer Circuits 블로그 시리즈가 정말 좋습니다.
저도 이걸 읽고 “value 행렬과 output 행렬을 임베딩 공간에서 자기 자신으로 가는 저랭크 선형 변환“으로 이해하게 되었고, 다른 자료보다 훨씬 더 개념 파악이 잘 되었던 것 같아요.
https://transformer-circuits.pub/2021...

언어 모델의 역사에 대해 알고 싶다면? @ArtOfTheProblem
   • The 35 Year History of ChatGPT  

임베딩 공간에서 ‘방향’이 의미를 갖는다는 초기 연구
임베딩 공간에서 벡터 방향이 의미론적 정보를 담고 있다는 사실을 보여준 논문입니다.
https://arxiv.org/pdf/1301.3781.pdf

------------------

Timestamps:
0:00 - 임베딩 복습
1:39 - 개념적인 예시들
4:29 - 어텐션 패턴
11:08 - 마스킹
12:42 - 크기는 얼마나 될까
13:10 - Values
15:44 - 파라미터 개수
18:21 - 크로스어텐션
19:19 - Multiple heads
22:16 - The output matrix
23:19 - 살짝 자세히
24:54 - 마무리

------------------

These animations are largely made using a custom Python library, manim. See the FAQ comments here:
https://3b1b.co/faq#manim
https://github.com/3b1b/manim
https://github.com/ManimCommunity/manim/

All code for specific videos is visible here:
https://github.com/3b1b/videos/

The music is by Vincent Rubinetti.
https://www.vincentrubinetti.com
https://vincerubinetti.bandcamp.com/a...
https://open.spotify.com/album/1dVyjw...

------------------