GPT4.5 Pre-training, 말처럼 쉽지 않은 Scale up, 그래서 지능이 뭘까요

#GPT-4.5 #Pre-training #llm
openAI - # Pre-Training GPT-4.5    • Pre-Training GPT-4.5  

25년 4월 11일 openAI 유투브채널에 영상이 하나 올라왔습니다

"Sam Altman sits down with Amin Tootoonchian, Alex Paino, and Daniel Selsam to discuss the journey to get to GPT-4.5."

Chat GPT 4.5와 그것의 Pre-training 에 대해, 참여 개발자들과 자유롭게 이야기한 팟캐스트 영상입니다

현재 인공지능 개발에 있어 미지의 영역이 Pre-training입니다
처음 모델을 만드는 방법과 그 초기의 데이터에 대한 정보는,
LLM 개발의 다른 영역에 비해서 비교적 많이 숨겨져 있습니다

이런 상황에서 이와 같은 영상은, 우리에게 꽤 많은 단서를 제공합니다

---

Pre-training, LLM 에 대한 논의에서
scaling에 대한 이야기는 빠질 수 없습니다

지금까지 LLM의 개발의 기조는, 결국 '규모의 증대'였습니다

Parmeter의 규모, Computing의 규모, Data의 규모,
이 규모의 증대는 LLM 성능의 향상으로 당연히 이루어졌습니다
지금까지는요

"좋은 성능의, 고지능의 LLM을 만들기 위해서는 더 많은 자원과 데이터를 쏟아부으면 됩니다"
단순하고 당연하게 들리는 문장입니다
그리고 이 문장의 실현에는 정말 많은 질문들이 들어있습니다

"그 많은 컴퓨터 자원을 어떻게 연결해서 거대 모델을 학습 시킬 건가요?"
"이 자원을 돌릴 전기는 있나요?"
"네트워크가 버티지를 못 하는데요?"
"아니 이제 학습 시킬 데이터가 없는데요?"
"평가 어떻게 해요? "
....
나아가 이 질문으로 이어집니다
"높은 지능이 뭔데?"

openAI,
현재 인공지능의 최전선에서, 위 질문에 대해 어떤 고민과 해결 경험을 가지고 있을까요
함께 들어보면 좋을 것 같습니다

여러분의 생각도 궁금하구요

오늘은 GPT 4.5 그리고 Scalling law에 대해 알아봅시다

챕터
---
00:00 시작
02:17 chapter 1 Pre-training
02:54 chapter 1-1 GPU scaling
10:49 chapter 1-2 Data
13:59 chapter 2 지능에 대하여
20:59 chapter 2-1 지능 평가
26:34 chapter 3 Scaling law
31:33 chapter 4 결론 및 정리
34:00 chapter 5 여담

Related link
---
𑁍 openAI - Pre-Training GPT-4.5    • Pre-Training GPT-4.5  

📝 Scaling Laws for Neural Language Models https://arxiv.org/abs/2001.08361

X Grok3 Launch https://x.com/i/broadcasts/1gqGvjeBljOGB

Featuring: JB, JC
Edited by: Lonzi