[Paper Review] Democratizing Large Language Models : From 175B to 7B

발표자 : 통합과정 김재희

1. Topic
    LLM을 연구에 활용하기 위한 다양한 시도와 최근 공개 모델들
2. Overview
요약 : 이번 세미나를 통해 다룰 주제는 연구실 자원과 예산으로 활용 가능한 LLM을 훈련하기 위한 최근 연구 흐름입니다. LLM을 자유롭게 이용하기 위해서는 1) 대량의 데이터셋과 많은 파라미터를 가지는 모델을 통한 Language Modeling 훈련과 2) Annotator를 이용한 많은 양의 Instruction 데이터를 통한 Instruct Tuning이 필요합니다. 연속된 두 훈련 과정은 1) 연구실 단위의 GPU에서 추론도 불가능할 정도로 큰 모델과 2) 훈련을 위한 데이터셋 준비 및 GPU 환경으로 인한 수십억 이상의 예산을 당연한 전제로 삼게 되었습니다. 하지만 최근 발표된 Alpaca는 일반 연구실 자원(80GB GPU 4장 등)에서 활용 가능한 Instruct-Tuned 된 Large Language Model로서 최근 연구와 개발 양 방향에서 큰 관심을 받고 있습니다. 7B이라는 LLM치고 작은 모델 크기임에도 GPT-3와 비슷한 성능을 보이는 해당 모델은 단일 프로젝트로 진행되지 않고, Meta-AI의 LLAMA 모델을 기반으로 Self-Instruct라는 논문의 방법론을 적극 활용하여 학습된 모델입니다. 이번 세미나는 Alpaca를 비롯한 최근의 연구 흐름이 어떻게 연구실 자원으로 활용할 수 있는 LLM을 훈련시킬 데이터를 확보하고, 실제로 훈련했는지 살펴보도록 하겠습니다.
3. 발표 구성
1. Large Language Model for Research : 기존 LLM 모델의 연구자 관점의 한계점
2. Chinchilla : LLM Pretrain 시 학습 Step 수와 모델 파라미터 수 간의 관계
3. GPT-3
4. Instruct-GPT : 단순 Language Modeling을 넘어 인간의 요청에 효과적으로 대응하기 위한 학습 방법론
5. Llama : 연구를 위한 LLM
6. Self Instruct : Instruction-Tuning을 위한 경제적 데이터 확보 방안
7. Alpaca and its Friends : 최근 Llama 이후의 다양한 연구 및 개발 방향
4. 관련 연구
Chinchilla[Training Compute-Optimal Large Language Models] : https://arxiv.org/abs/2203.15556
GPT-3[Language Models are Few-Shot Learners] : https://arxiv.org/abs/2005.14165
Instruct-GPT[Training language models to follow instructions with human feedback] : https://arxiv.org/abs/2203.02155
Llama[LLaMA: Open and Efficient Foundation Language Model] : https://arxiv.org/abs/2302.13971
Self Instruct[Self-Instruct: Aligning Language Model with Self Generated Instructions] : https://arxiv.org/abs/2212.10560
Alpaca[Stanford Alpaca: An Instruction-following LLaMA Model] : https://github.com/tatsu-lab/stanford...