Скачать
10talks Upstage 독자 파운데이션 모델 컨소시엄 세미나(6회차)
Автор: Upstage
Загружено: 2026-01-08
Просмотров: 1062
Описание:
6회차 세미나 안내
일시: 2026.01.09(금) 오전 11시 ~ 12시
연사:
임경태 교수(KAIST문화기술대학원 조교수)
박정열 교수(KAIST 문화기술연구소 연구교수)
주제 : Tokenizer Regression for Optimal Data Mixture
본 세미나 에서는 LLM의 골격인 Tokenizer를 효율적으로 구축하는 연구 TReX에 대해 소개합니다. TReX는 토크나이저 학습에서 최적의 데이터 혼합비를 효율적으로 찾는 방법으로, 소규모 프록시 토크나이저와 회귀 모델을 활용해, 대규모 학습 없이도 데이터 혼합비와 압축률의 관계를 정확히 예측하여 최적의 다국어 tokenizer를 만드는 연구입니다. TReX를 토대로, 다국어·다도메인 환경에서 기존 휴리스틱 기법으로 구축된 tokenizer 대비 더 높은 압축 효율을 달성했습니다. 이를 통해 토크나이저 설계 비용을 크게 줄이면서도 실제 모델 학습 효율을 향상시킬 수 있음을 세미나 내용에서 전반적으로 소개합니다.
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![[Upstage Talks] CI/CD for ML products in Google's toolbox](https://imager.clipsaver.ru/7PG5SvD_NGU/max.jpg)
![Как происходит модернизация остаточных соединений [mHC]](https://imager.clipsaver.ru/jYn_1PpRzxI/max.jpg)
![AI 특이점, 5년 안에 온다고? 프콘도 깜짝 놀란 과학자들의 진짜 AI 썰 (feat. 박태웅 의장) [취미는 과학/ 24화 확장판]](https://imager.clipsaver.ru/0KDosjF0iYM/max.jpg)
