Скачать
[Paper Review] MOIRAI-MOE: EMPOWERING TIME SERIES FOUNDATION MODELSWITH SPARSE MIXTURE OF EXPERTS
Автор: 서울대학교 산업공학과 DSBA 연구실
Загружено: 2025-12-31
Просмотров: 110
Описание:
발표자 : 강형원 석박통합과정([email protected])
1. 논문 제목: MOIRAI-MOE: EMPOWERING TIME SERIES FOUNDATION MODELS WITH SPARSE MIXTURE OF EXPERTS
2. Venue: ICML 2025 poster
3. 논문 링크: https://arxiv.org/abs/2410.10469
3. 인용 수: 75회
4. 논문 Overview:
시계열 foundation model에서 주파수 기반 특화의 한계를 지적하고, Transformer 내부에 sparse Mixture-of-Experts(MoE)를 도입하여 토큰 단위 자동 특화를 달성하는 MOIRAI-MOE를 제안
단일 projection 구조와 토큰 클러스터 기반 gating을 통해 계산 효율을 유지하면서도 모델 용량과 표현력을 확장하며, 다양한 시계열 예측 벤치마크에서 일관된 성능 향상을 보임
![[Paper Review] MOIRAI-MOE: EMPOWERING TIME SERIES FOUNDATION MODELSWITH SPARSE MIXTURE OF EXPERTS](https://ricktube.ru/thumbnail/Xa8SIBBOnaQ/hq720.jpg)
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![[Paper Review] Patch-wise Structural Loss for Time Series Forecasting](https://ricktube.ru/thumbnail/n9HnRJhOUCA/mqdefault.jpg)
![[Paper Review] Post-pre-training for Modality Alignment in Vision-Language Foundation Models](https://ricktube.ru/thumbnail/Oizg1Uaxeo0/mqdefault.jpg)
![[Paper Review] TAIL MIL](https://ricktube.ru/thumbnail/LN2_o0s0qYw/mqdefault.jpg)
![[권순표의 뉴스하이킥] 한동훈 “가족이 ‘당게’ 글 쓴 것 나중에 알았다” 첫 인정...](https://ricktube.ru/thumbnail/Z3TR58XQBmQ/mqdefault.jpg)
