Скачать
이것은 새로운 트랜스포머다... HBM, GPU 줄여도 추론하고 성능 개선 | 단어 생성 없이 진짜 생각하는 AI 모델 등장 | 기존 LLM에 왜 HBM이 많이 필요할까?
Автор: 안될공학 - IT 테크 신기술
Загружено: 15 февр. 2025 г.
Просмотров: 71 576 просмотров
Описание:
기존 트랜스포머 기반 LLM의 경우 Chain of Thought 처럼 중간 추론 과정을 단어로 생성해, GPU와 HBM 메모리 부담이 엄청났는데요. 이번 연구에서는 그 과정을 생략하고, 내부에서 스스로 ‘되새김질’하는 방식을 도입했습니다. 이 방법은 동일한 연산 블록을 반복 재사용하여 불필요한 데이터 중복을 제거합니다. 실제로, 수백억 파라미터 모델에서 기존에 필요했던 수십 기가바이트의 캐시 데이터를 몇 기가바이트로 대폭 줄일 수 있었습니다. 그 결과, GPU 간 통신 오버헤드도 크게 감소해 효율적인 분산 처리가 가능해졌습니다. 영상에서는 논문 내 구체적인 수치와 Figure들을 통해 이 혁신적인 구조의 원리와 성능 향상 효과를 자세히 설명합니다. 체인오브쏘트 방식의 번거로움 없이도 AI가 더 똑똑하게 ‘생각’할 수 있는 방식으로 볼 때, 향후 HBM 요구 용량이 줄어들 가능성으로 연구가 지속 되고 있는데요. 전력 소모와 데이터센터 인프라 투자에 회의가 이는 지금, AI 모델 측면에서 진짜 생각하는 AI 아키텍처에 대해 다루어 보았습니다.
Written by Error
Edited by Error
[email protected]
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
![[브로드컴 1부] 아무도 말하지 않는 핵심 기술! 애플, 구글, 메타 자체 AI 칩 설계에 꼭 필요한 SerDes | PCIe, Ethernet Switch 저전력 네트워킹 설계](https://ricktube.ru/thumbnail/LxXLKfPobhU/mqdefault.jpg)
![[이항영의 월가이드] 미운 털 박힌 '팀 쿡' 애플, 그럼에도 웃을 수 있는 이유 / 머니투데이방송 (증시, 증권)](https://ricktube.ru/thumbnail/ZAzvjPGgpEY/mqdefault.jpg)
![[유리기판 2부] 무엇을 대체?? 미래 유리기판이 반도체 칩의 핵심이 될 수밖에 없는 이유 (FC-BGA, Wire Bonding, LCD-TFT, 글래스 코어, 글래스인터포저)](https://ricktube.ru/thumbnail/JDroEzSJoOI/mqdefault.jpg)
