Строительные блоки LLM и альтернативы трансформаторам

Автор: Sebastian Raschka

Загружено: 2025-10-27

Просмотров: 13550

Описание:

Ресурсы:
Понимание и кодирование KV-кэша в LLM с нуля: https://magazine.sebastianraschka.com...
Сравнение крупных архитектур: https://magazine.sebastianraschka.com...
За пределами стандартных LLM: гибриды линейного внимания, диффузия текста, модели кодового мира и небольшие рекурсивные преобразователи
Книга «Рассуждение с нуля»: https://mng.bz/Nwr7

Описание:
Изучите основные компоненты современных больших языковых моделей (LLM) на основе преобразователей и практические методы, которые ускоряют и удешевляют вывод. Мы рассмотрим Grouped-Query Attention (GQA), Multi-Head Latent Attention (MLA) и Sliding Window Attention (SWA), покажем, какое место смешанный экспертный подход (MoE) занимает в современных архитектурах, и завершим обзором перспективных альтернатив и гибридных моделей, выходящих за рамки стандартных трансформеров.

Главы:

00:00 Введение
01:13 Основная тема: более крупные модели и более дешевый вывод
02:13 Grouped-Query Attention (GQA)
05:44 Multi-Head Latent Attention (MLA)
09:51 Sliding Window Attention (SWA)
13:57 Mixed-Experts
17:01 LLM и альтернативы трансформерам

#LLM #Transformers #DeepLearning #MachineLearning #Inference #MoE #GQA #MLA #SWA #KVCache

Строительные блоки LLM и альтернативы трансформаторам

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

The Big LLM Architecture Comparison

The Big LLM Architecture Comparison

Ведущий исследователь в области ИИ: Нас обманывали относительно обучения по программе LLM.

Ведущий исследователь в области ИИ: Нас обманывали относительно обучения по программе LLM.

Получение степени магистра права: создание, обучение, доработка

Получение степени магистра права: создание, обучение, доработка

Рассуждение о скрытом пространстве: взгляд на исследование

Рассуждение о скрытом пространстве: взгляд на исследование

Что я узнал делая свой ВПН?

Что я узнал делая свой ВПН?

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Строительные блоки современных и будущих языковых моделей — Себастьян Рашка, RAIR Lab

Строительные блоки современных и будущих языковых моделей — Себастьян Рашка, RAIR Lab

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Большинство разработчиков не понимают, как работают токены LLM.

Большинство разработчиков не понимают, как работают токены LLM.

Управление поведением LLM без тонкой настройки

Управление поведением LLM без тонкой настройки

Почему диффузия работает лучше, чем авторегрессия?

Почему диффузия работает лучше, чем авторегрессия?

Text diffusion: A new paradigm for LLMs

Text diffusion: A new paradigm for LLMs

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Я следовал по токену через архитектуру Трансформеров (на каждом шаге).

Я следовал по токену через архитектуру Трансформеров (на каждом шаге).

Что эксперты не хотят, чтобы вы знали о законах масштабирования ИИ

Что эксперты не хотят, чтобы вы знали о законах масштабирования ИИ

Тонкая настройка программ LLM с открытым исходным кодом

Тонкая настройка программ LLM с открытым исходным кодом

Миниатюрная рекурсивная модель действительно работает | Теория + Реализация с нуля

Миниатюрная рекурсивная модель действительно работает | Теория + Реализация с нуля

This Simple Optimizer Is Revolutionizing How We Train AI [Muon]

This Simple Optimizer Is Revolutionizing How We Train AI [Muon]

Как создать магистерскую программу с нуля на Python с использованием ИИ (для начинающих)

Как создать магистерскую программу с нуля на Python с использованием ИИ (для начинающих)