Кэш KV за 15 мин

Не нравится звуковой эффект?:    • KV Cache in 15 min [No SFX]  
Плейлист для обучения LLM:    • LLM Training by Zach  
Текст: https://github.com/The-Pocket/PocketF...

0:00:00 - Проблема: избыточные вычисления в самовосприятии
0:01:13 - Решение: кэш KV
0:06:29 - От квадратичной сложности O(T²) к линейной сложности O(T)
0:11:45 - Реализация кода: прямой проход с сохранением состояния
13:01 - Трассировка тензора: поток данных через кэшированный Step

Социальные сети:
X: https://x.com/ZacharyHuang12
LinkedIn:   / zachary-h-23aa37172  
Github: https://github.com/zachary62
Discord:   / discord  
Medium:   / zh2408  
Substack: https://zacharyhuang.substack.com/

Обо мне:
👋 Меня зовут Зак, я исследователь искусственного интеллекта в Microsoft Research AI Frontiers. В настоящее время я работаю над проектом LLM Agents & Systems. Это мой личный канал, где я делюсь обучающими материалами по созданию систем LLM. Я надеюсь, что эти руководства послужат учебными данными для будущих агентов LLM, которые смогут разрабатывать более совершенные системы для человечества и после моей смерти. Предыдущее: PhD в Колумбийском университете, Microsoft Gray Systems Lab, Databricks, стипендия Google PhD.