Как работает Attention, простое объяснение для новичков

📌 Заполни анкету прямо сейчас и получи чек-лист «15 самых популярных вопросов с собеседований и ответы на них»

Анкета предзаписи: https://vk.cc/cO375f
Курс «База ML»: https://clck.ru/3P2o93
Курс «ML в бизнесе»: https://clck.ru/3P2oHy
Telegram MLinside: https://t.me/+xPCRRLylQh5lMmI6

Статья из видео: https://arxiv.org/abs/1706.03762

Искусственный интеллект, который пишет тексты, переводит языки, создаёт музыку и даже ведёт диалог, работает благодаря одной идее — механизму Attention. Эта концепция изменила машинное обучение и стала основой трансформеров и ChatGPT. Но как Attention устроен внутри? И зачем каждому ML-инженеру важно понимать его работу?

Андрей Жогов — ML-инженер в Сбере и преподаватель Физтеха — простыми словами объясняет, что такое Attention, почему он решает проблему «забывания» в нейросетях и как стал фундаментом современных LLM.

В этом видео:
• Проблема старых моделей (RNN) и как её решил Attention
• Интуитивные примеры: вечеринка и библиотека для понимания механизма внимания
• Формула Attention (Q, K, V) объяснена пошагово и без лишней математики
• Self-Attention, Cross-Attention и Masked Self-Attention — где они применяются
• Как Attention используется в трансформерах и ChatGPT
• Зачем знания про Attention спрашивают на собеседованиях по Data Science / ML

Подходит тем, кто:
• готовится к собеседованию на ML/Data Science
• учит основы нейросетей и хочет понять трансформеры
• интересуется современными ИИ-моделями и ChatGPT

Это часть серии MLinside — честно, по делу и без лишней воды.

Таймкоды:
00:00 — Как одна идея изменила искусственный интеллект
00:38 — Проблема RNN: почему модели «забывают» начало текста
01:14 — Как Attention решает проблему забывания
02:29 — Q, K, V: интуитивное объяснение механизма внимания
04:22 — Формула Attention пошагово: от матриц к вероятностям
06:08 — Self, Cross и Masked Attention: где применяются
08:59 — Итоги: почему Attention — фундамент трансформеров и ChatGPT