Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Магистратура по направлению «Трансформаторы и диффузия»: какая связь?

Автор: Julia Turc

Загружено: 2025-11-06

Просмотров: 20281

Описание:

Диффузионные модели языка (LLM) — это новая парадигма генерации текста; они постепенно преобразуют бессмысленную тарабарщину в связный ответ. Но как они связаны с «Трансформерами»?

В этом видео я рассказываю о том, как «Трансформеры» превратились из простого инструмента машинного перевода в универсальную основу современного искусственного интеллекта, обеспечивающую работу всего: от моделей авторегрессии, таких как GPT, до моделей на основе диффузии, таких как LLaDA.

Мы шаг за шагом рассмотрим:
• Как на самом деле работает архитектура Transformer (кодер, декодер, внимание)
• Почему внимание заменило повторение в обработке естественного языка
• Чем обучение GPT отличается от генерации текста на основе диффузии
• Как моделирование языка с маскировкой в ​​BERT вдохновило на программы магистратуры по диффузии
• Подробное описание процесса маскированной диффузии в LLaDA

Если вы здесь впервые, посмотрите мои предыдущие видео, чтобы получить интуитивное введение в модели диффузии и узнать, как физическая диффузия вдохновила их:    • Diffusion models  

📚 Бесплатная презентация:   / juliaturc  
📚 Статьи:
• Оригинал GPT: https://cdn.openai.com/research-cover...
• BERT: https://arxiv.org/abs/1810.04805
• LLaDA: https://arxiv.org/abs/2502.09992
▶️ Моё предыдущее видео о «Трансформерах»:    • Transfer learning and Transformer models (...  

00:00 Вступление
01:25 История происхождения «Трансформера»
03:52 Проблема выравнивания и внимание
06:26 Архитектура: кодер против декодера
11:25 Авторегрессивные LLM и GPT
16:09 Классификация текста и BERT
18:51 Диффузионные LLM и LLaDA
24:17 Заключение

Магистратура по направлению «Трансформаторы и диффузия»: какая связь?

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(20) { ["vrTrOCQZoQE"]=> object(stdClass)#7810 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "vrTrOCQZoQE" ["related_video_title"]=> string(43) "The Problem with A.I. Slop! - Computerphile" ["posted_time"]=> string(19) "2 дня назад" ["channelName"]=> NULL } ["D9Hd4KMoxds"]=> object(stdClass)#7814 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "D9Hd4KMoxds" ["related_video_title"]=> string(84) "Прорыв в переработке, не требующий сортировки" ["posted_time"]=> string(21) "5 дней назад" ["channelName"]=> NULL } ["yQykvrAR_po"]=> object(stdClass)#7807 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "yQykvrAR_po" ["related_video_title"]=> string(130) "Я написал диспетчер задач — 30 лет спустя. Секреты, о которых вы не знали" ["posted_time"]=> string(21) "5 дней назад" ["channelName"]=> NULL } ["9Lf0uG0szQw"]=> object(stdClass)#7815 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "9Lf0uG0szQw" ["related_video_title"]=> string(179) "Путин пропускает удары. Лаврова задвинули из-за Трампа. Война меняет общество | Пастухов, Еловский" ["posted_time"]=> string(21) "2 часа назад" ["channelName"]=> NULL } ["O7BI4jfEFwA"]=> object(stdClass)#7802 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "O7BI4jfEFwA" ["related_video_title"]=> string(81) "DEF CON 33 - Exploiting Shadow Data from AI Models and Embeddings - Patrick Walsh" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> NULL } ["wjZofJX0v4M"]=> object(stdClass)#7822 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "wjZofJX0v4M" ["related_video_title"]=> string(148) "LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["OAGAYOOz3A8"]=> object(stdClass)#7796 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "OAGAYOOz3A8" ["related_video_title"]=> string(136) "Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz" ["posted_time"]=> string(22) "22 часа назад" ["channelName"]=> NULL } ["hYyrgDEJLOA"]=> object(stdClass)#7821 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "hYyrgDEJLOA" ["related_video_title"]=> string(76) "Are Electrons made of Light? (The Williamson & Van der Mark Electron model)." ["posted_time"]=> string(21) "1 день назад" ["channelName"]=> NULL } ["hKw6cRKcqzY"]=> object(stdClass)#7804 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "hKw6cRKcqzY" ["related_video_title"]=> string(113) "Стартап запускает в космос центры обработки данных на базе ИИ" ["posted_time"]=> string(19) "2 дня назад" ["channelName"]=> NULL } ["LSMQ3U1Thzw"]=> object(stdClass)#7786 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "LSMQ3U1Thzw" ["related_video_title"]=> string(53) "SID: Классический 8-битный звук" ["posted_time"]=> string(21) "7 дней назад" ["channelName"]=> NULL } ["txtDpCLHUkU"]=> object(stdClass)#7808 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "txtDpCLHUkU" ["related_video_title"]=> string(69) "Here’s How Biocomputing Works And Matters For AI | Bloomberg Primer" ["posted_time"]=> string(27) "7 месяцев назад" ["channelName"]=> NULL } ["940zih5bee4"]=> object(stdClass)#7805 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "940zih5bee4" ["related_video_title"]=> string(157) "Искусственный интеллект и кибербезопасность: Дэн Боне берет интервью у Сэма Альтмана" ["posted_time"]=> string(19) "4 дня назад" ["channelName"]=> NULL } ["AyuMdNoL1Vs"]=> object(stdClass)#7800 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "AyuMdNoL1Vs" ["related_video_title"]=> string(53) "Microsoft продолжает проигрывать" ["posted_time"]=> string(21) "1 день назад" ["channelName"]=> NULL } ["pHqcHzxx6I8"]=> object(stdClass)#7801 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "pHqcHzxx6I8" ["related_video_title"]=> string(178) "Делаем графические процессоры по-настоящему быстрыми: глубокий анализ эффективности тренировок" ["posted_time"]=> string(19) "4 дня назад" ["channelName"]=> NULL } ["R0uMcXsfo2o"]=> object(stdClass)#7798 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "R0uMcXsfo2o" ["related_video_title"]=> string(35) "The physics behind diffusion models" ["posted_time"]=> string(25) "2 месяца назад" ["channelName"]=> NULL } ["w5k72A30kUc"]=> object(stdClass)#7799 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "w5k72A30kUc" ["related_video_title"]=> string(110) "Почему 2025 год — самый важный год в нашей жизни | Питер Лейден" ["posted_time"]=> string(25) "3 недели назад" ["channelName"]=> NULL } ["Ju0ndy2kwlw"]=> object(stdClass)#7787 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "Ju0ndy2kwlw" ["related_video_title"]=> string(46) "I built an AI supercomputer with 5 Mac Studios" ["posted_time"]=> string(27) "8 месяцев назад" ["channelName"]=> NULL } ["D3Bw4IMD2oo"]=> object(stdClass)#7788 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "D3Bw4IMD2oo" ["related_video_title"]=> string(136) "Компьютеры перестали становиться «лучше»......... я КЛЯНУСЬ, я не сумасшедший" ["posted_time"]=> string(25) "4 недели назад" ["channelName"]=> NULL } ["y1zXWPftazk"]=> object(stdClass)#7794 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "y1zXWPftazk" ["related_video_title"]=> string(80) "Игорь Липсиц: Отъем денег только начинается" ["posted_time"]=> string(23) "5 часов назад" ["channelName"]=> NULL } ["ZkYNjV1qETk"]=> object(stdClass)#7795 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "ZkYNjV1qETk" ["related_video_title"]=> string(0) "" ["posted_time"]=> string(24) "17 часов назад" ["channelName"]=> NULL } }
The Problem with A.I. Slop! - Computerphile

The Problem with A.I. Slop! - Computerphile

Прорыв в переработке, не требующий сортировки

Прорыв в переработке, не требующий сортировки

Я написал диспетчер задач — 30 лет спустя. Секреты, о которых вы не знали

Я написал диспетчер задач — 30 лет спустя. Секреты, о которых вы не знали

Путин пропускает удары. Лаврова задвинули из-за Трампа. Война меняет общество | Пастухов, Еловский

Путин пропускает удары. Лаврова задвинули из-за Трампа. Война меняет общество | Пастухов, Еловский

DEF CON 33 - Exploiting Shadow Data from AI Models and Embeddings - Patrick Walsh

DEF CON 33 - Exploiting Shadow Data from AI Models and Embeddings - Patrick Walsh

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz

Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz

Are Electrons made of Light? (The Williamson & Van der Mark Electron model).

Are Electrons made of Light? (The Williamson & Van der Mark Electron model).

Стартап запускает в космос центры обработки данных на базе ИИ

Стартап запускает в космос центры обработки данных на базе ИИ

SID: Классический 8-битный звук

SID: Классический 8-битный звук

Here’s How Biocomputing Works And Matters For AI | Bloomberg Primer

Here’s How Biocomputing Works And Matters For AI | Bloomberg Primer

Искусственный интеллект и кибербезопасность: Дэн Боне берет интервью у Сэма Альтмана

Искусственный интеллект и кибербезопасность: Дэн Боне берет интервью у Сэма Альтмана

Microsoft продолжает проигрывать

Microsoft продолжает проигрывать

Делаем графические процессоры по-настоящему быстрыми: глубокий анализ эффективности тренировок

Делаем графические процессоры по-настоящему быстрыми: глубокий анализ эффективности тренировок

The physics behind diffusion models

The physics behind diffusion models

Почему 2025 год — самый важный год в нашей жизни | Питер Лейден

Почему 2025 год — самый важный год в нашей жизни | Питер Лейден

I built an AI supercomputer with 5 Mac Studios

I built an AI supercomputer with 5 Mac Studios

Компьютеры перестали становиться «лучше»......... я КЛЯНУСЬ, я не сумасшедший

Компьютеры перестали становиться «лучше»......... я КЛЯНУСЬ, я не сумасшедший

Игорь Липсиц: Отъем денег только начинается

Игорь Липсиц: Отъем денег только начинается

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]