Исследователи получают действительно креативное обучение LLM [Прогнозирование порядка токенов]

Разверните модель на Sevalla прямо сейчас и получите бесплатный кредит в размере 50 долларов!

https://sevalla.com/?utm_source=ByClo...

В статье Meta 2024 года рассматривается прогнозирование нескольких токенов (MTP), при котором LLM предсказывают несколько будущих токенов одновременно для повышения эффективности и «предвидения». В DeepSeek 2024 это предлагается в качестве «вспомогательной цели» — интересной концепции для повышения эффективности модели во время обучения. Но MTP пока может быть не идеальным AO. В этом видео я расскажу о прогнозировании порядка токенов (TOP) — более мягкой вспомогательной цели, которая повышает эффективность модели за счёт изучения относительного порядка будущих токенов.

Моя рассылка
https://mail.bycloud.ai/

Мой проект: поиск, открытие и семантическое объяснение исследований ИИ
https://findmypapers.ai/

Мой Patreon
  / bycloud  

Прогнозирование по нескольким токенам
[Статья] https://arxiv.org/abs/2404.19737

Прогнозирование последовательности токенов
[Статья] https://arxiv.org/abs/2508.19228

DeepSeek V3
[Статья] https://arxiv.org/abs/2412.19437v1

Попробуйте мой новый любимый ресурс для обучения программированию https://scrimba.com/?via=bycloudAI

Это видео поддерживается добрыми покровителями и подписчиками YouTube:
🙏Spam Maj, Alex, Chris LeDoux, DX Research Группа, Пуф Н'Ину, Диган, Роберт Завиаса, Рышард Варзоча, Tobe2d, Луис Мук, Аккусатив, Кевин Тай, Марк Баклер, НО Ю, Тони Хименес, Анхело Фонсека, Джие, Анушка, Асад Дхамани, Бинни Ю, Кэлвин Ян, Клейтон Форд, Диего Сильва, Этротта, Гонсало Фидальго, Ханденон, Гектор, Джейк Диско очень, Майкл Бреннер, Нилли К, ОлегВок, Дэдди Вен, Шухонг Чен, Sid_Cipher, Стефан Лоренц, Суп, Тантан Ассаваде, Типок Там, Томас Ди Мартино, Томас Лин, Ричард Нагифи, Разносчик газет, Мика, Лео, Берхане-Мескель, Кадхай Песалам, Майссам, Билл Мангрум, няа, Тору Пн

[Discord]   / discord  
[Twitter]   / bycloudai  
[Patreon]   / bycloud  
[Деловые запросы] [email protected]
[Профиль и баннеры]   / pygm7  
[Видеоредактор] @Booga04
[Ko-fi] https://ko-fi.com/bycloudai