Самообучающийся ИИ: ускорение с помощью новых методов обучения с подкреплением.

Граница исследований LLM решительно сместилась в сторону постобучения и рассуждений на уровне системы 2. Всем известен рецепт воспроизведения результатов уровня O1: выйти за рамки контролируемой тонкой настройки и перейти к обучению с подкреплением и проверяемыми вознаграждениями (RLVR). Конечная цель каждой исследовательской лаборатории сегодня — самообучение с подкреплением: позволить модели генерировать собственные вопросы, проверять собственные цепочки рассуждений и бесконечно улучшаться без необходимости дорогостоящих, не масштабируемых человеческих аннотаций.

Однако этот новый препринт выявляет критическую нестабильность, которая преследует современные методы самообучения: коллапс политики. По мере того, как модель обучается на собственных псевдометках, она неизбежно начинает «манипулировать» сигналом вознаграждения. Авторы представляют неопровержимые доказательства того, что стандартное отраслевое решение (простое увеличение количества образцов для тестирования (G)) — это математический мираж. Увеличение количества образцов откладывает коллапс, но не может его предотвратить. В конце концов, модель становится чрезмерно самоуверенной, энтропия достигает минимума, и производительность рассуждений резко падает.

Итак, как же вырваться из этого цикла деградации? Как предотвратить ситуацию, когда модель «пьет свой собственный напиток» и сходится к неоптимальным решениям с низкой энтропией? В следующие 20 минут я расскажу вам о новой структуре, которая, наконец, стабилизирует этот цикл обратной связи.

Мы увидим, как новый архитектурный подход, который коренным образом меняет взаимодействие модели с собственной историей обучения, позволяет нам полностью обойти сбой и достичь передовых результатов там, где предыдущие базовые модели потерпели неудачу.

Все права принадлежат авторам:
M-GRPO: Стабилизация самообучения с подкреплением для больших языковых моделей с помощью
оптимизации политики с привязкой к моменту
Бичжэ Бай1,2, Хунмин У 2, Пэн Е3,4, Тао Чен1,2,
из
1 Шанхайского инновационного института,
2 Колледжа информационных технологий будущего, Фудань.

3 Шанхайской лаборатории ИИ
4 Китайского университета Гонконга

#airesearch
#selflearning
#aireasoning
#physics