QwenLong-L1.5: Посттренировочный алгоритм для рассуждений в длительном контексте и управления пам...

Модель QwenLong-L1.5 представляет собой новую модель, расширяющую возможности рассуждений в длинном контексте за счет систематических инноваций после обучения. Она использует сложный конвейер синтеза данных в длинном контексте для генерации сложных многошаговых задач рассуждений путем деконструкции документов и программного составления вопросов. Для обеспечения стабильного обучения на последовательностях все большей длины модель использует стабилизированное обучение с подкреплением, включающее сбалансированную выборку задач, оценку преимуществ для каждой задачи и алгоритм адаптивной оптимизации политики с управлением энтропией (AEPO). Для сверхдлинных контекстов, превышающих типичные ограничения окна (например, 4 миллиона токенов), QwenLong-L1.5 интегрирует архитектуру с расширенной памятью, использующую многоэтапное слияние RL, сочетающее однопроходные рассуждения с итеративной обработкой на основе памяти. Созданный на основе Qwen3-30B-A3B-Thinking, QwenLong-L1.5 демонстрирует производительность, сопоставимую с такими моделями, как GPT-5 и Gemini-2.5-Pro, в тестах на логическое мышление с длинным контекстом. Он заметно превосходит свой базовый показатель в среднем на 9,90 баллов и демонстрирует прирост в 9,48 баллов в сверхдлительных задачах благодаря своей системе агентов памяти. Эти улучшения также приводят к повышению производительности в таких общих областях, как научное мышление, использование инструментов памяти и расширенный диалог.

#QwenLongL1_5 #LongContextReasoning #LLMs #PostTraining #MemoryManagement #ReinforcementLearning #AI #NaturalLanguageProcessing

статья - https://modelscope.cn/papers/2512.12967
подписаться - https://t.me/arxivpaper
пожертвования:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM