LLaDA 2 0 IA em dobro da velocidade

Título: LLaDA2.0: Scaling Up Diffusion Language Models to 100B

Resumo: Este documento sintetiza as principais inovações, metodologias e resultados do LLaDA2.0, uma nova série de modelos de linguagem de difusão discretos (dLLMs) desenvolvida pelo Ant Group e colaboradores acadêmicos. O projeto estabelece um novo paradigma para a implementação em larga escala de modelos de difusão, escalando-os até 100 bilhões de parâmetros.
A principal inovação do LLaDA2.0 é sua metodologia de conversão, que transforma modelos auto-regressivos (AR) pré-treinados em dLLMs de alto desempenho, evitando o custo computacional de treinar do zero. Essa transição é orquestrada por uma estratégia de três fases denominada Warmup-Stable-Decay (WSD), que adapta progressivamente o modelo AR à dinâmica de difusão bidirecional, garantindo a preservação do conhecimento linguístico e uma otimização estável.
Foram lançados dois modelos ajustados para instruções, ambos variantes de Mistura de Especialistas (MoE): LLaDA2.0-mini (16B) e LLaDA2.0-flash (100B). As avaliações demonstram que esses modelos são altamente competitivos com seus equivalentes AR, alcançando paridade em benchmarks gerais e mostrando superioridade em domínios estruturados complexos, como codificação, matemática e tarefas de agentes.
Além disso, o projeto introduz otimizações críticas de pós-treinamento. O Treinamento Paralelo Consciente de Confiança (CAP) incorpora uma perda de confiança auxiliar para "afiar" as previsões do modelo, permitindo uma decodificação paralela mais agressiva e eficiente. Isso resulta em uma velocidade de inferência de até 535 tokens por segundo para o LLaDA2.0-flash-CAP, representando um aumento de até 2.1x em relação a modelos AR de escala semelhante. O LLaDA2.0 representa um avanço significativo, demonstrando que os modelos de difusão são uma alternativa viável e escalável ao paradigma AR dominante, com vantagens inerentes em eficiência de inferência e geração estruturada.

Link do paper: https://huggingface.co/papers/2512.15745