Olmo 3: Определение пути развития модели для развития ИИ с открытым исходным кодом

Институт искусственного интеллекта Аллена (AI2) выпустил *Olmo 3* — семейство современных полностью открытых языковых моделей, доступных с 7 и 32 миллиардами параметров, включая модель *Olmo 3-Think 32B**, признанную лучшей полностью открытой моделью мышления в своем классе. Главной целью этого релиза является прозрачность и расширение возможностей, достигаемые путем предоставления общего доступа ко всему **потоку модели* — полному жизненному циклу разработки, охватывающему весь код, инфраструктуру обучения, контрольные точки и базовые данные. Эта полная открытость позволяет осуществлять индивидуальную разработку, исследования и вмешательство на любом этапе процесса, выходя за рамки типичных открытых версий, которые предоставляют только окончательные веса моделей. Семейство Olmo 3 включает четыре основных пути: Olmo 3-Base (базовая модель), Olmo 3-Think (для сложных рассуждений), Olmo 3-Instruct (для чата и использования инструментов) и Olmo 3-RL Zero (для экспериментов с обучением с подкреплением). Кроме того, модели интегрируются с *OlmoTrace* — функцией, которая позволяет пользователям отслеживать результаты работы модели и этапы рассуждений вплоть до конкретных данных обучения, предоставляя ценную информацию о поведении модели и решая такие проблемы, как галлюцинации. Делая все компоненты, включая новые наборы данных, такие как Dolma 3 (для предварительного обучения) и Dolci (для постобучения), полностью общедоступными по разрешительным лицензиям, AI2 стремится развивать ИИ в научных целях, снижая стоимость и барьеры для входа исследовательского сообщества.

https://allenai.org/blog/olmo3
https://huggingface.co/collections/al...
   • Olmo 3 | A family of leading fully open LM...