Создание Olmo 3: полностью открытая модель большого языка

В предоставленных источниках анонсируется и подробно описывается семейство полностью открытых языковых моделей Olmo 3, выпущенное Ai2, подчеркивая важность обеспечения публичного доступа ко всему «потоку моделей» — полному жизненному циклу разработки, включая данные, код и контрольные точки. Этот полный релиз призван способствовать повышению доверия и развитию инноваций по сравнению с моделями, предлагающими только окончательные веса. В релиз включены четыре специализированных варианта модели: Olmo 3-Base — базовая модель; Olmo 3-Think — специализированная модель для долгосрочных рассуждений; Olmo 3-Instruct — оптимизированная для чата и выполнения инструкций; и Olmo 3-RL Zero — платформа для исследований в области обучения с подкреплением. В техническом отчёте подробно описывается строгая многоэтапная программа обучения с использованием новых, тщательно подобранных наборов данных, таких как Dolma 3 Mix для предварительной подготовки и Dolci для последующей подготовки, а также представлены обширные результаты сравнительных тестов, показывающие, что модели Olmo 3 достигают конкурентоспособной или лидирующей производительности среди полностью открытых альтернатив в таких областях, как математика и программирование.

https://allenai.org/blog/olmo3
https://huggingface.co/allenai/Olmo-3...
https://www.datocms-assets.com/64837/...

#olmo #ai #largelanguagemodels #opensource #opensourcemodel #research