Titans: Google включила нейросетям память на стероидах

🔥 https://t.me/+vYZRdANlkXVkODQy - лучшие ии инструмент и гайды по работе с ними у меня в телеграме, подпишись, не пожалеешь
📌 https://t.me/addlist/8vDUwYRGujRmZjFi - А здесь собрана папка
отборных материалов по работе с ИИ
📌 Разбор задач с собсеседований Python: https://t.me/pythonl
✔️ Google представила архитектуру Titans.

Google Research анонсировала Titans — новую архитектуру, которая решает проблему эффективности обработки огромных массивов данных. Фишка - в механизме «глубокой обучаемой памяти», которая обновляется непосредственно в процессе инференса, превращая работу сети в непрерывный цикл онлайн-обучения.

Вместо сохранения всего контекста Titans использует градиенты как индикатор неожиданности: модель запоминает только те токены, которые несут новую информацию и отсеивает предсказуемые данные. Это позволяет поддерживать контекстные окна объемом более 2 млн. токенов при сохранении линейной скорости вычислений, свойственной RNN.

В тестах на длинный контекст и ризонинг архитектура обошла по производительности Transformer++ и Mamba 2.


100 вопросов с собеседований Data Science — часть 1 -    • 100 вопросов с собеседований Data Science ...  

#AI #GoogleResearch #Titans #DeepLearning #NeuralMemory #LLM #RNN #Transformers #Mamba2 #AIArchitecture #MachineLearning #Reasoning #LongContext #OnlineLearning #FutureOfAI