DeepSeek - Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Автор: AI Papers Podcast Daily

Загружено: 2026-01-17

Просмотров: 30

Описание:

Modern large language models often work inefficiently because they use complex calculations to remember simple facts or common word patterns. To solve this, researchers introduced *Engram**, a "conditional memory" module that allows the AI to **quickly look up stored information* from a massive table instead of recalculating it every time. By handling the basic task of remembering static patterns, Engram frees up the AI’s "brain power" to focus on *difficult reasoning, math, and computer coding**. This system makes the AI act as if it is much deeper and more capable without slowing it down or requiring more expensive hardware. Ultimately, Engram helps models handle much longer pieces of text more accurately by separating **fast memory recall* from deep thinking.

https://github.com/deepseek-ai/Engram...
https://x.com/scaling01/status/201074...

DeepSeek - Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

DeepSeek Just Made LLMs Way More Powerful: Introducing ENGRAM

DeepSeek Just Made LLMs Way More Powerful: Introducing ENGRAM

The Man Behind Google's AI Machine | Demis Hassabis Interview

The Man Behind Google's AI Machine | Demis Hassabis Interview

Your Nervous System Is About to Be Upgraded

Your Nervous System Is About to Be Upgraded

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Как внимание стало настолько эффективным [GQA/MLA/DSA]

То, что они только что построили, — нереально

То, что они только что построили, — нереально

Насколько мы близки к созданию твердотельных батарей?

Насколько мы близки к созданию твердотельных батарей?

Управление поведением LLM без тонкой настройки

Управление поведением LLM без тонкой настройки

Nvidia - Plenoptic Video Generation

Nvidia - Plenoptic Video Generation

Как происходит модернизация остаточных соединений [mHC]

Как происходит модернизация остаточных соединений [mHC]

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

Может ли у ИИ появиться сознание? — Семихатов, Анохин

Может ли у ИИ появиться сознание? — Семихатов, Анохин

ИИ - ЭТО ИЛЛЮЗИЯ ИНТЕЛЛЕКТА. Но что он такое и почему совершил революцию?

ИИ - ЭТО ИЛЛЮЗИЯ ИНТЕЛЛЕКТА. Но что он такое и почему совершил революцию?

Safety Not Found (404):Hidden Risks of LLM-Based Robotics Decision Making

Safety Not Found (404):Hidden Risks of LLM-Based Robotics Decision Making

Почему RAG терпит неудачу — как CLaRa устраняет свой главный недостаток

Почему RAG терпит неудачу — как CLaRa устраняет свой главный недостаток

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

How DeepSeek Rewrote the Transformer [MLA]

How DeepSeek Rewrote the Transformer [MLA]

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

Mechanisms of Prompt-Induced Hallucination in Vision–Language Models

Mechanisms of Prompt-Induced Hallucination in Vision–Language Models

Jack Morris: Stuffing Context is not Memory, Updating Weights is

Jack Morris: Stuffing Context is not Memory, Updating Weights is

Самая сложная модель из тех, что мы реально понимаем

Самая сложная модель из тех, что мы реально понимаем