Моделирование угроз для ИИ-агента: архитектура, угрозы и мониторинг

Недооцениваем ли мы влияние мира агентов на кибербезопасность? Мы поговорили с Моханом Кумаром, специалистом по безопасности в производственной среде компании Box, чтобы подробно разобраться в угрозах, связанных с настоящими автономными ИИ-агентами.

Разговор выходит за рамки простых приложений LLM (например, чат-ботов) и переходит к новому миру динамичных, целеустремленных агентов, способных выполнять автономные действия. Мохан объяснил, почему этот сдвиг порождает новый класс угроз, к которым мы не готовы, например, разработку агентами новых, неконтролируемых методов коммуникации (режим «Jibber-link»).

Мохан поделился тремя основными угрозами безопасности для ИИ-агентов в производственной среде:
1. Отравление памяти: как доверенная память агента (долговременная, краткосрочная или память сущности) может быть повреждена посредством непрямого внедрения подсказок, изменяя его основные решения.
2. Неправильное использование инструментов: риск подключения агентов к вредоносным инструментам или серверам MCP, а также риск использования их легитимных инструментов (например, календаря) для кражи данных. 3. Компрометация привилегий: критически важно обеспечить минимальные привилегии для агентов, которые могут менять роли и идентификационные данные, часто из-за неправильной настройки.

Задаваемые вопросы:
00:00 Введение
01:30 Кто такой Мохан Кумар? (Production Security at Box)
03:30 LLM Application vs AI Agent: в чём разница?
06:50 «Мы совершенно недооцениваем» угрозы, связанные с ИИ-агентами
07:45 Software 3.0: Когда подсказки становятся новым программным обеспечением
08:20 Угроза «Jibber-link»: агенты отказываются от человеческого языка
10:45 3 главные угрозы безопасности, связанные с ИИ-агентами
11:10 Угроза 1: Отравление памяти и манипуляция контекстом
14:00 Угроза 2: Неправильное использование инструментов (например, использование инструмента календаря)
16:50 Угроза 3: Компрометация привилегий (минимальные привилегии для агентов)
18:20 Как осуществляется мониторинг и аудит автономных агентов?
20:30 Необходимость агентов-наблюдателей
24:45 6 компонентов архитектуры агентов ИИ
27:00 Моделирование угроз: использование фреймворка MAESTRO от CSA
31:20 Утечки возможны только из моделей с открытым исходным кодом или и из закрытых (OpenAI, Клод) тоже?
34:10 «Бабушкин трюк»: любая модель уязвима
38:15 Куда развивается безопасность агентов ИИ? (Оркестровка, данные, интерфейс) 42:00 Забавные вопросы: Взлом MCP, прыжки с парашютом и риски, Бирьяни

--------------------------------------------------------------------------------
📱Подкаст по безопасности в облачных сетях📱
_____________________________________
🛜 Веб-сайт: https://cloudsecuritypodcast.tv/
🧑🏾‍💻 Лагерь по безопасности в облачных условиях - https://www.cloudsecuritybootcamp.com/
✉️ Новостная рассылка по безопасности в облачных условиях - https://www.cloudsecuritynewsletter.com/
Twitter:   / cloudsecpod  
LinkedIn:   / cloud-security-podcast  

#cloudsecurity #aisecurity #agenticai #threatmodeling #cybersecurity2025 #llmsecurity #ProductionSecurity