Нарушение автономности: взлом облачных агентов искусственного интеллекта

R1 0815

ИИ-агенты становятся автономными системами с доступом к реальному миру, что создает новые риски безопасности. Их недетерминированность, автономность и интеграция с внешними инструментами подвергают их как специфическим для ИИ уязвимостям, так и традиционным программным уязвимостям. Мы рассматриваем агентов Amazon Bedrock с точки зрения злоумышленников, демонстрируя моделируемые атаки, которые могут привести к утечке информации, нецелевому использованию инструментов, манипуляции памятью и многоагентному перехвату. Используя Cyber ​​Kill Chain, мы прослеживаем все пути атак от разведки до полного захвата агента. Хотя наше внимание сосредоточено на Bedrock, результаты распространяются на все фреймворки агентов. В заключение мы приводим практические рекомендации и рекомендации по обеспечению безопасности и ответственному тестированию ИИ-агентов.

Джей Чен
Джей Чен — исследователь безопасности в Palo Alto Networks, специализирующийся на безопасности ИИ и облачных технологий. Его работа сосредоточена на выявлении уязвимостей и рисков в системах ИИ и разработке надежных механизмов защиты для их устранения. Джей также обладает глубокими знаниями в области облачной безопасности, уделяя особое внимание тактикам противодействия, направленным на облачные технологии. До своей нынешней должности он проводил исследования в области безопасности мобильных облачных сред и распределённых систем хранения данных. Джей является автором более 30 научных и отраслевых статей, внося вклад в развитие кибербезопасности на стыке новых технологий.