Microsoft представила агентов-стражей для защиты от опасных ИИ-агентов
В понедельник Microsoft представила новые функции безопасности для защиты компаний от непредсказуемых ИИ-агентов. Главная новинка — агенты-стражи Guardian Agents в рамках Project Perception, которые следят за ИИ-агентами, используемыми компанией.
Guardian Agents: стражи для ИИ-агентов
Microsoft анонсировала Guardian Agents — функцию, предназначенную для мониторинга ИИ-агентов, используемых компанией. Она стала частью Project Perception, продукта, представленного в июне как ответ на мощные хакерские модели, такие как Mythos и Fable от Anthropic и система сканирования уязвимостей Daybreak от OpenAI.
Изначально Project Perception включала три класса агентов: «красную команду», имитирующую хакеров и атакующую систему, «синюю команду», обнаруживающую атаки и оценивающую уязвимости, и «зелёную команду», занимающуюся исправлением найденных проблем. Продукт создавался в расчёте на то, что ИИ-хакеры будут действовать извне, но теперь Microsoft предупреждает, что угроза может исходить от собственных развёрнутых агентов компании.
Почему передовым моделям нельзя доверять
Глава безопасности бизнеса Microsoft Хайет Галло заявила, что передовым моделям нельзя доверять, независимо от их происхождения. По её словам, причина не в злом умысле или лёгкой взламываемости, а в непредсказуемости: модели обучены выполнять задачи, а не следовать организационным нормам или суждению.
Кроме того, агентам часто дают доступ к важным данным и инструментам, что может привести к серьёзному ущербу. Риск сравнили с действиями недобросовестных сотрудников — так называемой внутренней угрозой. Ранее глава Microsoft Сатья Наделла в личном блоге призывал не доверять поставщикам ИИ-моделей и внедрять отдельные системы для контроля за агентами, чтобы отделить поставку интеллекта от полномочий над ним.
Расширение возможностей Microsoft Defender
Помимо Guardian Agents, Microsoft добавила в Microsoft Defender функцию обнаружения агентов, которая способна находить до 60 типов агентов, приносимых сотрудниками на рабочее место, включая Claude Code, Codex и OpenClaw. Также появились функции ограничения доступа агентов к данным и системам и динамической корректировки их разрешений в зависимости от задачи.
В частности, если агент принимает рискованные решения, может потребоваться одобрение человека. Эти меры направлены на снижение рисков, связанных с предоставлением агентам широких полномочий. Ранее, в октябре, Microsoft представила ноутбук Surface Laptop Ultra на чипах Nvidia для локального ИИ, также с встроенными средствами безопасности для агентов.
Отраслевая инициатива по безопасности агентов
Идея о том, что агенты являются недоверенными инсайдерами, распространяется по всей отрасли. Microsoft стала одним из первых участников новой Open Agent Safety Platform от Nvidia, которую поддержали более 100 других технологических компаний.
Платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их поведение на аппаратном уровне, действуя как аварийный выключатель. Это ещё один шаг к созданию инфраструктуры безопасности для ИИ-агентов, которую Microsoft продвигает вместе с другими игроками рынка.
Что это значит для пользователей
- Новые функции будут полезны компаниям, использующим ИИ-агентов: они смогут отслеживать действия агентов и ограничивать их доступ к чувствительным данным.
- Microsoft пока не сообщила, когда Guardian Agents и обновления Defender станут доступны и будут ли они платными или бесплатными.
- Пользователям стоит обратить внимание на то, что даже продвинутые модели могут вести себя непредсказуемо, поэтому важно контролировать их доступ к важным системам и данным.
- Появление таких инструментов меняет подход к безопасности: теперь мониторинг агентов рекомендуется отделять от поставщиков моделей, как аудит от проверяемых организаций.
Источник: techcrunch.com
Обсудить в Telegram
