Глава Microsoft Сатья Наделла призвал считать все ИИ-модели скомпрометированными
Глава Microsoft Сатья Наделла опубликовал заявление о рисках продвинутых систем искусственного интеллекта и предложил кардинально изменить подход к безопасности нейросетей.
Отказ от принципа черного ящика
Глава Microsoft Сатья Наделла выступил с заявлением в социальной сети X, где изложил свое видение угроз со стороны высокоразвитых искусственных интеллектов. Он отметил, что индустрия больше не может мириться с положением дел, при котором нейросети работают по принципу набора вложенных черных ящиков. В такой системе пользователи и разработчики просто принимают или отвергают готовые советы и действия алгоритмов без понимания внутренней логики.
Вместо слепого доверия топ-менеджер призвал выстроить более прозрачную архитектуру. По его задумке, современные модели должны поддаваться изоляции, наблюдению и оставлять после себя защищенные от подделок логические следы, понятные человеку.
Презумпция взлома и экстренный тормоз
Главным тезисом выступления стало предложение исходить из изначальной уязвимости технологий. Наделла настаивает, что индустрия должна презумптивно считать любые ИИ-модели скомпрометированными прямо с момента запуска.
Для контроля за такими системами предлагается использовать концепцию экстренного тормоза. Уполномоченный сотрудник должен иметь возможность в любой момент остановить работу модели или полностью выключить ее прямо посреди выполнения задачи. Развитие более продвинутых алгоритмов потребует создания стандартизированных и сложных технологий сдерживания.
Стандарты безопасности и контекст
Многие из предложенных мер перекликаются с инициативами других игроков на рынке искусственного интеллекта. Речь идет о своевременном раскрытии инцидентов безопасности, независимых аудитах, использовании проверяемых данных и строгой изоляции алгоритмов. При этом позиция Microsoft в отношении презумпции взлома и жесткого сдерживания идет несколько дальше того, о чем заявляют некоторые коллеги по отрасли.
В своих рассуждениях руководитель корпорации неоднократно использовал термин "суперинтеллект" для описания перспективных технологий. Ранее, 9 октября 2026 года, компания уже активно развивала экосистему умных помощников, открыв доступ к Copilot участникам семейной подписки.
Что это значит для пользователей
- Новые стандарты безопасности и презумпция скомпрометированности касаются в первую очередь разработчиков и корпоративных заказчиков передовых ИИ-систем.
- В опубликованном материале компания не сообщила конкретных сроков внедрения экстренных тормозов и точной стоимости разработки таких стандартов для сторонних клиентов.
- Обычным пользователям стоит обратить внимание на то, что даже разработчики крупнейших технологических гигантов признают потенциальную непредсказуемость и уязвимость современных нейросетей.
- По сравнению с традиционным подходом абсолютного доверия к рекомендациям алгоритмов, концепция Наделлы предполагает постоянный жесткий контроль и право человека прервать работу ИИ в любой момент.
Источник: theverge.com
Обсудить в Telegram
