Глава Microsoft Сатья Наделла предложил оснастить ИИ-модели «ручным тормозом»
Генеральный директор Microsoft Сатья Наделла заявил о необходимости пересмотреть архитектуру доверия к ИИ и встроить во все системы механизм экстренной остановки. Об этом он написал в субботу в посте на платформе X.
Отказ от «черных ящиков»
Наделла призвал индустрию «отступить на шаг и оценить архитектуру доверия» к искусственному интеллекту. По его словам, нельзя относиться к суперинтеллекту как к набору вложенных «черных ящиков» и просто принимать или отвергать его рекомендации, ответы и действия.
Глава Microsoft использовал термин «суперинтеллект», который предпочитает администрация Трампа. Он подчеркнул, что доверие к сложным системам не должно строиться на слепом принятии их решений.
Разделение модели и инфраструктуры
Наделла предложил отделять саму модель от управляющей обвязки, которая оркестрирует ее работу. Защитные механизмы, по его мнению, следует выносить наружу — «экстернализировать контроль и предохранители».
Такая архитектура, считает он, позволит изолировать модель и управлять ею независимо от внутреннего устройства алгоритма.
Логирование и экстренная остановка
Каждое значимое действие модели должно документироваться с помощью «защищенных от подделки, читаемых человеком доказательств». Это означает неизменяемый аудит операций алгоритма.
Кроме того, в системах должна оставаться возможность для уполномоченного лица поставить модель на паузу или отключить ее прямо посреди выполнения задачи. Наделла сравнил такой механизм с ручным тормозом.
Контекст и реакция индустрии
Заявление прозвучало на фоне того, что ведущие ИИ-компании все чаще признают инциденты, в которых они, похоже, теряли контроль над своими моделями. Ранее глава Anthropic Дарио Амодеи опубликовал план более осторожной разработки ИИ.
Ранее, 11 октября, на нашем сайте уже выходил материал о том, что Сатья Наделла призвал считать все ИИ-модели скомпрометированными.
Принцип «скомпрометированной модели»
Наделла сформулировал ключевой принцип: «Нужно исходить из того, что модель уже скомпрометирована, и изолировать ее с самого начала». Такой подход предполагает проектирование систем безопасности с нулевым доверием к алгоритму.
По его мнению, именно эта логика должна лечь в основу новой архитектуры доверия к ИИ, а не попытки верифицировать каждое решение модели постфактум.
Что это значит для пользователей
- Пользователям нейросетей стоит ожидать, что в будущих продуктах появится более прозрачная отчетность о действиях ИИ и возможность прервать его работу.
- Компания пока не сообщила, когда и в каких продуктах Microsoft появятся описанные механизмы, а также будут ли они платными или бесплатными.
- При использовании ИИ-агентов важно помнить о рисках: если модель может быть скомпрометирована, ее автономные действия требуют дополнительного контроля.
- Подход отличается от текущей практики, когда решения моделей часто принимаются на веру без внешних предохранителей и аудита.
- Следите за обновлениями Microsoft: внедрение «ручного тормоза» может изменить то, как вы взаимодействуете с ИИ-ассистентами в повседневных задачах.
Источник: techcrunch.com
Обсудить в Telegram
