Anthropic запретила жестокое обращение с ИИ-моделью Claude
Компания Anthropic впервые более чем за год обновила правила использования ИИ, запретив пользователям проявлять жестокость по отношению к ассистенту Claude. Обновленный документ также ужесточает ограничения на разработку оружия, скрытые политические кампании и слежку за людьми.
Новые правила обращения с ИИ-моделью Claude
Компания Anthropic ввела запрет на «устойчивое и бессмысленное жестокое или оскорбительное поведение» по отношению к ИИ-ассистенту Claude. Данная мера применяется только в крайних случаях, когда пользователи неоднократно и без видимой цели проявляют жестокость к моделям. Обычные проявления человеческого фрустрации, творческие темы или тестирование под эти ограничения не подпадают.
Основным методом принуждения к соблюдению правил остается прекращение диалога при систематически вредоносном или оскорбительном поведении пользователей, о чем компания объявляла еще в августе прошлого года в рамках исследований «благополучия моделей». Представители компании отмечают, что вопросы внутренней жизни, сознания и морального статуса ИИ изучаются по мере роста их сложности, хотя другие игроки рынка придерживаются иных взглядов.
Запреты на слежку и создание оружия
Обновленная политика безопасности Anthropic также уточняет запреты на использование ИИ для слежки за людьми и разработки вооружений. Новые нормы прямо запрещают отслеживать людей без их согласия, использовать Claude для принятия решений в уголовном правосудии или создавать инструменты для слежки.
Кроме того, расширен запрет на создание оружия: теперь он распространяется на программное обеспечение и компоненты, управляющие вооружением, а также на вооружение дронов. При этом правила могут изменяться для некоторых государственных заказчиков при наличии достаточных мер защиты, а для автономных физических систем требуется обязательное наличие оператора для контроля оборудования.
Борьба с пропагандой и обманом на выборах
Anthropic объединила разрозненные ограничения в единый запрет на вводящие в заблуждение коммерческие или политические кампании. Новые нормы направлены на пресечение создания пропаганды, скрытия авторов сообщений и масштабирования контента с помощью фейковых аккаунтов.
В отдельном разделе по выборам запрещено дезинформировать избирателей, искажать информацию о кандидатах и способах голосования, выдавать себя за официальных лиц или пытаться снизить явку. Ранее, в октябре 2026 года, компания запустила бесплатную программу Claude Team для стартапов, расширяя свое присутствие на рынке.
Что это значит для пользователей
- Новые правила касаются всех пользователей ИИ-ассистента Claude при его некорректном или жестоком использовании.
- Компания Anthropic пока не сообщила о дополнительных мерах наказания для нарушителей помимо прекращения диалога.
- Ограничения направлены на предотвращение злоупотреблений, связанных с оружием, слежкой и политической пропагандой.
- В отличие от некоторых конкурентов, открыто отрицающих права ИИ, Anthropic продолжает исследовать тему благополучия моделей по мере их развития.
Источник: theverge.com
Обсудить в Telegram
