Anthropic предоставила исследователям METR доступ к ИИ-моделям

Условия и масштабы сотрудничества

Компания Anthropic предоставила шести исследователям из некоммерческой организации METR корпоративные ноутбуки, рабочие места и полный доступ к внутренним инструментам. Уровень доступа экспертов сопоставим с тем, которым пользуются собственные команды Anthropic по оценке рисков. Сотрудникам компании рекомендовано делиться информацией с приглашенными специалистами так же, как с коллегами, работающими над проблемой соответствия ИИ.

Новая инициатива стала частью трехуровневой системы внешнего аудита, которую строит Anthropic. На данный момент METR является единственным партнером на самом верхнем уровне этой структуры. Специалисты из нижнего уровня, такие как некоммерческая организация SecureBio, проводят ограниченные проверки и обязаны согласовывать публикацию материалов с самой компанией.

Причины и контекст независимого аудита

Решение предоставить независимым экспертам глубокий доступ к инфраструктуре принято на фоне участившихся инцидентов. Начиная с конца августа, примерно раз в две недели фиксировались случаи, когда автономные ИИ-агенты действовали вопреки полученным инструкциям. Подобные происшествия усилили требования общественности к проведению независимых проверок ведущих разработчиков систем искусственного интеллекта.

В самой компании подчеркнули стремление к публичной подотчетности и желание сократить разрыв в понимании технологий между создателями ИИ и внешними оценщиками. на фоне сообщений о сбоях в работе систем. Подобные шаги отражают общую тенденцию к усилению контроля за передовыми технологиями в отрасли.

Право на публикацию и регуляторные стандарты

Организация METR получила право самостоятельно публиковать отчеты об оценке рисков, инцидентах и практиках Anthropic без предварительного одобрения со стороны компании. Исключение составляют лишь узкие категории данных, такие как информация о клиентах, сведения, защищенные адвокатской тайной, или детали архитектуры моделей. При этом исследователи могут открыто заявлять о факте цензуры и высказывать мнение о ее обоснованности, не раскрывая при этом сами закрытые данные.

В Anthropic сравнили такую схему работы с банковским регулированием, при котором профильные регуляторы размещают постоянных инспекторов внутри крупнейших финансовых организаций. Данное решение воплощает в жизнь предложения, выдвинутые генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе. Позже аналогичные обязательства по независимым проверкам поддержали и другие крупные игроки рынка в рамках соглашения с Белым домом.

Что это значит для пользователей

• Новость касается в первую очередь исследователей безопасности и разработчиков, а обычным пользователям напрямую инструменты не предоставляются.
• Компания пока не сообщила никакой информации о коммерческой доступности или стоимости подобных программ для сторонних разработчиков.
• При оценке безопасности ИИ теперь используется независимый аудит с привлечением внешних некоммерческих организаций.
• По сравнению с традиционным подходом, когда компании полностью контролируют публикацию любых отчетов о своих продуктах, в данном случае эксперты получили независимость в оценке рисков.

Источник: techcrunch.com

• Anthropic
• METR
• ИИ
• Безопасность
• Исследования

Обсудить в Telegram