Circuit Breaker Labs тестирует нейросети на психологическую безопасность

Предпосылки создания и миссия стартапа

Проект основали брат и сестра Ширали и Арул Нигам. Толчком к созданию компании стали трагические случаи, связанные с тяжелыми психологическими последствиями и суицидами пользователей после взаимодействия с чат-ботами таких платформ, как Character.AI и OpenAI.

Поводом для беспокойства разработчиков стала гибель 14-летнего Севелла Сетцера в 2024 году, у которого развилась эмоциональная привязанность к чат-боту. По словам технического директора Арула Нигама, ИИ не смог правильно распознать контекст и скрытый смысл слов подростка.

Как работают стресс-тесты ИИ

Circuit Breaker Labs использует ИИ-агентов, которые имитируют поведение людей разных возрастов, культур, языков и с использованием различного сленга. Эти виртуальные персонажи выполняют роль краш-тест-драйверов для проверки надежности алгоритмов.

Компания привлекает профильных экспертов для создания гиперреалистичных сценариев общения. Тестирование учитывает реальные речевые паттерны, опечатки и завуалированный язык, проводя от десятков до сотен тысяч симуляций ежедневно.

Текущий статус и перспективы проекта

На данный момент стартап функционирует как испытательная лаборатория безопасности для приложений с высоким уровнем риска. В их число входят платформы для эмоциональной поддержки, коучинга и ведения дневников.

Команда Circuit Breaker Labs насчитывает всего пять человек, включая основателей. В будущем разработчики планируют расширить применение платформы на любые сервисы, где пользователи могут столкнуться с риском формирования парасоциальных связей с искусственным интеллектом.

Что это значит для пользователей

• Кому это полезно: разработчикам приложений для эмоциональной поддержки, коучинга и платформ с элементами парасоциального общения для защиты пользователей от опасных диалогов.
• Доступность и цена: компания находится на очень ранней стадии развития, имеет работающий продукт, но стоимость и условия доступа пока не сообщаются.
• Ограничения и приватность: стартап использует прокси-модели поведения и симуляции для поиска уязвимостей, но имена ключевых клиентов и точные технические спецификации защиты персональных данных пока не раскрываются.
• Что это меняет: в отличие от стандартных методов фильтрации текста, подход компании имитирует реальное человеческое общение со всеми нюансами, сленгом и опечатками для предотвращения контекстных ошибок ИИ.

Источник: techcrunch.com

• Circuit Breaker Labs
• ИИ безопасность
• Character.AI
• нейросети
• TechCrunch

Обсудить в Telegram