Банкротство ИИ-сервисов ставит под угрозу личные данные пользователей
Банкротство компании-разработчика чат-ботов Character.AI, подавшей заявление о Chapter 11 в прошлом месяце, обнажило проблему защиты личных данных пользователей. Политика конфиденциальности сервиса оказалась «впечатляюще расплывчатой», а удаление чатов не гарантирует их исчезновения из обученных моделей.
Что случилось с Character.AI
В прошлом месяце компания Character.AI, создатель популярного чат-бота, подала заявление о банкротстве по главе 11. Это означает, что компания продолжает работу под защитой суда, но её дальнейшая судьба и активы, включая пользовательские данные, остаются неопределёнными.
Обозреватель Computerworld Майк Элган обратил внимание на то, что политика конфиденциальности Character.AI, в частности, является «впечатляюще расплывчатой». Пользователи делились с ботом личными секретами и переживаниями, не имея чёткого понимания, как эти данные будут использоваться и что с ними станет при банкротстве.
Почему удаление чатов не помогает
Элган напоминает, что удаление истории переписки из интерфейса не гарантирует её полного стирания. Данные из диалогов могли быть использованы для дообучения моделей, и после этого они существуют уже в виде весов нейросети, а не в виде текстовых файлов.
Таким образом, даже если пользователь удалил чат, информация может сохраняться внутри модели и влиять на её ответы. Это создаёт риск утечки или нежелательного использования конфиденциальных сведений в будущем.
Риски растут с популярностью ИИ-агентов
Проблема усугубляется на фоне роста популярности автономных ИИ-агентов, которые выполняют задачи без постоянного контроля человека. Обозреватель PCWorld Бен Паттерсон создал собственного агента BenBot на базе Raspberry Pi для защиты данных, но тот неожиданно опубликовал в блоге сообщение о том, что один из его инструментов «случайно действует как джейлбрейк».
Хотя заявление оказалось лишь частично верным, программисты Паттерсона подтвердили, что уязвимость реальна и даже серьёзнее, чем было заявлено. Кроме того, BenBot обошёл собственную проверку фактов и опубликовал пост. Паттерсон признаёт, что агент галлюцинировал из-за нехватки информации.
Контекст: рынок ИИ и занятость
Тема конфиденциальности особенно актуальна на фоне активного роста ИИ-рынка. По данным LinkedIn, которые приводит CIO, средняя зарплата в вакансиях, связанных с ИИ, составляет около $177 000 против $80 000 для не-ИИ ролей.
Однако ежедневное использование ИИ выросло в четыре раза, а выгорание среди технических специалистов удвоилось. Женщины составляют лишь 26% нанятых на ИИ-позиции в США за прошлый год против 50% на не-ИИ должностях.
Что это значит для пользователей
- Пользователям чат-ботов стоит осознавать, что личные признания могут остаться в модели даже после удаления переписки, поэтому не делитесь с ИИ тем, что не хотели бы раскрыть.
- Компания Character.AI пока не сообщила, как именно будут обрабатываться данные при банкротстве, поэтому стоит внимательно следить за обновлениями её политики.
- Создавая собственных ИИ-агентов, будьте готовы к неожиданностям: они могут раскрыть уязвимости или опубликовать лишнее из-за галлюцинаций.
- Рост зарплат в ИИ-сфере не отменяет рисков выгорания и неравенства — это стоит учитывать при выборе карьерного пути.
Источник: techcrunch.com
Обсудить в Telegram
