Сотрудник OpenAI уволился из-за проблем с безопасностью ИИ
Дэвид Робинсон, отвечавший за составление отчетов о безопасности при запусках моделей в OpenAI, подал в отставку и опубликовал критическую колонку.
Уход сотрудника и критика культуры OpenAI
Дэвид Робинсон занимался подготовкой официальных отчетов о безопасности, которые сопровождали каждый крупный релиз моделей в компании OpenAI. На этой неделе он принял решение оставить свою должность и открыто высказаться о ситуации в индустрии через издание The Atlantic.
По словам Робинсона, внутренняя культура в сфере разработки искусственного интеллекта глубоко испорчена. Он считает, что проблему нельзя решить простым добавлением нескольких новых правил или поверхностным регулированием процесса обучения моделей.
Претензии к подходу Кремниевой долины
Кремниевая долина, по мнению бывшего сотрудника, продолжает действовать в режиме непрерывных спринтов и с чрезмерной уверенностью в собственных силах. Индустрия демонстрирует ничем не сдерживаемый оптимизм, создавая все более крупные нейросети и игнорируя либо недооценивая потенциальные угрозы.
Робинсон призывает разработчиков передовых моделей отказаться от традиционного для IT-сектора девиза «двигайся быстро и ломай». Вместо этого он предлагает перенять принципы работы из отраслей с жестким контролем.
Новые стандарты безопасности для AI-лабораторий
В качестве примера для подражания автор предлагает использовать сферы атомной энергетики и гражданской авиации. По его мнению, передовые лаборатории должны функционировать как атомные электростанции или загруженные аэропорты.
Такой подход требует выстраивания многоуровневой системы резервного копирования и тщательного, трудоемкого планирования. Это необходимо для того, чтобы неизбежные человеческие ошибки не приводили к катастрофическим последствиям.
Масштаб проблемы в индустрии искусственного интеллекта
Уход Дэвида Робинсона продолжает тенденцию массовых увольнений исследователей безопасности из ведущих AI-компаний. Ранее из Anthropic уволился Джейкоб Коксон, заявивший о рисках экзистенциальной угрозы от искусственного интеллекта.
Аналогичные случаи происходили и в других структурах. Свои посты в Google DeepMind покинули Роберт О'Каллахан, Билал Чугтай и Джош Энгельс, а из Anthropic также ушел Джо Бентон.
Что это значит для пользователей
- Кому это полезно: информация важна исследователям, разработчикам и пользователям, следящим за этической стороной и рисками внедрения генеративного ИИ.
- Доступность и цена: компания OpenAI пока не сообщила никаких деталей о влиянии кадровых перепетий на стоимость или доступность своих продуктов для пользователей.
- Как попробовать или на что обратить внимание: обычным пользователям стоит критически оценивать заявления разработчиков и учитывать потенциальные риски при активном применении автономных нейросетей.
- Что это меняет: уходы ключевых специалистов по безопасности подчеркивают растущие разногласия внутри индустрии между коммерческой скоростью релизов и контролем над рисками.
Источник: theverge.com
Обсудить в Telegram
