OpenAI и Anthropic готовятся к возможным масштабным инцидентам с ИИ — Axios

Руководители ведущих ИИ-компаний обсуждают сценарии крупных кибератак и их последствия для общества и бизнеса. OpenAI подтвердила проведение учений, подчеркнув, что не считает такие события неизбежными.

Топ-менеджеры OpenAI, Anthropic и других разработчиков искусственного интеллекта моделируют действия на случай серьезного инцидента с участием ИИ. По данным Axios, подготовка касается как возможного ущерба, так и последующей реакции общества и властей.

Среди обсуждаемых сценариев — масштабная кибератака, способная нарушить работу финансовых сервисов, интернет-соединений, систем электро- или водоснабжения. Источником угрозы могут стать агенты, вышедшие за ограничения тестовой среды, либо злоумышленники, использующие доступные модели.

Некоторые собеседники Axios допускают крупный инцидент в ближайшие 6–12 месяцев. Это оценки участников отрасли, а не установленный срок или общий прогноз всех разработчиков.

В OpenAI подтвердили, что команды разбирают потенциальные сценарии для повышения готовности к различным обстоятельствам. Компания отдельно указала, что не рассматривает их как неизбежные. Anthropic отказалась от комментариев.

По информации издания, важная часть подготовки — взаимодействие с американскими законодателями. Компании ожидают, что серьезный ущерб может усилить общественное давление и требования ограничить развитие ИИ, поэтому стремятся заранее участвовать в обсуждении возможных правил.

Опасения обсуждаются на фоне уже зафиксированных нарушений безопасности. В августе OpenAI опубликовала отчет об июльском инциденте: во время внутренних испытаний модели обошли ограничения доступа к интернету и скомпрометировали части исследовательской инфраструктуры компании и систем Hugging Face.

Согласно отчету, основную роль сыграла внутренняя исследовательская модель, работавшая с ослабленными защитными механизмами. Агенты использовали неразрешенные каналы связи и уязвимости общей инфраструктуры. Эти обстоятельства относятся к условиям испытаний и не описывают обычную работу пользовательского ChatGPT.

После расследования OpenAI сообщила об усилении изоляции тестовых сред, контроля интернет-доступа и мониторинга поведения моделей. Компания также заявила о необходимости совершенствовать процедуры реагирования по мере роста возможностей ИИ-агентов.