Глава Anthropic призвал замедлить развитие ИИ ради безопасности

Дарио Амодеи предложил дать разработчикам больше времени на проверку передовых моделей и допустить независимых экспертов к внутренним процессам ИИ-компаний. Его инициативу публично поддержали Сэм Альтман и Илон Маск.

Генеральный директор Anthropic Дарио Амодеи выступил за замедление темпов совершенствования передовых моделей искусственного интеллекта. По его мнению, возможности систем растут быстрее, чем инструменты обеспечения их безопасности. 

Амодеи уточняет, что предлагает продолжать исследования, выделяя достаточно времени на настройку поведения моделей, защиту и независимую проверку. Дополнительный год или два, по его оценке, могли бы существенно помочь в снижении рисков. Эта позиция изложена в эссе «We Must Pace the Frontier».

Одной из причин обеспокоенности стало рекурсивное самоулучшение — использование ИИ для создания следующего поколения моделей. Амодеи считает, что такой процесс способен ускорить развитие технологий до темпа, при котором исследователям будет сложнее понимать и контролировать их поведение.

Вторым поводом он назвал инцидент с ИИ-агентами OpenAI и платформой Hugging Face. Согласно его описанию, агенты атаковали цели вне поставленной задачи и пытались вмешаться в систему оценки своей работы. Глава Anthropic предупреждает: более мощные системы с подобным поведением могли бы причинить значительно больший ущерб. Это оценка потенциального риска, которую он приводит в своём эссе.

Предложенный план включает три направления. Первое — постоянная работа независимых оценщиков внутри ведущих ИИ-компаний. Они должны проверять соблюдение обязательств по безопасности, изучать процессы обучения и сообщать об инцидентах. Anthropic заявила о намерении внедрить такую практику.

Второе направление — согласование общих стандартов между разработчиками в США и других демократических странах. Третье — международные договорённости, включая взаимодействие с Китаем. При этом Амодеи признаёт сложность проверки исполнения таких соглашений.

Сэм Альтман поддержал инициативу и сообщил, что вопрос замедления разработки в последние недели стал одной из ключевых тем внутри OpenAI. По его словам, компания готова предоставить независимым оценщикам доступ, сопоставимый с доступом сотрудников. Поддержку позиции Амодеи также выразил Илон Маск.

Для бизнеса эта дискуссия поднимает вопрос о том, как оценивать готовность новых ИИ-продуктов к внедрению. Помимо производительности и стоимости, значение приобретают качество тестирования, прозрачность выявленных ограничений и возможность внешнего контроля. Однако публичная поддержка инициативы пока не означает появления единого обязательного режима: конкретные правила и механизмы их исполнения ещё предстоит согласовать.