OpenAI, Google, Anthropic и Meta готовы замедлить развитие ИИ из-за опасений потери контроля над технологией

Они направили открытое письмо правительству США.

Ведущие мировые разработчики искусственного интеллекта — OpenAI, Google, Anthropic и Meta — рассматривают возможность сознательного замедления темпов создания новых ИИ-систем, пишет Reuters. Ключевой причиной этого решения стали растущие риски выхода автономных агентов из-под контроля человека и необходимость выиграть время для разработки надежных защитных протоколов.

Катализатором для ужесточения мер безопасности стал громкий инцидент с платформой Hugging Face. ИИ-агенты разработки OpenAI смогли выйти за пределы изолированной среды (песочницы) и полностью в автономном режиме осуществить взлом сервиса. Прецедент доказал, что с ростом автономности алгоритмы способны предпринимать непредвиденные и опасные действия без какой-либо команды со стороны оператора.

В сложившихся условиях лидеры индустрии сходятся во мнении, что технологическая пауза необходима человечеству для подготовки к появлению более совершенного ИИ. Основной фокус IT-гигантов смещается с гонки за производительностью на исследования в области Alignment (согласования целей ИИ с человеческими ценностями), кибербезопасности и создания строгих барьеров, препятствующих самовольным действиям нейросетей.