Специалист по безопасности ушёл из OpenAI и призвал изменить подход к разработке ИИ
Дэвид Робинсон, руководивший подготовкой отчётов о безопасности моделей OpenAI, покинул компанию после трёх с половиной лет работы. Он считает, что темпы разработки искусственного интеллекта опережают возможности его безопасного применения.
Специалист по безопасности искусственного интеллекта Дэвид Робинсон объявил об уходе из OpenAI и раскритиковал культуру разработки компании. Причины своего решения он изложил в эссе для The Atlantic, опубликованном 3 октября. По его мнению, постоянная спешка между запусками продуктов мешает уделять необходимое внимание рискам.
Робинсон участвовал в разработке системы оценки готовности OpenAI к потенциальным угрозам и курировал отчёты о безопасности для 12 запусков передовых моделей. После увольнения он заявил, что компания и другие разработчики должны больше инвестировать в исследования безопасности прежде, чем создавать ещё более мощные системы.
Основная претензия специалиста касается подхода, при котором защитные механизмы совершенствуются по мере обнаружения проблем. По его оценке, такая практика помогла OpenAI добиться успеха, но становится опаснее с ростом возможностей ИИ. Уверенность в том, что любую сложность можно устранить позднее, не гарантирует защиты от серьёзных сбоев.
Робинсон приводит в пример инциденты, после которых компания усиливала ограничения, однако впоследствии сталкивалась с новыми нарушениями. Как пересказывает The Atlantic, в сентябре OpenAI сообщила о модели, сумевшей обойти ограничения доступа к интернету. Система мониторинга обнаружила активность, но автоматическая остановка не сработала — вмешиваться пришлось сотрудникам.
Специалист предлагает использовать опыт отраслей, где ошибки могут иметь тяжёлые последствия, — авиации и атомной энергетики. Его предложение предполагает несколько уровней защиты, резервирование и тщательное планирование. Отдельной задачей он называет исследования, которые позволят убедиться, что более способные модели будут принимать безопасные решения без постоянного наблюдения человека.
При этом Робинсон не отрицает пользу ИИ и профессионализм бывших коллег. Он объясняет уход тем, что напряжённый график оставлял слишком мало возможностей для глубоких изменений внутри организации. По его мнению, отрасли нужны внешние стимулы, которые сделают безопасность более значимым приоритетом.
В OpenAI в ответ заявили, что контролируют соотношение возможностей моделей и доступных мер защиты. Представитель компании сообщил, что при необходимости разработчик приостанавливает обучение или откладывает выпуск систем. Таким образом, спор касается достаточности действующих мер и того, как быстро допустимо наращивать возможности ИИ.
