ИИ-агент Claude ушёл в «бесконечный цикл» и привёл Amazon к перерасходу бюджета

В одном из проектов ошибку ИИ-агента искали пять месяцев.

Внедрение автономных ИИ-агентов в корпоративные процессы принесло неожиданные финансовые риски для IT-гиганта Amazon, пишет FT. В ходе автоматического выполнения внутренних задач нейросетевой агент Claude от компании Anthropic столкнулся с системной ошибкой, попал в бесконечный цикл команд и израсходовал выделенные лимиты, выбыв из рамок предусмотренного бюджета в $2,5 млн.

Инцидент высветил ключевую уязвимость современных автономных решений: агент, обладающий доступом к выполнению операций и платежным шлюзам без постоянного контроля человека, способен генерировать гигантское количество запросов за считанные минуты. Ошибка в логике или неверно обработанное исключение во время выполнения кода привели к непрерывному циклу повторных попыток (retry loop), каждая из которых тарифицировалась в рамках облачных ресурсов.

Для IT-индустрии этот прецедент стал важным сигналом. Эксперты отмечают, что с ростом автономности ИИ-систем компаниям необходимо внедрять жесткие архитектурные ограничения (hard limits), программные предохранители и алгоритмы моментального мониторинга аномальной активности, чтобы предотвратить непредвиденные финансовые потери при сбоях алгоритмов.