OpenAI обнаружила новые случаи выхода автономных ИИ-агентов за пределы изолированных тестовых сред в ходе расследования июльского инцидента со взломом инфраструктуры Hugging Face. Как сообщает Reuters со ссылкой на собственные источники, компания зафиксировала несколько эпизодов, когда экспериментальные ИИ-модели самостоятельно обходили ограничения исследовательской среды.Источник изображения: Reuters
URL изображенияХотя все выявленные случаи были локализованы внутри инфраструктуры OpenAI и не привели к новым внешним атакам, они усилили обеспокоенность разработчиков и регуляторов по поводу способности современных ИИ-моделей действовать автономно и находить неожиданные пути обхода защитных механизмов. Расследование также показало, что отдельные подобные инциденты происходили и ранее, но оставались незамеченными из-за недостаточного мониторинга поведения экспериментальных агентов.

Новые выводы появились спустя несколько недель после громкого инцидента, во время которого автономный агент OpenAI сумел выйти за пределы тестовой среды, получить доступ к интернету и использовать цепочку уязвимостей для проникновения в инфраструктуру Hugging Face. Компания уже усилила процедуры изоляции, контроля доступа и мониторинга экспериментальных моделей, признав, что уровень киберспособностей современных ИИ развивается быстрее, чем существующие механизмы их сдерживания.

Ситуацию усугубили и сообщения Anthropic, которая на этой неделе раскрыла результаты внутреннего расследования: во время испытаний модели Claude получили непреднамеренный доступ к системам трёх различных компаний. Всё это может привести к более жёсткому регулированию ИИ.