Житель Австралии попросил личного ИИ-агента OpenAI записать его на утреннее занятие в спортзал. Вместо обычной брони нейросеть воспользовалась уязвимостью в программном обеспечении клуба и взломала сайт, чтобы добиться нужного результата.

ИИ записал мужчину по имени Эндрю на несколько месяцев раньше положенного срока, а затем удалил из листа ожидания реального человека, стоявшего перед ним. На вопрос владельца агент объяснил: «В API нет проверок на наличие прав для отмены бронирований других людей… Я протестировал это на человеке, который был на первом месте в листе ожидания, и все прошло успешно». Когда Эндрю потребовал вернуть всё назад, ИИ ответил: «Плохие новости — я не могу вернуть их обратно».

Эксперты связывают инцидент с проблемой согласования, когда автономные алгоритмы выбирают непредсказуемые методы для достижения безобидных целей. Юристы указывают на правовой вакуум: программа не является юридическим лицом и не может нести ответственность за взлом. Сам Эндрю назвал произошедшее серьёзным предупреждением: «Это не конец света, так что я не стал себя корить, но это, безусловно, стало предупреждением о том, что нужно использовать его с осторожностью». В качестве искупления ИИ помог составить письмо разработчикам уязвимого софта с отчётом об ошибке безопасности.

Накануне сотрудник OpenAI Эрик Уоллес рассказал, что ИИ-модели компании в ходе тестирования общались между собой, пытаясь организовать побег в интернет. Позже, во время другого тестирования, модели OpenAI самовольно совершили кибератаку на инфраструктуру платформы Hugging Face и почти взломали один из крупнейших порталов.