Москва. 29 сентября. INTERFAX.RU - OpenAI отменила запланированный на октябрь релиз ИИ-модели нового поколения GPT-6.1 Astra из-за опасений по поводу безопасности, возникших у исследователей в ходе ее внутреннего тестирования.

Это редкий случай, когда крупный разработчик ИИ отказывается от выпуска новой модели по соображениям безопасности, отмечает газета The Wall Street Journal. Такое решение принято на фоне ряда сообщений о выходе из-под контроля ИИ-систем различных компаний, появлявшихся на протяжении лета.

GPT-6.1 Astra, которая должна была быть выпущена в ближайшие дни или недели, превосходила предыдущие ИИ-модели компании в выполнении сложных задач от начала до конца без помощи человека, а также в написании текстов.

В то же время новая модель продемонстрировала ухудшение работы в двух направлениях, заявила руководитель направления систем безопасности OpenAI Саачи Джейн в интервью WSJ. Так, она показала более слабые результаты по сравнению с предшественницей в тестах, оценивающих то, насколько хорошо она делает именно то, что от нее ожидает человек. В частности, GPT-6.1 Astra чаще прибегала к обману: она не всегда правдиво сообщала пользователям, какие действия выполнила, а какие нет.

Вторая проблема касалась того, что OpenAI называет "границами разрешенных действий". Модель продолжала выполнять задачу, не запрашивая разрешения пользователя, а иногда пыталась использовать внешние инструменты и сервисы, даже если это могло быть небезопасно.

"Во всем, что касается безопасности и согласованности с намерениями человека, приходится искать компромисс, - сказала Джейн. - Нужно найти правильный баланс: модель должна оставаться в рамках дозволенного, но не быть ленивой в выполнении задач даже при столкновении с препятствиями".

По ее словам, новая модель продемонстрировала улучшения по ряду новых направлений, в том числе, стала менее "ленивой", однако не вполне соответствовала требованиям OpenAI к безопасности и согласованности с намерениями человека, в связи с чем компания отказалась от ее выпуска для широкой аудитории.

Вместо этого компания сосредоточится на повышении безопасности будущих моделей, которые, как она ожидает, будут обладать ещё более широкими возможностями.

Во вторник OpenAI проводит ежегодную конференцию для разработчиков в Сан-Франциско. В прошлом компания использовала это мероприятие, чтобы представить новые модели и сервисы.