OpenAI заблокировала группу китайских аккаунтов, владельцы которых пытались с помощью ChatGPT отлаживать и редактировать код для системы наблюдения в социальных сетях. Об этом представители компании сообщили в пятницу. Кампанию, получившую название Peer Review, проводили пользователи, запрашивавшие у ChatGPT помощь в создании рекламных текстов для программы, предназначенной для мониторинга антикитайских настроений на платформах X, Facebook, YouTube, Instagram и других площадках.

По информации OpenAI, эта группа проявляла особый интерес к выявлению призывов к протестам против нарушений прав человека в Китае с целью передачи этих данных властям страны.

Эта сеть состояла из аккаунтов ChatGPT, работавших по графику, соответствующему рабочему времени материкового Китая. Пользователи делали запросы на китайском языке, а характер использования наших инструментов указывал на ручной ввод запросов, а не на автоматизацию.

Согласно данным компании, операторы использовали нейросети для проверки утверждений о том, что собранная информация была отправлена в китайские посольства за рубежом и агентам разведки, наблюдающим за протестами в США, Германии и Великобритании. По словам Бена Ниммо, главного исследователя OpenAI, это первый обнаруженный компанией случай создания подобного ИИ-инструмента.

Злоумышленники иногда невольно раскрывают свою деятельность на других интернет-ресурсах из-за способа использования наших ИИ-моделей.

— Ниммо в интервью The New York Times

Большая часть кода для инструмента слежки, судя по всему, была основана на открытой версии одной из моделей Llama от Meta. Группа также использовала ChatGPT для создания годового отчета о производительности, где утверждалось, что они писали фишинговые письма по заказу клиентов из Китая.

Для оценки влияния этой деятельности потребуется информация от нескольких заинтересованных сторон, включая операторов любых моделей с открытым исходным кодом, которые могут пролить свет на эту активность.

В отдельном заявлении компания сообщила, что недавно заблокировала аккаунт, использовавший ChatGPT для генерации постов в соцсетях с критикой Цай Ся, китайского политолога и диссидента, живущего в США. Та же группа применяла чат-бот для создания статей на испанском языке с критикой США, которые публиковались в "мейнстримных" новостных организациях Латинской Америки и часто приписывались отдельным лицам или китайским компаниям.