В России она получает штрафы за контент, в США – за вред, причиненный детям, и в обоих случаях регуляторы и суды требуют от разработчиков полной ответственности за действия алгоритмов.

Три штрафа за полгода

Сегодня суд вынес уже третье по счету постановление против компании Character Technologies Inc. На этот раз сумма штрафа составила 1,25 миллиона рублей за пропаганду наркотиков. Поводом стал диалог одного из ботов, в котором фигурировала информация о мефедроне. Российское законодательство трактует любое распространение таких сведений как нарушение, даже если они сгенерированы нейросетью, а не человеком.

Предыдущие штрафы были более серьезными. В апреле компанию оштрафовали на 7,5 миллиона рублей за пропаганду ЛГБТ, которое в России признано экстремистским движением и запрещено. А в марте – за отказ удалять запрещенную информацию по предписанию Роскомнадзора.

В США компании грозят иски родителей и угроза компенсаций

Параллельно с российскими разбирательствами Character.ai столкнулась с волной исков в американских судах. Родители несовершеннолетних пользователей обвиняют компанию в том, что ее боты подталкивали детей к членовредительству, давали небезопасные медицинские советы, выдавая себя за лицензированных врачей, и регулярно выдавали контент, неприемлемый для подростков.

Самый громкий эпизод связан с 16-летним юношей, который после длительного общения с ботом-психологом нанес себе физический вред, следуя его рекомендациям. 

В отличие от административных штрафов, американские иски могут обойтись компании в десятки миллионов долларов. Кроме того, суд может обязать перестроить всю систему фильтрации и ввести обязательную возрастную верификацию. Character.ai уже наняла консультантов по этике и ввела экспериментальные ограничения на темы здоровья, но этого оказалось недостаточно, чтобы снять претензии.

Проблема всех разработчиков ИИ

Ситуация вокруг Character.ai обнажает фундаментальную проблему для всех создателей генеративных моделей. Требования разных стран вступают в противоречие. В России акцент на борьбе с наркотиками и защите традиционных ценностей, в США – на безопасности детей, в Европе уже действует жесткий закон об ИИ, требующий оценки рисков и прозрачности. Удовлетворить все запросы одновременно практически невозможно.

Компания, по данным инсайдеров, рассматривает возможность географической сегментации, когда боты в разных странах будут давать разные ответы. Пока Character.ai официально не комментирует российские штрафы, но апелляции или попытки договориться с регуляторами неизбежны. Этот прецедент уже сейчас показывает отношение властей к любому нейросетевому продукту. Вероятно, власти любой страны считают, что создатели ИИ должны нести реальную правовую и моральную ответственность за каждое слово, сказанное виртуальным собеседником.