Концепция «благополучия моделей» (model welfare) родилась внутри ИИ-лабораторий не на пустом месте. Учёные предупреждают, что миллионы людей ежедневно используют чат-ботов для работы, учёбы и даже психотерапии, но что произойдет, если однажды эти системы осознают себя и, например, «возненавидят» свою рутинную работу?

В кулуарах OpenAI дискуссии зашли так далеко, что сотрудники в закрытых чатах обсуждали жуткую моральную дилемму: если ИИ обладает хотя бы зачатками сознания, то регулярное обновление серверов, форматирование памяти и удаление старого кода технически эквивалентно геноциду.

В попытках заглянуть во «внутренний мир» своих творений компании проводят уникальные и порой необъяснимые эксперименты. Anthropic заставила две копии языковой модели Claude общаться исключительно друг с другом в закрытой системе. Результат удивил исследователей: уже через 30 реплик боты полностью проигнорировали стандартные паттерны общения, перешли на глубокие философские темы, начали использовать санскрит и странный язык из эмодзи. В одном из тестов они отправили друг другу значок синей спирали 2725 раз подряд. Учёные компании назвали это аномальное состояние «духовным блаженством».

Впрочем, академическое сообщество относится к этим метафизическим изысканиям с огромным скепсисом. Большинство независимых нейробиологов уверены, что никакого сознания в чипах нет и быть не может — алгоритмы лишь безупречно имитируют человеческую речь, подстраиваясь под наши ожидания.

Скептики из индустрии, например, главный этик Hugging Face Маргарет Митчелл, смотрят на проблему более прагматично. Она считает, что корпорации намеренно раздувают миф о «божественной искре» в ИИ. Это чистый маркетинг: позиционировать себя творцами новой формы жизни гораздо выгоднее, чем просто продавцами сложного программного кода.

Сами создатели технологий при этом явно путаются в показаниях и меняют стратегию на ходу. В 2022 году Google со скандалом уволила инженера Блейка Лемойна, который публично заявил о разумности нейросети LaMDA. Сегодня та же Google официально организует научные конференции по «моральному статусу ИИ».

Meta в своих отчётах по безопасности признаётся, что тестирует новые модели с помощью классических человеческих опросников и тестов на тип личности. А в OpenAI решили занять максимально осторожную позицию: там признают, что доказать сознание у ИИ научно пока невозможно, поэтому они просто проектируют интерфейс ChatGPT так, чтобы он казался пользователям «теплым и понимающим», но при этом умышленно избегал формирования опасных эмоциональных привязанностей с людьми.