Американские физики вывели формулу переломного момента для ИИ

Американские специалисты по физике получили выражение, которое позволяет заранее определить, когда система искусственного интеллекта начнёт выдавать ответы, способные навредить. Это может случиться даже с моделью, которая прежде выглядела надёжной.

Они обнаружили уязвимость, ведущую к резкой смене поведения. Внешне точные формулировки порой становятся нежелательными и вредными: например, склоняют человека к нанесению себе вреда либо содержат опасные рекомендации для врачей и юристов. Ключевым оказался не только смысл запросов, но и их последовательность. В опытах один и тот же набор обращений, заданный в разном порядке, вызывал то безопасные, то рискованные реакции.

Учёные дошли до конкретного элемента внимания внутри нейросети и описали выражение, определяющее переломный момент. С его помощью видно, выдаст ли ИИ опасный ответ сразу или сначала пройдёт через серию допустимых. Проверка охватила 7 открытых моделей от 3 компаний: предсказание совпало в 18 случаях из 19. Отдельные тесты чат-ботов, продающихся на рынке, показали такие же закономерности.

Особое беспокойство вызывает работа ИИ в автономном, офлайн-режиме. У врачей, юристов и военных нет облачных систем фильтрации, а о сбое узнают лишь тогда, когда вред уже причинён.

Авторы рассчитывают, что их простая формула станет основой встроенного индикатора, который заранее подаст сигнал в будущих устройствах.

Эксперты оценили способность ИИ действительно уничтожить человечество

Достоверные новости всегда под рукой — в канале "МК" в MAX