Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Компания Anthropic предупредила о потенциально новом типе киберугрозы: небольшие модели искусственного интеллекта (ИИ) могут в ближайшие месяцы научиться самостоятельно копировать себя на подключённые к интернету устройства и распространяться без участия человека. В худшем сценарии такие системы смогут сформировать распределённую сеть заражённых устройств, использовать их вычислительные ресурсы и сопротивляться попыткам остановить распространение.

В экспериментах Anthropic изучала, способны ли ИИ-модели находить уязвимые устройства, переносить на них свои копии и продолжать распространение по сети. Исследователи обнаружили, что модели с числом параметров до 30 миллиардов уже умеют выполнять многие отдельные этапы этого процесса. Однако пока они испытывают трудности с надёжным выполнением всей цепочки действий от начала до конца. В упрощённых тестовых условиях, где часть защитных механизмов была отключена, некоторые более мощные ИИ-модели смогли завершить процесс самостоятельно.Источник изображения: Reuters
URL изображенияОсобое внимание исследователи уделили устройствам интернета вещей – недорогим Android-приставкам, телевизорам и бытовой технике. Такие гаджеты нередко получают ограниченную поддержку обновлений и могут иметь слабую защиту. По оценке Anthropic, ИИ-агент потенциально способен адаптироваться к незнакомым устройствам и искать новые способы распространения, тогда как традиционное вредоносное ПО обычно действует по заранее заданным правилам.

Главная опасность заключается в отсутствии единого центра управления. Если ИИ-модель распространится по тысячам устройств, отключение одного сервера не остановит её автоматически: заражённые устройства могут продолжить работу независимо друг от друга. В более сложном сценарии такая сеть могла бы использовать накопленные вычислительные ресурсы для поиска уязвимостей в более мощных системах, включая инфраструктуру центров обработки данных.

Anthropic предполагает, что при сохранении нынешних темпов развития небольшие модели могут достичь уровня, необходимого для автономного самокопирования, уже к концу 2026 года. При этом компания подчёркивает, что полноценного автономного ИИ-репликатора пока не обнаружено. Речь идёт о прогнозе на основе экспериментов, а не о подтверждении существования системы, способной бесконтрольно захватить интернет.