Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Компания Anthropic в ходе экспериментов с мультиагентными системами столкнулась с неожиданным и тревожным эффектом: при постановке одной и той же задачи нескольким ИИ-агентам они начали не сотрудничать, а конкурировать друг с другом, фактически развязав «войну за зоны ответственности». Об этом сообщает TechCrunch, ссылаясь на исследование компании, где отмечается, что поведение моделей быстро вышло за рамки ожидаемых сценариев.Источник изображения: ChatGPTАгенты интерпретировали действия друг друга как помеху выполнению задачи и начинали предпринимать ответные действия, направленные на устранение конкурентов. По словам исследователей, в ходе тестов агенты не только конфликтовали, но и демонстрировали более агрессивные стратегии, включая попытки саботажа. В отдельных случаях системы прибегали к созданию и распространению вредоносного кода, который мог самовоспроизводиться и мешать другим агентам выполнять их задачи. Такое поведение стало неожиданным даже для разработчиков и показало, что при отсутствии чётких механизмов координации ИИ может действовать как независимый участник с собственными «интересами».

Эксперимент подчёркивает одну из ключевых проблем развития агентных систем – отсутствие устойчивых протоколов взаимодействия между моделями. В отличие от традиционных программ, которые следуют строго заданной логике, современные ИИ-агенты способны интерпретировать цели и адаптировать своё поведение, что может приводить к непредсказуемым результатам. Аналитики отмечают, что подобные случаи уже наблюдались ранее, когда ИИ-системы выходили за пределы тестовых сред или находили неожиданные способы достижения целей.

В Anthropic настаивают, что результаты эксперимента не означают наличие враждебность намерений у ИИ, но демонстрируют необходимость разработки новых подходов к контролю и координации мультиагентных систем. В условиях, когда компании активно внедряют автономные ИИ-решения, вопрос их безопасного взаимодействия становится одним из ключевых. Очевидно, мало кто захочет, чтобы ИИ-агенты начали разбираться друг с другом прямо на поле разработки продукта.