Вход на сайт

Просмотр новости

Найдите то, что Вас интересует

Скрытый риск масштабирования ИИ: дрейф решений

Дата публикации: 20-07-2026 06:26:38

Без единых пороговых значений показателя уверенности результаты работы искусственного интеллекта применяются в разных командах ...

Основное содержимое страницы с новостью.

  Скрытый риск масштабирования ИИ: дрейф решений

20.07.2026

Без единых пороговых значений показателя уверенности результаты работы искусственного интеллекта применяются в разных командах по-разному, что снижает подотчетность и эффективность. Решение — в согласованности, пишет на портале InformationWeek Минал Айер, старший вице-президент SurveyMonkey по данным и корпоративному ИИ.

В большинстве компаний ИИ сегодня генерирует рекомендации еще до того, как команда их запросит. Системы отмечают аномалии. «Вторые пилоты» предлагают дальнейшие шаги. Прогнозы обновляются автоматически. Общие стандарты действий на основе этих результатов определены нечетко. Какой уровень доверия необходим, чтобы система могла действовать самостоятельно? И, если она ошибается, кто несет ответственность за принятие решения?

На начальной стадии принятия решений с использованием ИИ эта неопределенность кажется терпимой. По мере роста зависимости она усугубляется и размывает ответственность. По мере того, как организации внедряют ИИ во все большее количество решений, согласованность становится определяющим фактором. Под согласованностью я не подразумеваю согласия. Я имею в виду общую операционную логику: определенные пороговые значения показателя уверенности и видимая ответственность, применяемые последовательно.

Без согласованности одна команда следует модели, а другая её игнорирует. Третья команда пересчитывает анализ, основываясь на совершенно других предположениях. Со временем стандарты дрейфуют. Результаты обсуждаются чаще, чем применяются, а уверенность становится ситуативной, а не системной. Это и есть дрейф решений: расхождение в том, как решения, принимаемые с помощью ИИ, интерпретируются и применяются в организации.

Результаты опроса SurveyMonkey «Trends 2026» демонстрируют существенный разрыв. Эксперименты с ИИ широко распространены, однако многие руководители говорят, что превращение инсайтов в последовательные действия по-прежнему затруднительно.

Организации видят разные результаты, когда интеллект преобразуется в общую операционную логику, которая определяет, как принимаются решения.

Баланс автоматизации и подотчетности

Большинство систем ИИ не возвращают простого «да» или «нет», они возвращают вероятность. Модель может предсказать мошенничество с вероятностью 0,82%. Та же самая модель классифицирует поле счета-фактуры с вероятностью 0,97%.

Каждая модель выдает оценку. Важно то, как организация реагирует на неё.

Установление четкой границы, или порога уверенности, определяет, когда результат работы ИИ автоматически продвигается вперед, а когда он передается на проверку человеку. На практике пороги уверенности определяют допустимый уровень риска.

В рамках системы управления рисками ИИ Национального института стандартов и технологий (NIST) предполагается наличие измеримых характеристик производительности и постоянных процессов мониторинга и человеческого контроля. Установите высокий порог, и автоматизация замедлится, но количество ложных срабатываний уменьшится. Установите низкий порог, и эффективность повысится, но увеличится и вероятность ошибок. Именно здесь согласованность либо укрепляет, либо разрушает систему.

Общая логика создает подотчетность

В организациях, которые интегрируют ИИ в основные рабочие процессы, пороги уверенности являются важным механизмом внутренней согласованности. Они четко определяют границы: «Какой уровень неопределенности допустим? Когда должен вмешаться человек? После этого, кто несет ответственность за принятие решения?».

Организации редко сталкиваются с трудностями из-за несовершенства модели. Трудности возникают, когда неясна подотчетность. Эта ясность становится более важной по мере того, как компании внедряют все большее количество специализированных агентов ИИ. Без четко определенных пороговых значений и общей логики проверки скорость работы размывается, превращаясь в несогласованность, и организации начинают терять преимущества в эффективности, которые обещает ИИ.

В компаниях, которые рассматривают ИИ как управляемую систему, показатели уверенности определяются и становятся общими. Логика эскалации документируется, а переопределения отслеживаются. Пороговые значения перенастраиваются по мере изменения бизнес-условий. Это — управление ИИ в действии.

Когда команды создают свои собственные правила

Когда пороговые значения уверенности расплывчаты, а логика переопределения не документирована, ответственность размывается, и команды импровизируют. По мере масштабирования импровизации растет и несогласованность. Разница в пять пунктов в пороге мошенничества может показаться незначительной, но в рамках множества транзакций она существенно меняет степень риска. Слабо задокументированное переопределение в службе поддержки клиентов может казаться разумным, но в тысячах взаимодействий оно меняет восприятие бренда.

Я видела, как быстро это может накапливаться. В одной платежной компании показатели отказов по мошенническим операциям росли, из-за чего казалось, что модели становятся лучше. Но значительная часть этих отказов приходилась на законных клиентов, которых ошибочно помечали как подозрительных. Сама по себе цифра по мошенническим операциям выглядела как победа. Но в сочетании с показателем удовлетворенности клиентов она рассказывала совсем другую историю. Этот разрыв сводился к тому, где находится пороговый уровень и кто имеет право его изменять.

Вот почему организации со зрелыми программами ИИ рассматривают установление пороговых значений как межфункциональное решение. Одно подразделение может автоматически одобрять транзакции с 85%-ной уверенностью. Другое может требовать 98%. Со временем одна и та же система формирует разные стандарты принятия решений в масштабах всей организации.

Но дрейф не ограничивается конфигурацией. Модели ценообразования могут генерировать разные рекомендации по скидкам для похожих клиентов, поскольку разные команды применяют свои собственные методы переопределения. Системы управления рисками могут эскалировать похожие транзакции в одном подразделении и автоматически подтверждать их в другом.

В конечном итоге заинтересованные стороны перестают спрашивать, что рекомендует модель, и начинают спрашивать, какая команда её применяет.

Встроенное в рабочие процессы ИИ человеческое суждение

Интеллект с участием человека сохраняет согласованность. ИИ выявляет закономерности и рекомендует дальнейшие шаги, но согласование конкурирующих приоритетов или учет последствий по-прежнему требуют человеческого суждения.

Когда команда определяет свои пороговые значения уверенности и документирует, как происходят изменения, ответственность остается явной. Целостность решений сохраняется, как и доверие, которое на них основано.

Исследование SurveyMonkey «AI Sentiment Study», проведенное среди 8432 взрослых жителей США, подчеркивает важность такого подхода. Респонденты сообщили, что быстрее всего теряют уверенность, когда нет возможности передать запрос человеку-оператору и когда системам не хватает прозрачности в отношении того, как они работают.

Когда пути эскалации невидимы, доверие быстро ухудшается. Видимость и подотчетность человека стабилизируют уверенность в принятии решений и организационную согласованность.

Согласованность как операционная дисциплина

Одна только политика не создает согласованность. Повторение укрепляет её. Организации, которые внедряют эксперименты с ИИ в повседневную работу посредством структурированных пилотных проектов и регулярных обзоров, с открытым обсуждением принятых решений, предоставляют командам общую точку отсчета для работы с ИИ.

Практический опыт позволяет согласовывать решения быстрее, чем любая служебная записка. Когда команды совместно тестируют модели и обсуждают нестандартные ситуации, они формируют общий стандарт действий. Со временем согласованность накапливается, и стандарты становятся частью того, как работает организация.

Комментарии

Только зарегистрированные пользователи могут оставлять комментарий.

Регистрация
Авторизация

 
pix.gif

Интересно

kl-red.png
pix.gif
kl-blue.png

ИИ-кодирование заработало. Теперь у CIO есть более серьёзная проблема

Инструменты для кодирования с помощью искусственного интеллекта стали общедоступными. Сегодня для CIO важна не только …

От сигнала к действию: когда ИИ можно разрешить работать самостоятельно

Раньше нам было достаточно просто задавать ИИ вопросы. Теперь мы можем назначить ему цель — и он сам …

Forrester: искусственный интеллект не спасёт вашу трансформацию

Он никогда и не должен был этого делать, пишет в корпоративном блоге Мануэль Гейтц, главный аналитик …

Legal AI без иллюзий: где ИИ действительно полезен

ИИ меняет юридическую практику, автоматизируя рутинные задачи. Но эффективность таких решений напрямую зависит …

Forrester: агентный ИИ работает на основе интеграции, а не озер данных

Агентный искусственный интеллект развивается стремительно. Предприятия переходят от экспериментов к реальному …

Схожие новости

#Наименование новостиТональностьИнформативностьДата публикации
1Legal AI без иллюзий: где ИИ действительно полезен01022-07-2026
23% офисных сотрудников скрывают, что используют ИИ в своей работе0502-07-2026
3ИИ без паники5711-02-2026
4ИСИЭЗ НИУ ВШЭ: структурные парадоксы рынка ИИ-компетенций0524-06-2026
5Почему ИИ приводит к выгоранию ИТ-руководителей — и как с этим справиться-2624-06-2026
6ИСИЭЗ НИУ ВШЭ: масштабы и направления использования ИИ российскими учеными0501-07-2026
7ИИ-агенты — ваши новые коллеги: как добиться наилучших результатов0508-07-2026
8Искуственный интеллект в кибератаках 0001-07-2026
9Аварийное восстановление после ИИ-сбоев на годы отстает от внедрения ИИ0507-07-2026

Классификация: Мнения. Схожих патентов: 0. Схожих новостей: 9. Тональность: 0. Информативность: 10. Источник: www.itweek.ru.