Одна из проблем — данные компании, как правило, распределены между множеством систем. Продажи могут учитываться в одной системе, клиентские данные — в другой, часть отчетности хранится в Excel, сведения из интернет-магазина и маркетплейсов выгружаются отдельно. Чтобы ответить даже на относительно простой бизнес-вопрос, информацию приходится собирать и сверять вручную.

Есть и другая, не менее важная проблема. Значительная часть корпоративных знаний вообще не находится в привычных таблицах и базах данных. Это договоры, PDF и DOC-файлы, сканы, инструкции, чертежи, техническая документация и другие неструктурированные материалы.

Для человека это информация. Для аналитической системы — пока еще набор разрозненных объектов, которые необходимо найти, распознать, связать с другими данными и сделать доступными для обработки.

Поэтому корпоративный ИИ — это не просто большая языковая модель и окно чата. Чтобы он мог давать полезные ответы, под ним должна существовать среда, которая объединяет данные, преобразует их, описывает, контролирует их качество и предоставляет к ним управляемый доступ. Такой средой становится решение «Фабрика данных» (Digital Q.DataFactory) от «Диасофт».

Самый понятный для пользователя уровень — взаимодействие с корпоративной информацией на естественном языке.

Сотрудник формулирует вопрос так же, как если бы обращался к коллеге или аналитику. ИИ-ассистент получает доступ к разрешенному ему массиву корпоративной информации, находит релевантные данные и документы, сопоставляет их и формирует результат. Это может быть короткий ответ, подборка документов, аналитическая справка, таблица, график или отчет.

Для работы с корпоративными знаниями могут применяться RAG-подходы, векторный поиск и графовая аналитика. Они позволяют находить релевантную информацию не только по точному совпадению слов, но и с учетом смысла, контекста и связей между информационными сущностями.

Следующим уровнем становятся ИИ-агенты, которые могут автономно выполнять последовательность действий для решения задачи: найти необходимую информацию, обратиться к нескольким источникам, сопоставить результаты и подготовить итоговый материал.

А помимо диалогового ИИ, подготовленные данные используются для машинного обучения. Они (ML-модели) ищут закономерности и помогают принимать решения на их основе. В банковском бизнесе это может быть прогноз оттока клиента, оценка его лояльности или кредитного риска. В торговле — прогноз спроса или вероятности отказа от заказанного товара. В других отраслях набор сценариев будет своим. Результаты работы моделей могут быть представлены через инструменты бизнес-аналитики и дашборды, а обработку больших массивов информации обеспечивают вычислительные движки платформы.

«Фабрика данных» (Digital Q.DataFactory) позволяет организовать все этапы работы ИИ-агентов с данными, а также все этапы обучения и инференса ML-моделей в едином технологическом контуре организации.

Так интерфейсом к сложному корпоративному ландшафту постепенно становится не конкретная информационная система, а бизнес-задача, сформулированная человеком. Руководителю не так важно, какой именно движок выполняет запрос. Ему нужен ответ на бизнес-вопрос – например, как изменится спрос, где растет риск или какие клиенты требуют внимания.

Однако качество такого результата напрямую зависит от того, что находится под этим интерфейсом.

Чем больше решений компания передает аналитическим системам, ассистентам и агентам, тем выше становится цена ошибки в исходной информации. Если неточность в ручном отчете может заметить аналитик, то ошибка в данных, которые автоматически используются моделью или ИИ-системой, способна масштабироваться уже без участия человека.

В «Фабрику данных» входят механизмы контроля качества данных. Проверки могут запускаться при загрузке информации или по расписанию и отслеживать, соответствует ли она заданным требованиям.

Одновременно необходимо понимать происхождение информации: откуда появился конкретный показатель, через какие трансформации он прошел, что означает поле, какая система является его источником. В управлении данными это называется родословной данных (Data Lineage). Для ИИ этот механизм решает проблему объяснимости: если ассистент выдает цифру или факт, платформа позволяет проследить весь путь этой информации - от исходной строки в источнике до конкретной ML-модели. Это исключает «галлюцинации» и дает бизнесу понимание, на чем именно основано решение машины.

Для визуализации этих связей используется каталог данных — карта корпоративной информации. Он хранит не сами бизнес-данные, а сведения о них: какие информационные сущности существуют в компании, где они находятся и как связаны между собой. Так появляется управляемый слой метаданных, благодаря которому данные перестают быть набором неизвестных таблиц и файлов и превращаются в понятную информационную систему.

Именно такой контекст особенно важен для ИИ. Ассистент должен не просто найти похожий фрагмент текста, а понимать, с какими данными он работает и насколько им можно доверять.

Когда с данными начинает работать ИИ, традиционные средства защиты оказываются недостаточными. «Фабрика данных» выстраивает безопасность на нескольких уровнях.

Во-первых, это защита самих данных (Data Security). Платформа реализует ролевую модель доступа (RBAC) и атрибутную модель (ABAC). Это значит, что один и тот же датасет может быть доступен разным пользователям в разных «срезах»: рядовой сотрудник увидит агрегированные цифры без персональных данных, а руководитель отдела — детализированную информацию вплоть до конкретного клиента. Применяется маскирование чувствительных полей и шифрование.

Во-вторых, это безопасность работы ИИ-агентов (ИИ Security). Главная угроза при внедрении корпоративного ИИ - риск того, что ассистент «вытащит» конфиденциальную информацию (например, коммерческую тайну или ПДн) и покажет ее пользователю, у которого нет на это прав, или подвергнет данные «отравлению» (prompt injection). Чтобы этого избежать, «Фабрика данных» применяет подход нулевого доверия. ИИ-агент не имеет собственных привилегий. Когда пользователь задает вопрос, агент обращается к данным строго в контексте прав и ролей этого конкретного пользователя. Векторный поиск и RAG-механизмы работают поверх проиндексированных данных, но отдача результатов в языковую модель[ фильтруется политиками доступа на уровне строк и столбцов.

Более того, все действия ИИ-агентов логируются. Платформа хранит не только историю запросов пользователей, но и «цепочку рассуждений» агента: к каким таблицам он обращался, какие документы анализировал и почему принял такое решение. Это обеспечивает прозрачность алгоритмов и позволяет проводить аудит.

«Фабрика данных» помогает создать единую среду хранения и обработки информации: данные загружаются из источников, проходят необходимые преобразования и попадают в единое хранилище, где становятся доступными для дальнейшей обработки.

При этом отдельная задача — подготовка информации, которая изначально не существует в удобном для аналитики виде. В компании могут храниться тысячи PDF-файлов, договоров, презентаций, сканов, чертежей и других документов. Если просто перенести их в единое хранилище, сами по себе они не станут частью аналитической среды. Поэтому между источником информации и ее дальнейшим использованием необходим слой автоматического преобразования. Конвейеры обработки и ETL-инструменты в «Фабрике данных» получают данные из различных источников, выполняют необходимые преобразования и приводят информацию к форме, пригодной для хранения, поиска, аналитики, машинного обучения и использования ИИ.

Архитектурно решение строится по принципу озера данных (Data Lakehouse). Основой этого слоя служит объектное хранилище «S3 Архипелаг», рассчитанное на работу с большими объемами информации. Именно здесь формируется единая среда, в которой могут накапливаться данные из различных корпоративных источников с сохранением в современных табличных форматах (например, Iceberg) и поддержкой ACID-транзакций, контролем версий и схем данных.

За обработку данных внутри платформы отвечает отдельный вычислительный слой. В него входят движки, рассчитанные на разные типы нагрузки: для преобразования больших массивов данных, для быстрого доступа к информации для запросов BI-систем и ML-моделей, для обеспечения высокой скорости работы дашбордов и обращения моделей к данным и т.д.

У компаний, которые приходят к задаче управления данными, обычно уже существует собственный ИТ-ландшафт. Где-то внедрено хранилище, где-то используются open-source-инструменты, где-то уже работает BI или собственный ETL.

«Фабрика данных» как конструктор: ее продукты и компоненты можно внедрять отдельно и интегрировать с существующими решениями. Компания может не заменять весь стек, а закрыть конкретные пробелы – например, добавить каталог данных, усилить контроль качества или подключить инструменты машинного обучения. Это позволяет развивать работу с данными постепенно.

Имеет смысл начинать не с выбора конкретного продукта, а с проведения диагностики. Какие источники данных есть у компании? Где возникают потери качества? Какие инструменты уже внедрены? Что сотрудники делают вручную? И, главное, какую бизнес-задачу необходимо решить первой?

Для одной компании первостепенной задачей станет прогнозирование спроса. Для другой – консолидация отчетности. Для третьей – создание единой картины клиента. Для четвертой – подготовка информационной базы для корпоративного ИИ. Отправной точкой в каждом случае должна быть не технология, а задача.

Сегодня искусственный интеллект создает у бизнеса понятное желание быстрее перейти к внедрению ИИ-ассистента, начать строить прогнозы, автоматизировать аналитику. Но именно эта спешка особенно хорошо показывает ценность фундаментальной работы с данными.

ИИ не отменяет управление данными, а повышает значимость этого процесса. Чем больше решений компания хочет принимать на основании алгоритмов, тем выше требования к полноте, качеству и доступности информации.

Поэтому главным результатом внедрения платформы управления данными становится не само хранилище, каталог или очередной дашборд. Это возможность создать внутри компании единое пространство, в котором информация собирается по понятным правилам, проверяется, описывается и становится доступной для дальнейшего использования – человеком, аналитической моделью или ИИ-ассистентом.

И только после этого данные действительно начинают работать на бизнес.