Ученые Центра практического искусственного интеллекта Сбербанка и Института AIRI представили SplitLight — открытый...
13 Августа 2026 12:40 13 Авг 2026 12:40 |
Ученые Центра практического искусственного интеллекта Сбербанка и Института AIRI представили SplitLight — открытый инструмент для диагностики данных перед обучением и сравнением рекомендательных моделей. Об этом CNews сообщили представители Сбербанка.
Рекомендательные системы стали неотъемлемой частью цифровой экосистемы: их применяют как в электронной коммерции и видеосервисах, так и в контентных платформах и приложениях для потребителей. Именно на основе экспериментов компании решают, какие модели отправлять в разработку, а затем и в продукт. Но если данные для обучения ИИ подготовлены неаккуратно или условия эксперимента расходятся с реальной жизнью, команда рискует выбрать неподходящее решение и потратить ресурсы впустую. SplitLight снижает этот риск — он позволяет заранее проверить данные и оценить, насколько результаты эксперимента применимы на практике. Инструмент свободно доступен для использования и может применяться в двух режимах: библиотека на Python для разработчиков и интерактивный веб-интерфейс, не требующий кода.
Главная задача SplitLight — сделать невидимое видимым. Сбои в логировании, сдвинутые временные метки, дублирующиеся события — такие дефекты часто остаются незамеченными, но способны серьезно исказить итоговые метрики. Инструмент обнаруживает аномалии и позволяет исправить ошибки подготовки данных еще до запуска эксперимента.
Вторая задача, которую решает SplitLight, — несопоставимость результатов между разными исследованиями. Две команды могут работать с одним датасетом, но из-за различий в фильтрации, агрегации или разбиении приходить к противоположным выводам. SplitLight дает возможность зафиксировать ключевые статистики выбранного подхода, чтобы в будущем эксперименты можно было воспроизводить и корректно сопоставлять с другими работами.
Третий важный аспект — проверка на реалистичность. Инструмент помогает понять, не попали ли в обучающую выборку данные из будущего, учтены ли новые пользователи и объекты, насколько сильно различаются тренировочные и валидационные срезы. Если эти детали упущены, блестящий результат на тесте может рассыпаться в реальной эксплуатации.
Сразу увидеть общую картину качества данных можно, используя сводный дашборд с детальными статистиками.
Команда проекта во главе с исполнительным директором по исследованию данных Центра практического ИИ Сбербанка Алексея Васильева протестировала SplitLight на шести популярных открытых датасетах и наглядно показала: даже незначительные изменения в разбиении способны заметно повлиять на метрики и трактовку качества модели.
Сергей Рябов, старший управляющий директор, директор по ИИ-трансформации Сбербанка: «SplitLight позволяет специалистам детально изучить данные и заранее выявить скрытые искажения. Для продуктовых команд в маркетплейсах, стримингах и медиа — это надежная защита перед дорогими экспериментами: быстрая проверка данных, выбор корректного сплита и подтверждение, что тест приближен к реальности. Это снижает риск внедрения моделей, эффективных лишь на бумаге. Исследовательским группам SplitLight упрощает документирование, воспроизводимость и сравнение с публикациями, а также позволяет анализировать сторонние датасеты для корректной оценки своих решений».
Исходный код библиотеки SplitLight доступен на российской платформе для командной разработки GitVerse, а также на GitHub.