Новый метод НИУ ВШЭ и «Т-Технологий» повышает качество работы ИИ

Дата публикации: 09-07-2026 10:01:00

Исследователи из Института искусственного интеллекта и цифровых наук факультета компьютерных наук (ФКН) НИУ...

Основное содержимое страницы с новостью.

Новый метод НИУ ВШЭ и «Т-Технологий» повышает качество работы ИИ

Исследователи из Института искусственного интеллекта и цифровых наук факультета компьютерных наук (ФКН) НИУ ВШЭ и лаборатории научных исследований «Т-Технологий» разработали новый метод семплирования для моделей маскированной диффузии — G-Star+. Он помогает быстрее и качественнее исправлять ошибки во время генерации текста и кода за небольшое число шагов. Метод показал эффективность в задачах генерации текста и кода и может применяться там, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах. Об этом CNews сообщили представители НИУ ВШЭ.

Суть открытия

Диффузионные модели давно используются в задачах генерации изображений: они начинают с шума и постепенно уточняют результат, что позволяет им исправлять ошибки на следующих шагах генерации. В дискретной маскированной диффузии, которая применяется к тексту и коду, такой механизм самокоррекции работает хуже, так как модели маскированной диффузии не генерируют текст слева направо, как классические языковые модели, а постепенно заменяют замаскированные элементы на токены. В стандартных подходах уже выбранный токен часто фиксируется навсегда, и, если модель ошиблась на раннем этапе, исправить эту ошибку сложнее.

Исследователи из НИУ ВШЭ и «Т-Технологий» предложили новый подход к решению проблемы — Guided Star-Shaped sampler, или G-Star+. Он работает по принципу «внутреннего редактора»: находит подозрительные токены, снова маскирует именно их и дает модели возможность переписать проблемные места позже. При этом благодаря дообучению одного дополнительного слоя не требуется переобучать всю модель, что позволяет не тратить вычислительные ресурсы на случайные исправления и сфокусироваться на местах, где ошибка наиболее вероятна.

Метод G-Star+ был оценен на семи бенчмарках. MMLU и MMLU-PRO проверяли рассуждение по предметным областям, GSM8K оценивал решение математических школьных задач, GPQA — сложных научных вопросов, HumanEval и MBPP — генерацию Python-кода, а IFEval показывал, насколько хорошо модель следует инструкциям.

Уникальность метода

В отличие от методов, которые стирают уже сгенерированные токены случайно, G-Star+ использует обучаемый модуль, который предсказывает, какие именно фрагменты нужно пересмотреть. Этот модуль обучается не на искусственных грубых ошибках, например замене на случайные слова, а на ошибках, которые действительно делает сама диффузионная модель и которые сложнее обнаружить, чем очевидно случайные замены.

Метод G-Star+ показал преимущество перед другими методами в режимах быстрой генерации, когда у модели есть ограниченное число шагов на подготовку ответа: наиболее заметное преимущество было при 64–256 шагах генерации. Исследователи провели прямое сравнение между гибридным Star+, базовым MDLM и собственным методом G-Star+. Результаты показали, что по метрике MAUVE, которая показывает, насколько сгенерированные тексты похожи на естественные, G-Star+ превосходит иные методы. Метод также показал прирост качества на большой модели Dream-Instruct 7B. Например, результат на MMLU вырос на 1,3%, на GPQA — на 1,8%, а на IFEval — на 2,9%.

Практическое применение

Цифра без иллюзий: как лидеры российского бизнеса строят независимые экосистемы цифровизация

G-Star+ может применяться в задачах, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах. Это важно для ИИ-ассистентов, чат-ботов, инструментов генерации и автодополнения кода, корпоративных сервисов для подготовки документов и других сценариев, где стоимость и скорость ответа имеют значение.

За счет того, что G-Star+ не требует полного переобучения большой модели, подход можно применять как дополнительный слой улучшения для уже существующих моделей маскированной диффузии.

«G-Star+ меняет саму логику генерации в маскированной диффузии: модель больше не обязана навсегда фиксировать первый выбранный токен. Вместо этого она строит полный черновик ответа, оценивает, где могла ошибиться, и возвращает в маску именно сомнительные фрагменты. Важность работы в том, что такой механизм можно добавить к уже обученным моделям с небольшими затратами. Это делает диффузионные языковые модели ближе к практическому использованию: они сохраняют преимущество параллельной генерации, но получают способность к осмысленному редактированию, особенно в режимах, где времени на много шагов исправления нет», – сказал Вячеслав Мещанинов, сотрудник Центра глубинного обучения и байесовских методов Института ИИ и ЦН ФКН НИУ ВШЭ.

«G-Star+ можно сравнить с корректором текстов, который просматривает черновик и исправляет только те места, где могут быть ошибки. Прочитав весь текст, «корректор» возвращается к проблемным местам и исправляет эти ошибки. На практике наш метод помогает получать более качественные ответы быстрее и дешевле с точки зрения вычислительных ресурсов. Мы видим его применение в корпоративных сервисах, в образовании и в других отраслях, где очень важно качество выдаваемого текста или кода», – сказал Даниил Гаврилов, руководитель лаборатории фундаментальных научных исследований искусственного интеллекта группы «Т-Технологии».

• Лучший российский софт для видеосвязи: ищем замену Teams и Zoom

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Новый метод НИУ ВШЭ и «Т-Технологий» повышает качество работы ИИ	5	7	09-07-2026
2	ИСИЭЗ НИУ ВШЭ: навыки работы с ИИ на российском рынке труда	0	5	19-06-2026
3	НИУ ВШЭ и MWS AI займутся переподготовкой специалистов в области безопасного внедрения ИИ	0	5	26-06-2026
4	НИУ ВШЭ и MWS AI займутся переподготовкой специалистов в области безопасного внедрения ИИ	0	5	26-06-2026
5	НИУ ВШЭ и MWS AI займутся переподготовкой специалистов в области безопасного внедрения ИИ	0	5	26-06-2026
6	Исследователи из T-Bank AI Research разработали метод универсальной интерпретации моделей без потери точности	5	7	11-11-2025
7	«Антиплагиат» стал умнее	0	5	09-07-2026
8	«Антиплагиат» стал умнее	0	5	09-07-2026
9	«Антиплагиат» стал умнее	0	5	09-07-2026
10	Российские ученые придумали, как лучше использовать ИИ для выявления мошенничества и более точных рекомендаций	5	7	01-07-2026

Классификация: Наука. Схожих патентов: 0. Схожих новостей: 10. Тональность: 5. Информативность: 7. Источник: www.cnews.ru.