• CNews FORUM 12 ноября
• CNews AWARDS 12 ноября
• Школа Роста
• Российский рынок облаков за 20 лет
• 30 лет рынку ERP в России
• Главные ИТ-сценарии 2026
• Цифровизация
• Импортозамещение
• Безопасность
• ИТ в госсекторе
• ИТ в банках
• ИТ в торговле
• Телеком
• Интернет
• ИТ-бизнес
• Рейтинги
• Инфографика

13 Октября 2026 10:07 13 Окт 2026 10:07 |

Алгоритм HARP, созданный в МФТИ, улучшает качество экстремально сжатых языковых моделей. Метод позволяет моделям уровня Llama и Qwen работать в два раза быстрее, теряя при этом меньше информации, чем при стандартном подходе. Препринт исследования опубликован на arxiv.org, код HARP выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face. Об этом CNews сообщили представители МФТИ.

Большие языковые модели (LLM) требуют огромных вычислительных ресурсов. Их запуск упирается в пропускную способность памяти. Чтобы сжать их, ученые используют квантование — значения их весов представляют меньшим числом бит. Чем сильнее сжатие, тем выше риск потерять точность. Особенно это заметно при агрессивном сжатии, когда возникает проблема «выбросов»: несколько аномально больших значений весов портят статистику, и модель начинает хуже понимать текст.

Новый алгоритм HARP борется с этой проблемой. Перед квантованием он подбирает для каждого слоя модели собственную систему координат — такую, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не меняют саму модель.

«Когда вы поворачиваете фотографию, изображение остается тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места», — сказал Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.

HARP не заменяет существующие методы квантования, а работает поверх них. В начале калибровки он полностью совпадает со стандартным преобразованием, которое уже используется в этих пайплайнах. Затем HARP аккуратно подстраивает повороты под конкретный слой модели и выбранный метод сжатия. Это позволяет улучшать качество модели и сохранять ее структуру.

Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B и Qwen3-8B алгоритм стабильно улучшал показатели относительно, стандартного подхода. При самом жестком 2-битном сжатии ошибка снизилась на 12–15%. Преимущество модели подтвердилось во время тестов с вопросами и вариантами ответа.

Скорость работы при сжатии модели почти не пострадала: HARP сохраняет 90% скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку», — сказал Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.

Метод также проверили на другом бэкенде для сжатия — QTIP. HARP улучшил результаты и там. Это значит, что метод универсален и не привязан к одному конкретному алгоритму квантования.

Разработка уже доступна для использования. Код выложен в открытый доступ на GitHub, готовые сжатые модели опубликованы на Hugging Face.

Сейчас HARP применяется к квантованию весов модели и уже доступен к использованию. В будущем ученые планируют исследовать алгоритм и к другим компонентам инференса.