МОСКВА, 12 августа. /ТАСС/. Исследователи из России разработали методику, которая позволяет значительным образом ускорить обучение распределенных и федеративных моделей машинного обучения, а также сократить расход вычислительных ресурсов, необходимых для обмена данными между узлами системы в процессе обучения. Об этом сообщила пресс-служба Сбера.

"Исследование решает ключевую проблему распределенного обучения - коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счет более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения больших моделей, но и сокращает энергозатраты", - прокомментировал открытие директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев, чьи слова приводит пресс-служба Сбера.

Новый метод для обучения распределенных и федеративных нейросетей был разработан группой российских исследователей из Сбера, МФТИ, Института системного программирования РАН и "Сколтеха". Он позволяет особым образом сжимать и разбивать данные, которыми обмениваются узлы в распределенной сети вычислительных систем, используемых для обучения крупных моделей искусственного интеллекта.

"Нашей целью было объединить современные подходы к эффективным коммуникациям - ускорение, сжатие и учет похожести данных - в единый алгоритм с четкими теоретическими гарантиями. Проведенная нами эмпирическая проверка показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности", - пояснил доцент МФТИ Александр Безносиков, чьи слова приводит пресс-служба Сбера.

Как отмечают исследователи, созданный ими метод особенно полезен для решения тех задач машинного обучения, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс тренировки системы. В этом отношении он значительно превосходит уже существующие методы ускорения обучения распределенных и федеративных моделей машинного обучения, использующих лишь один принцип в процессе работы.

По словам исследователей, их разработка найдет применение в компаниях, использующих распределенное обучение, начиная с финансового сектора и заканчивая телекоммуникационной сферой и промышленностью. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение ИИ-моделей на практике, а также он открывает путь к более эффективным алгоритмам и более динамичному развитию ИИ-технологий, подытожили ученые.