Новые методы сжатия нейросетей разработаны Yandex Research

Yandex Research разработал и опубликовал в открытом доступе новые методы сжатия больших языковых моделей. По словам компании, новые методы позволяют сократить расходы бизнеса на вычислительные ресурсы до восьми раз.

Разработка, созданная совместно с коллегами из IST Austria и Kaust, делает внедрение и обслуживание нейросетей более доступным для бизнеса. 

Как объяснили в Yandex Research, для качественной и быстрой работы больших языковых моделей требуется большое количество мощных и дорогостоящих графических процессоров. Новая разработка позволяет значительно уменьшить размер модели, делая возможным ее запуск на устройствах с меньшей вычислительной мощностью. При этом, в отличие от других методов сжатия, разработка «Яндекса» не приводит к снижению качества ответов нейросети.

Исследователи Yandex Research проверили эффективность разработанного метода сжатия нейросетей на моделях с открытым исходным кодом, таких как Llama 2, Llama 3, Mistral и других. Тесты показали, что метод Yandex Research сохраняет в среднем 95% качества ответов нейросети, в то время как другие популярные методы сжатия сохраняют от 59% до 90% качества.

Код нового метода сжатия нейросетей уже доступен на GitHub. Исследователи Yandex Research также опубликовали обучающие материалы, которые помогут разработчикам дообучить уменьшенные нейросети под свои сценарии. 

Раннее ITinfo сообщало, что «Яндекс» разрабатывает новый способ запуска рекламы для малого бизнеса.