13 октября 2023

Вместе с коллегами из Сколтеха мы разработали новый метод сжатия языковых моделей. В чем суть — сейчас расскажем. Метод позволяет сжимать слои нейросетевых языковых моделей типа Трансформер, таких как BERT или GPT, за счет более эффективного представления полносвязных слоев. Таким образом можно серьезно экономить на вычислительных ресурсах. Научные статьи о результатах наших экспериментов приняли к публикации на конференциях AIST в Ереване и PACLIC в Гонконге. Чтобы узнать, как работает метод сжатия языковых моделей, смотрите воркшоп по ссылке.