7 февраля 2024

MTS AI вместе со Сбером, а также Skoltech AI и НИУ ВШЭ создали независимый бенчмарк для оценки русскоязычных LLM  — MERA (Multimodal Evaluation for Russian-language Architectures). Он включает 21 задачу в формате инструкции, замеры ряда популярных открытых моделей для сравнения, кодовую базу, веб-сайт с личным кабинетом и системой оценки. Также учитывается, как эти же задания выполняют люди. MERA позволяет оценивать предобученные и дообученные на модели (формат претрейнов), а также модели дополнительно дообученные на инструкционных данных (SFT формат). Исследователи уже оценили более 20 опенсорсных проектов и GigaChat PRO. Подать заявку на проверку может любой разработчик или участник Альянса по искусственному интеллекту. Результаты оценки обрабатываются и появляются в личном кабинете. При желании разработчики могут сделать их публичными. Подробнее о системе оценки MERA можно узнать в научной статье.