30 сентября 2025

Альянс в сфере ИИ на прошлой неделе выпустил новый бенчмарк для комплексной оценки LLM для кодинга — SWE-MERA. Очередной — скажете вы. Динамический — ответим мы. Чем он отличается от других: 🔴Актуальность. Постоянное автоматическое обновление набора задач 🔴Защита от контаминации данных. Можно выбирать задачи из определённых временных периодов - помогает выявлять модели, в обучение которых попали проверочные данные 🔴Автоматизация. Подход LLM-as-a-judge и проверĸа решений с использованием надёжного тестового фреймворĸа 🔴Масштабируемость. Количество задач растет ежемесячно для большего охвата сценариев Вывод: большая объективность и максимальное соответствие актуальным задачам разработки. В создании бенчмарка приняли участие MWS AI, Сбер и ИТМО. Почитать подробнее: По-научному По-хабровски Коротко и по делу