22 июля 2025

▪️ Как понять, насколько хорошо русскоязычные большие языковые модели работают с кодом? До недавнего времени ответ был «никак», потому что: ✅ Большинство общих бенчмарков фокусируются на задачах понимания естественного языка, а не на коде ✅ Бенчмарки по языкам программирования не слишком сильны в анализе связи между кодом и естественным языком То есть, русскоязычные LLM для работы с кодом есть, но сравнить их по-честному было нельзя. Альянс в сфере искусственного интеллекта это исправил. Представляем вам MERA Code — первый открытый бенчмарк для оценки русскоязычных LLM на прикладных задачах разработки ПО. Основные отличия: ✅11 задач - от код-ревью до юнит-тестов - на 8 языках программирования (Python, Java, C#, JS, Go, C, C++, Scala) ✅Тестирование в изолированных средах ✅ Учет специфики постановки задач и документации на русском языке В создании бенчмарка приняли участие команды Сбера, Т-Банка, MWS AI, Ростелекома, Университета Иннополис, ИТМО, Сколтеха, Центрального университета и компании «Сибирские нейросети». Лидерборд, задачи и инструкция по использованию со всеми необходимыми ссылками и контактами — здесь. #MWSAI_новости