2 апреля 2025

▪️ Как мы прокачали пайплайн обучения моделей Cotype На днях вышла в свет наша новая и самая мощная модель в семействе Cotype – Cotype Pro 2. В процессе ее разработки мы применили усовершенствованный подход к оценке языковых моделей. Его мы выработали в рамках исследования по автоматизированному сравнению LLM методом Side-by-Side – с применением LLM-оценщиков. Об этом наша новая статья на Хабре. Рассказываем: 🔴Как мы трансформировали метод Side-by-Side и что придумали, чтобы повысить корреляцию результатов LLM-оценщика с результатами оценки экспертов. 🔴 Какие известные LLM, которых мы использовали в качестве судей, оказались наиболее близки к человеческим суждениям. 🔴 Как можно нивелировать влияние позиционного сдвига с помощью нехитрого изменения в промт. А ещё — выложили лидерборд на HuggingFace, где можно сравнить коммерческие и open-source LLM. #MTSAI_Хабр