19 февраля 2025

▪️ Может ли ИИ заменить разработчиков? OpenAI проверили на реальных деньгах. OpenAI представили SWE-Lancer — новый бенчмарк, который оценивает не только код, а его реальный экономический эффект. Как проверяли: — взяли 1488 реальных задач с Upwork разной стоимости и сложности; — проверили, какие из них могут выполнить LLM; — посчитали, сколько денег “заработают” модели. Результаты: — Claude 3.5 Sonnet — $403 000; — o1 high compute — $380 000; — GPT-4o — $304 000. 🤔 Пока ни одна модель не справляется с фриланс-задачами на уровне человека, но цифры впечатляют: LLM уже могут выполнять до 40% заказов. Следующий шаг — OpenAI планируют использовать SWE-Lancer не только для оценки возможностей ИИ, но и для анализа безопасности автономных AI-агентов в программировании. ➡️ Читайте полное исследование Ваше мнение: когда ИИ догонит фриланс-разработчиков? 🔥 Уже через пару лет ❤️ Пока ИИ не понимает требования бизнеса — никогда