31 июля 2024

🚀 Как повысить качество моделей машинного обучения с помощью аугментации? Именно об этом новая статья на Хабре от старшего разработчика в MTS AI Игоря Буянова. В прошлую пятницу он выступил с докладом по оптимизации параметров аугментации текстовых данных на Pycon 2024. Начнем с теории... 🤔 Аугментация — метод, который помогает улучшить качество моделей машинного обучения, увеличивая разнообразие обучающего набора. Этот подход позволяет создавать новые примеры из существующих данных, что способствует лучшему обобщению знаний модели. 💡 Как это работает? Например, если у вас есть фраза «Как мне пополнить счет сим-карты», вы можете удалить всего одно слово, так что она превратится в «Как ___ пополнить счет сим-карты». Это небольшое изменение, как и другие, важно, потому что создаёт новый вариант для датасета. 🔍 Аугментация уже доказала свою эффективность. Так, для крупных наборах данных обучение моделей классификатора на интентах с малым количеством примеров может быть затруднено. Увеличивая данные интентов с помощью аугментации, можно улучшить их распознавание. К примеру, если у вас есть всего 50 запросов, этот метод поможет создать ещё 100-200 примеров. Здесь вы найдете полный туториал с рекомендациями о том, как правильно настроить параметры аугментации и какие методы выбрать. ❤️ — долой рандом, пришло время применять аугментацию