Команда US-DATA подготовила большое практическое руководство «Почему AI-модель плохо работает: как проверить датасет, разметку и качество данных». Материал посвящён одной из ключевых проблем прикладного машинного обучения — поиску причин ошибок AI-систем после обучения и запуска в production.
Авторы предлагают смотреть на качество модели шире привычных accuracy и F1. Причина снижения качества может находиться не только в архитектуре или настройках модели, но и в составе обучающего датасета, неоднозначной разметке, недостатке редких сценариев, изменении production-данных или устаревании самого набора.
В руководство вошли практические примеры из проектов US-DATA. В частности, команда рассказывает о работе с системой распознавания товаров, где целевая доразметка сложных случаев позволила увеличить внутренний показатель качества примерно с 96% до более чем 99,5%. Отдельно разобран крупный проект с массивом более 100 тысяч изображений, показавший, насколько дорого исправлять неоднозначности технического задания уже после масштабной разметки.
Большой раздел посвящён работе с данными после запуска AI-системы. Изменение упаковки товара, камеры, освещения или других условий способно привести к data drift: модель остаётся прежней, но данные вокруг неё меняются. Поэтому авторы рассматривают датасет не как разовый результат подготовки модели, а как развивающийся актив, который необходимо обновлять вместе с production-средой.
В гайде также разобраны проектирование датасетов, QA разметки, hard cases, targeted annotation, continuous annotation, metadata, provenance и data governance.
Полная версия исследования опубликована на сайте US-DATA:
Для ML-команд также подготовлена PDF-версия руководства, которую можно скачать и использовать как рабочий материал:
Об US-DATA
US-DATA специализируется на подготовке и разметке данных для AI- и ML-проектов. Команда работает с изображениями, видео, текстом и аудио, выполняет сбор и структурирование данных, разметку и контроль качества для задач компьютерного зрения и других ML-направлений.
Сайт компании:
