Машинное обучение широко используется Uber для принятия решений и прогнозирования, например, для защиты от мошенничества или прогнозирования спроса на машины. Для достижения оптимальных результатов компания вкладывает много ресурсов в разработку точных предиктивных моделей. Фактически, сейчас (в рамках известного правила 20/80 для ML-разработки) у дата-сайентистов 20 процентов усилий уходит на создание первоначальной рабочей модели, а 80 процентов — на повышение ее производительности.
Традиционно, когда разработчики данных разрабатывают модели, они оценивают каждую, используя суммарные метрики, такие как площадь под кривой (area under curve, AUC) или средняя абсолютная ошибка (mean absolute error, MAE). Хотя эти метрики дают представление о том, как работает модель, они не дают полное представление о том, почему модель не функционирует должным образом, и как улучшить ее производительность. В связи с этим разработчики моделей склонны полагаться на метод проб и ошибок при определении способов улучшения своих моделей.
Чтобы сделать процесс отладки моделей более информированным и действенным, Uber разработал Manifold — собственный инструмент визуализации для диагностики производительности и отладки ML-моделей. Manifold не зависит от моделей и, используя преимущества методов визуальной аналитики, позволяет специалистам по машинному обучению выйти за пределы общих сводных метрик, чтобы определить, какое подмножество данных модель предсказывает ошибочно. Manifold также объясняет потенциальную причину низкой производительности модели, обнаруживая разницу в распределении характеристик между лучшими и худшими подмножествами данных. Кроме того, инструмент может показывать, как несколько моделей-кандидатов обеспечивают разную точность прогнозирования для каждого подмножества данных, обеспечивая обоснование для продвинутых методов обработки, таких как объединение моделей.
Более подробно о Manifold вы можете прочитать в блоге Uber, а сам инструмент выложен на GitHub.