Системы машинного обучения сейчас дешевы, как никогда. Метаанализ ARK Invest показывает, что стоимость обучения уменьшается в 50 раз быстрее закона Мура, принципа, согласно которому производительность компьютеров удваивается каждые два года.
В своем отчете ARK показал, что в то время как мощности, затрачиваемые на машинное обучение, удваивались в соответствии с законом Мура с 1960 по 2010 год, сложность вычислений — количество петафлопс (квадриллионов операций в секунду) в день — далее увеличивалась в 10 раз в год с 2010 года. А расходы на обучение за последние три года снижались в 10 раз каждый год — в 2017 году стоимость обучения классификатора изображений, такого как ResNet-50, в общедоступном облаке составляла около 1000 долларов, а в 2019 году — около 10 долларов.
Эти результаты согласуются с данными недавнего отчета OpenAI, в котором говорится, что с 2012 года объем вычислений, необходимых для обучения модели ИИ равной производительности при классификации изображений по бенчмарку ImageNet, снижается в 2 раза каждые 16 месяцев.
ARK полагает, что снижение затрат объясняется прорывом как в области аппаратного, так и программного обеспечения. Например, видеокарта Nvidia V100, выпущенная в 2017 году, примерно на 1800% быстрее K80, выпущенной тремя годами ранее. В период с 2018 по 2019 год производительность обучения на V100 выросла примерно на 800% благодаря программным инновациям от MIT, Google, Facebook, Microsoft, IBM, Uber и других компаний.
ARK прогнозирует, что при нынешних темпах улучшения стоимость обучения ResNet-50 должна упасть до 1 доллара. И это предполагает, что цена готовой внедренной модели упадет в этом году до примерно 3 центов (модель, которая может классифицировать миллиард изображений). Два года назад она стоила бы 10,000 долларов.
Однако, несмотря на то, что затраты на обучение моделей, в общем, сокращаются, разработка сложных моделей в облаке остается чрезмерно дорогостоящей. Согласно недавнему отчету Synced, Университет Гровера в Вашингтоне на создание модели для обнаружения фейковых новостей потратил 25,000 долларов в течение двух недель. По сообщениям, OpenAI потратил целых 12 миллионов долларов на обучение своей языковой модели GPT-3, а Google потратил примерно 6,912 долларов на обучение BERT, модели двунаправленного преобразования, которая решила 11 задач обработки естественного языка.