Машинное обучение Amazon и анатомия моральной паники

Рекомендательный алгоритм Amazon учит людей создавать бомбы? Или нет? Мацей Цегловски разобрался в истоках паники, последовавшей за сенсационной новостью британского Channel 4.

18 сентября британский Channel 4 выпустил новость с заголовком “Потенциальные ингредиенты смертоносной бомбы часто покупают вместе на Amazon”. В новости утверждается, что на сайте Amazon “пользователям, ищущим распространенное химическое соединение, которое используется в продуктах, предлагают ингредиенты для того, чтобы сделать черный порох”  и что “металлические подшипники, которые часто используют как шрапнель” также предлагают приобрести на этой странице.

“Распространенное химическое соединение” из репортажа — это нитрат калия, который используют в консервировании мяса. Если вы перейдете на страницу Amazon для заказа полукилограммового пакета, вы увидите в предложенных предметах серу и уголь, другие ингредиенты пороха (да, Channel 4, я могу разглашать секреты тысячелетней технологии).

Вывод ясен: рекомендательный алгоритм сайта подталкивает поваров бросить свою говядину в пользу самодельных бомб. Достаточно много людей купили именно эти ингридиенты вместе, чтобы алгоритм заметил корреляцию и начал делать свои темные предположения. Но всего несколько минут поиска вам покажет, что Channel 4 обнаружил лишь сообщество людей, которые изготавливают порох дома для использования в фейерверках, моделях ракет и древнем огнестрельном оружии.

В Великобритании можно легально изготавливать и хранить черный порох в определенных пределах (100 грамм). Так как порох легко сделать из дешевых ингредиентов, сложно взорвать случайно и он не очень токсичен, его часто выбирают любители. Вам нужно только устройство под названием шаровая мельница — это вращающийся барабан с шариками, который измельчает порошки до частиц одного размера.

И это приводит нас к самому потрясающему утверждению репортажа о том, что вместе с серой и углем алгоритм Amazon предлагает детонаторы, кабели и “металлические подшипники, которые часто используют как шрапнель”. Но на самом деле эти подшипники как раз используются в мельницах. Алгоритм учитывает факт, что людям нужно будет измельчить купленные ингредиенты. Это не более удивительно, чем предложение купить мельницу для перца при приобретении перца горошком. Шрапнель — это фантазия репортера, и ни в каком возможном варианте Amazon не может продать достаточно оборудования для изготовления бомб, чтобы натренировать алгоритм для подобной рекомендации.

Далее в репортаже говорится, что людям, которые ищут “другой широко доступный химикат”, предлагают ингредиенты для термитной смеси из металлических порошков, которая при возгорании “создает опасную реакцию, которая используется в зажигательных бомбах и используется, чтобы резать металл”. Здесь “широко доступный химикат” — это магниевая лента. Если вы ищете её на Amazon, сайт предложит вам купить оксид железа (ржавчину) и алюминиевый порошок, которые вы можете смешать для создания фейерверка.

Эту реакцию часто показывают в школах, чтобы наглядно показать, как проходят химические реакции. Вы смешиваете в тигле ржавчину и алюминиевый порошок, поджигаете их при помощи магниевой ленты и видите фейерверк. Смесь порошков сложно поджечь (поэтому вам нужна лента), но как только вы это сделаете, они будут гореть очень бурно.

Главное использование этих ингредиентов — это демонстрации опытов. Более того, эта смесь не детонирует и не используется как взрывчатка. Поэтому тут репортеры нашли любителей фейерверков и преподавателей химии.

Но смешивая эти невинные замечания с историей терроризма, они гарантировали себе максимальное внимание и охват. История “Amazon учит делать бомбы” распространилась по интернету:

Во всех этих репортажах отсутствует чувство меры или реальности. В какой вселенной невинный человек, покупающий серу, станет террористом и сделает самодельную бомбу под воздействием алгоритма рекомендаций? Channel 4 думает, что инструкции для создания взрывчатки так сложно найти, что люди должны искать недостающие ингредиенты в рекомендациях Amazon, чтобы узнать секрет пороха? Насколько Amazon заботится о рекомендациях? Страница продажи нашатырного спирта, например, предлагает приобрести упаковку концентрированного отбеливателя. Их смесь создает смертельно опасный газ, и вы можете купить оба ингредиента в практически неограниченном количестве. Значит ли это, что Amazon пытается убедить пользователей отравлять людей хлорамином?

Наконец, сколько людей может покупать бомбы онлайн? Для того, чтобы алгоритм предлагал шрапнель, тысячи или десятки тысяч людей должны приобрести предметы вместе. Где все эти террористы? И зачем им использовать сайт с привязкой настоящих личных данных?

Более вдумчивый репортаж прояснил бы, что черный порох — не лучший материал для создания бомб. Другие комбинации проще создать и получить больший взрыв. Бомба, которая взорвалась в федеральном здании в Оклахома-Сити, была смесью удобрения и гоночного топлива. В недавних атаках в Лондоне применяли другую взрывчатку, синтезированную из ацетона. А черный порох можно легко получить из коммерчески доступных фейерверков, как это сделал организатор взрыва на Бостонском марафоне. Единственные люди, которые тщательно изготавливают всё с нуля и покупают все онлайн — это безобидные владельцы мушкетов и любители ракет.

Эта история, как сорняк, распространилась в другие медиа, аккумулируя все больше ошибок. New York Times опускает выдумку про шрапнель, но описывает термитную смесь как взрывчатку (она не детонирует). Vice повторяет все утверждения Channel 4. The Independent запутались ещё сильнее, сообщая, что “если пользователь выберет термитную смесь, на сайте появятся ссылки на два других ингредиента”. Они также добавили в URL слова “мать Сатаны”, улучшая поисковую доступность сайта при поиске другого взрывчатого вещества. Только скептичный BBC посоветовался с экспертами, которые отметили, что эти предметы должно купить большое количество людей, чтобы оказать эффект на алгоритм.

Когда я связался c автором одной из этих статей, они объяснили мне, что статья была написана за короткий срок тем утром, и они уже работают над другим материалом. Автор отмечает, что выход статьи в других крупных изданиях считается подтверждением публикации и сохранения утверждений из оригинального репортажа.

Эти алгоритмы угрожают не пользователям Amazon, а журналистике. Репортеры вынуждены оптимизировать историю для кликов, у них нет времени проверять свой репортаж. Это правдиво для технических тем, в которых журналисты не осведомлены. И у них нет другого выбора, кроме погони за кликами. Так как Google и Facebook владеют онлайн-рекламой, единственный показатель успеха истории — её вирусное распространение в социальных сетях. Сложные статьи доверяют неопытным фрилансерам, работающим в строгих временных рамках, а корректировки незаметно вносят уже после публикации.

Сама система машинного обучения, которую хотели раскрыть репортеры Channel 4, разрушает способность онлайн-журналистики к выполнению своей работы. Подобная паника вредит не только создателям ракет, она отвлекает и дискредитирует журналистов, не давая им выполнять основную функцию проверки фактов.

Реальная история машинного обучения заключается не в том, что оно продвигает создание бомб, а в том, что системы разворачивают в огромном масштабе с минимальным размышлением об этике бизнес-модели, которая основана на психологической манипуляции и слежке за людьми. Эти манипулятивные возможности продаются за самую большую цену и влияют на каждый аспект жизни, включая журналистику и выборы.