Предвзятые алгоритмы: потеря рабочих мест — не самая главная проблема развития искусственного интеллекта

Джой Буоламвини проводила в MIT исследование о том, как компьютеры распознают лица людей, когда она заметила нечто странное. Когда она садилась перед камерой, система не распознавала её лицо, хотя видела лица её друзей с более светлой кожей. Но когда Джой надевала простую белую маску, контур лица появлялся на экране.

Она заподозрила, что эта проблема широко распространена и провела исследование систем распознавания лиц от Microsoft, IBM и Face++, китайского стартапа, который получил более 500 миллионов от инвесторов. Буоламвини показала системам тысячу лиц и попросила определить пол каждого человека.

Все три компании показали хорошие результаты при работе с людьми европейской внешности, особенно мужчинами. Но для темнокожих женщин результаты были удручающими: при распознавании их фотографий система допустила на 34% больше ошибок, чем с изображениями светлокожих мужчин.

Чем темнее была кожа женщины, тем ближе вероятность распознавания их пола становилась похожей на простое угадывание. Для изображений женщин с наиболее темной кожей системы распознавали их пол неверно почти в половине случаев.

Проект Буоламвини, который стал основой для её диссертации в MIT, показывает проблему предубеждений, которая может стать новым измерением в общей тревоге, связанной с искусственным интеллектом. Много написано о том, как машинное обучение заменит людей на работе, но гораздо меньше внимания уделяется последствиям работы с базами данных, подверженными предрассудкам. Что происходит, когда разработчики обучают алгоритмы на основе изображений белых мужчин? Исследование Буоламвини показывает, что алгоритм становится предвзятым сам по себе.

Другой пример был еще в 2016 году, когда Microsoft запустила в Twitter свой чат-бот Tay. Инженеры обучили бот на основе взаимодействий других пользователей в Twitter. Им пришлось прекратить работу Tay через 16 часов, так как его твиты начали содержать сексистские и расистские сообщения. Эксперты позже сказали, что в Microsoft бота научили хорошо копировать поведение, но не заложили знания о том, какое поведение является неприемлемым.

Суранга Чандратиллак, ведущий венчурный капиталист в Balderton Partners в Лондоне, говорит, что предвзятость искусственного интеллекта является гораздо более серьезной проблемой, чем потеря рабочих мест.

“Я не против влияния на работу”, —  говорит он. Большей проблемой является использование устаревших данных для обучения алгоритмов и принятия решений. “Данные из прошлого полны предрассудков. Люди обычно одобряли ипотечные кредиты мужчинам, или белым людям, или людям из определенного города”. Когда принятие этого решения возлагается на машину, она усваивает это предубеждение.

Пока примеры предрассудков в алгоритмах кажутся незначительными, но все вместе они могут оказывать влияние, особенно когда столько компаний пытаются внедрить искусственный интеллект в свои приложения и сервисы. Согласно исследованиям CB Insights, количество упоминаний искусственного интеллекта в отчетах о доходах в прошлом году существенно выросло, даже такие компаний, как Procter & Gamble или Bed Bath & Beyond, стали использовать его.

Недавно исследователи обнаружили, что переводчик Google проявляет признаки сексизма, автоматически предлагая местоимение “он” для традиционно мужских профессий при переводе с гендерно-нейтрального турецкого языка. Камелия Бобан, разработчица из Италии, заметила, что переводчик Google не распознал итальянское слово “программистка”, programmatrice. (Недавно она сказала, что проблема была исправлена.)

Такие примеры могут показаться удивительными, потому что мы ожидаем, что программы будут логичными и объективными. “Люди верят в то, что машины будут рациональными”, — говорит Чандратиллак. “То, что должно быть меритократичнеским, таковым не является. Это закладывает основы того, что не было предусмотрено”.

Когда люди принимают важные решения о найме или выдаче кредита, они тщательнее обдумывают свои решения. Искусственный интеллект имеет ауру инновационной технологии, но “он обречен повторять ошибки прошлого.”

Сегодняшние разработчики слишком сфокусированы на создании алгоритмов для решения сложных проблем вместо того, чтобы создать алгоритм, который будет отслеживать действия других алгоритмов. “Сейчас искусственный интеллект похож на черный ящик. Нейронные сети не объясняют, почему они приняли решение”.

Буоламвини указывает на недостаточное разнообразие изображений и данных для обучения алгоритмов. К счастью, над этой проблемой можно работать. После того, как исследовательница отправила свои результаты в Microsoft, IBM и Face++, IBM повторила её исследование внутри компании и выпустила новый API. Обновленная система определяет пол темнокожих женщин с точностью до 96,5%.