Как визуальный ИИ изменит нашу жизнь: Pinterest видит будущее

Всё началось 16 месяцев назад с авокадо (это ведь Калифорния).

Этот авокадо лежал на столе в зале совещаний в офисе Pinterest в Сан-Франциско. Альберт Перета, окруженный шестью коллегами, подошел к авокадо и направил на него телефон. Креативный директор Pinterest тестировал последнее изобретение компании — функцию Lens, которая должна была не только идентифицировать фрукт, но и найти похожие изображения среди миллиардов фото, загруженных в сервис за последние семь лет.

Перета сделал фото. Приложение синхронизировалось с облаком и выдало результаты. Экран смартфона Переты был наполнен бесконечным количеством фото спелых авокадо, снятых со всех возможных ракурсов.

«Многие люди были в восторге и говорили: “Смотрите, как хорошо работает!», — говорит Перета. Pinterest удалось идентифицировать объект на основании только визуальных данных, что является сложной инженерной проблемой. Но Перета не был доволен: «Знаете, я смотрел на тысячи пинов с авокадо и думал: “Кому какое дело?”»

Технология визуального поиска работала отлично, но результаты были бессмысленными. Никто не фотографирует авокадо, чтобы найти похожее фото авокадо. «Мы начали спрашивать людей: “Что бы вы хотели, если бы сделали фото авокадо?”», — вспоминает Перета. Кто-то сказал, что хотел бы увидеть рецепты гуакамоле. «И вы бы не увидели авокадо в поиске, вы бы увидели гуакамоле», — говорит Перета. Поиск Pinterest мог бы показать информацию о выращивании авокадо или хитростях, которые можно с ними сделать. «Черт, это было бы здорово», — вспоминает свои слова Перета.

Сегодня история об авокадо стала притчей в офисе Pinterest, напоминанием о том, что персонализация важнее совершенства. Это особенно верно для компании в то время, когда она погружается в развивающуюся область визуального поиска с инструментами вроде Lens, который был представлен в прошлом феврале. Эта версия не показывает тысячи изображений авокадо. Согласно инсайтам Переты, приложение показывает идеи того, что можно сделать с авокадо, например, да, сделать гуакамоле. Это было первым примером того, как Pinterest планирует при помощи визуального ИИ охватить всё: от шопинга людей до их пищи.

Последние двадцать лет мы искали вещи онлайн при помощи запросов в поисковике. Благодаря развитию технологий машинного обучения, компьютерное зрение позволяет нам искать при помощи фото. Google, Facebook, Microsoft и Amazon вливают все больше ресурсов в эту технологию. Неудивительно: в 2017 Google получила около 28,6 миллиардов долларов за текстовую рекламу в традиционном поиске. Голосовой поиск при помощи ассистентов только начинает развиваться. А визуальный поиск?

«Я верю, что камера будет следующей клавиатурой», — говорит CEO Pinterest Бен Силберманн. «Она станет фундаментальным инструментом для запросов о мире вокруг вас, который поможет вам узнавать больше о вещах вокруг или визуализировать что-то».

В этой конкурентной сфере стартап Силберманна с 1,200 сотрудниками известен тем, что дает пользователям возможность собирать идеи для свадебного декора или DIY-вещей для детского праздника на цифровых досках. Но Pinterest прячет много всего под этой кучей авокадо. 200 миллионов пользователей Pinterest используют сервис, чтобы буквально представить себе лучшую жизнь в форме уютной гостиной, интересной поездки или здорового перекуса. Они ищут не просто красивые изображения еды, как в Instagram, а пищу, которую действительно могут приготовить: 98% пользователей говорят, что пробовали сделать вещи, которые находили в Pinterest, согласно исследованию Nielsen. И рекламодатели приходят на сайт. Предполагается, что годовой доход Pinterest вырос в пять раз с 2015 по 2017 и составил 500 миллионов долларов, а количество пользователей выросло на 40% (Pinterest отказывается комментировать предположения о росте дохода).

Популярность Pinterest обусловлена созданием уникальных «графов вкуса» для каждого пользователя, которые соединяют пины, чтобы понять, что может понравиться ей или ему. Теперь компания работает над внедрением компьютерного зрения в свою систему пользовательских предпочтений. «Все упирается в то, насколько полезен Pinterest для поиска идей для вашей жизни. Если люди действительно используют Pinterest, чтобы решить, что купить для дома, что приготовить или куда отправиться в отпуск, здесь заложен огромный потенциал», — говорит Силберманн. Это означает, что Pinterest должен не только мастерски находить то, что вы ищете, но и предсказывать вещи, которые вас заинтересуют. Если компания добьется в этом успеха, наши камеры откроют мир бесконечных персональных открытий.

«Влияние визуального поиска не будет ограничено одним продуктом или функцией, он позволит людям превращать все, что они увидели в что-то, что поможет им найти больше интересных вещей в интернете», — говорит сооснователь Pinterest Эван Шарп.

Я стою в темной сырой квартире с видом на сад в районе SOMA в Сан-Франциско. Цена в 250 долларов за ночь на Airbnb кажется абсурдной, но квартира обустроена в полном соответствии со стереотипной доской Pinterest. Я открываю приложение Pinterest. Даже в освещении нижнего этажа Lens работает отлично. Приложение видит не просто кресло, а клубное кресло. Не просто подушку, а подушку килим. Не просто картину, а картину Ротко. Я действительно узнаю что-то новое. Многие результаты сопровождаются ссылками на пины или онлайн-магазины.

Потом я попытался найти похожие фото через конкурента Pinterest Lens — Google Lens. Версия Google не понимала, что видит кресло или даже просто мебель. Она приняла подушку за одеяло. Google Lens верно угадало только принт Ротко, хотя стоит отметить, что распознавание двухмерных изображений считается одной из самых простых задач для инструментов визуального поиска.

Для всех технологических компаний визуальный искусственный интеллект связан с более крупной целью. Google хочет помочь пользователям визуально идентифицировать мир вокруг. Facebook хочет связать пользователей с друзьями и использует ИИ для идентификации лиц. Amazon занимается продажами, и для него визуальный поиск может быть мостом между цифровым и физическим миром, например, вы можете сфотографировать обувь, чтобы найти такую же на Amazon.

«Подумайте о возможности сделать фото, чтобы найти что-то, что не можете описать — это довольно мощная возможность», — говорит аналитик Forrester Коллин Колберн. «Это пока самый незрелый поисковик, но у него самый большой потенциал».

Сотни сотрудников в Google работают над визуальным искусственным интеллектом. В Facebook этим занимаются 300 исследователей, который проводят 1,2 миллиона экспериментов с визуальным ИИ в социальной сети в любой момент времени. 5,000 человек в Amazon работают над Alexa: новые функции Echo Show взаимодействуют не только с микрофоном, но и с камерой, которая дает Amazon вид целой комнаты в вашем доме. Pinterest? Над визуальным поиском работают всего 12 человек.

Но Pinterest сложнее, чем кажется. У компании есть огромный объем данных, на которых можно тренировать визуальный ИИ. Самый большой публичный массив Image Net, который используют многие исследователи, содержит 14 миллионов фото объектов. У Pinterest таких изображений миллиарды, многие из которых являются официальными фотографиями продуктов с хорошим освещением и композицией. Компьютерам проще распознавать идеальные изображения. Более того, эти фото размечены вручную лояльными пользователями сервиса.

«Вы хотите иметь образцы для всего, что может произойти и что может быть увидено. Чем больше массив данных, тем выше вероятность, что вы не будете удивлены. Миллиарды изображения Pinterest смогут действительно покрыть всё», — говорит Мануэла Велосо, глава машинного обучения в университете Карнеги-Меллон.

Pinterest по умолчанию предлагает несколько нечетких результатов для любого поиска. Запросы на джинсовые куртки приведут к джинсовым курткам, но если одно изображение будет изображать черную джинсовую куртку, а не синюю или, возможно, синюю джинсовую сумку, это не будет похоже на ошибку. Точные совпадения — это специализация поиска Google, которая была оптимизирована для ответа на конкретные вопросы, например, «Как готовить рыбу?». Пользователи Pinterest склонны задавать неопределенные запросы: они могут искать «идеи обеда из морепродуктов» несколько раз в неделю. Для них неточное совпадение не является ошибкой. Это вдохновение.

Другими словами, искусственный интеллект Pinterest может ошибиться. но все равно дать хороший ответ. Представьте, если бы Siri делала то же самое. «В других компаниях мы говорим о высокой точности. Но важно, чтобы пользователи считали функцию полезной. Они могут не требовать 100% точности. Если мы постоянно соответствуем их ожиданиям, они будут считать функцию полезной.» — говорит Ли Фан, глава отдела разработки в Pinterest.

Pinterest также укрепляет доверие пользователей, в то время как другие платформы обвиняются в нарушении приватности. Люди видят Pinterest не как поисковик или социальную сеть. «Вот к каким отношениям с пользователями мы стремимся: вы делитесь информацией о себе и получаете хорошие рекомендации. Вы используете Pinterest, чтобы найти одежду, и мы спросим: “Какие ваши любимые цвета?” В этом нет ничего нарушающего приватность», — говорит Силберманн. И Pinterest делает это при помощи дизайна, который кажется более человечным, чем автоматическим.

С момента основания в 2010 в Pinterest полагались на дизайн и визуальную составляющую с прекрасными изображениями. Но этот инновационный в свое время подход теперь принят титанами вроде Google, который использует фотокарточки во всем. Сегодня Pinterest конкурирует с Instagram, который имеет 800 миллионов MAU, и Snapchat, который предоставляет инновационные AR-технологии.

Но вместо того, чтобы стремиться к агрессивному росту, Pinterest все больше полагается на свое главное предложение: прогнозы насчет того, что хочет видеть пользователь. «Мы много инвестировали в машинное обучение», — говорит Эван Шарп. «Большая часть из того, что видят пользователи, предсказана алгоритмами. Это рекомендации, результаты поиска или похожий пин».

Функция похожих пинов была запущена в 2013 и собирала около 10% взаимодействий в сервисе. В 2014 её улучшили с помощью алгоритмов, которые предлагают похожие предметы на основе визуальных подсказок. Сегодня похожие пины являются источником 40% взаимодействий в Pinterest.

Следующей инвестицией в визуальный ИИ стало назначение Ли Фан главой отдела разработки. До этого она руководила поиском в Baidu и работала в Google над визуальным поиском. С помощью Фан функция визуального поиска в Pinterest выросла на 70% за год, а партнеры Pinterest, продающие свои товары в пинах, увидели удвоение количества кликов.

Всё это превращается в отличную возможность для бизнеса. Pinterest уже предоставляет рекламодателям возможность продвигать свои пины. 93% пользователей используют Pinterest, чтобы планировать покупки, и при этом 97% из них ещё не решили, какой конкретно продукт они хотят. Инструменты визуального поиска делают этот процесс узнавания бренда более привлекательным, особенно когда результаты связаны со вкусами пользователя. Проблема здесь заключается в том, что у брендов ограниченный бюджет на маркетинг, и не только Pinterest стремится продавать им визуальный ИИ.

В ноябре Pinterest представила новую итерацию Lens — Lens Your Look, которая позволяет пользователям находить новые способы носить одежду, которая у них уже есть. Сфотографируйте что-то в своем шкафу, например, черные туфли на толстом каблуке, и потом используйте поиск, чтобы найти одежду, которая к ним подойдет, например, черные платья. Lens Your Look найдет изображения людей в такой же одежде и обуви, возможно, даже того же бренда и модели, что и у вас.

Если пользователь нажимает на конкретные изображения, Pinterest понимает, какие результаты были верными, и будет ориентироваться на них позже. Это идеальная репрезентация подхода компании к визуальному поиску: работа с базой, обучение на вкусах пользователей и принятие несовершенства.

Эван Шарп признает, что точная реализация визуального поиска, вероятно, пока не изобретена. Будем ли мы использовать свои телефоны или какое-то носимое AR-устройство? «Мы пока на ранней стадии, как текстовый поиск в середине 90-х. Есть интересная технология, но никто не погрузился в нее достаточно, чтобы знать, как будет выглядеть продукт или какие проблемы будут решаться».

Но сможет ли Pinterest занять эту нишу? Перспектива звучит пугающе, так как Pinterest собирается конкурировать с Google, одной из самых мощных компаний в мире.

Шарп рисует на доске систему координат. На оси X он пишет «распространение» и «поиск». На оси Y — «текст» и «изображение». Распространение текста? Facebook и Twitter. Поиск текста? Google и Bing. Распространение изображений? Instagram и Snapchat. Но поиск через изображения? Маркер Шарпа замирает, но потом он записывает одну компанию в это поле — Pinterest. Этот классический ход основателя, но Шарп прав в одном — это неколонизированное пространство.