Китайская сеть из 444 ИИ-приложений скрывала от Apple и Google инструменты для создания порнографических дипфейков

Сотни китайских приложений с искусственным интеллектом тайно размещали инструменты для создания порнографических дипфейков прямо под носом у крупных технологических компаний.

Согласно отчету исследователей из AI Forensics, сеть из 444 приложений, позиционирующих себя как инструменты для создания причесок и портретов домашних животных с помощью ИИ, на самом деле незаметно позволяла пользователям создавать откровенный контент с помощью дипфейков. Как сообщило в понедельник издание WIRED, все приложения, по-видимому, управлялись компанией KeLing Technology Limited, зарегистрированной в Гонконге, а также китайскими разработчиками.

В сентябре 20 приложений сети были оценены как подходящие для детей в магазине Google Play, говорится в отчете.

Компания AI Forensics изучила Prilos, приложение для причесок с использованием ИИ, и обнаружила, что модель ByteDance использовалась для генерации изображений, а модель Alibaba — для создания видео, говорится в отчете.

Между тем, исследователи обнаружили, что пользователям, загружавшим Prilos через рекламу Meta*, показывалась версия приложения с откровенным содержанием. «Изнасилование в спальне» и «Запереть ее» были среди шаблонов с откровенным содержанием, доступных пользователям после отправки изображения в приложение.

Другое приложение, Viefur, рекламировалось как инструмент для создания фотографий антропоморфных домашних животных. Но оно так же занималось порнографией и было удалено из магазина Apple после того, как WIRED обратился к компании с вопросом об этих приложениях.

Приложения для распространения порнографического контента соответствовали политике Apple на этапе первоначального одобрения, но позже они заменили одобренный контент на откровенно порнографический и размещали рекламу на Meta для его продвижения.

«Когда злоумышленники обходят наш строгий процесс проверки, мы быстро удаляем приложения и прекращаем сотрудничество с разработчиками, стоящими за ними, как мы это сделали со всеми 19 из них», — говорится в заявлении компании. «Мы будем продолжать работать круглосуточно, чтобы искоренить злоумышленников, занимающихся злоупотреблением».

«Это организованная, коммерчески управляемая операция: один оператор стоит за сотнями одноразовых приложений и доменов, замаскированных для прохождения ревью App Store, и продвигает десятки тысяч рекламных объявлений на Meta под вымышленными именами плательщиков», — заявил WIRED Пол Бушо, ведущий исследователь AI Forensics.

Между тем, Google удалил большинство приложений для распространения порнографического контента до того, как WIRED связалось с компанией, сообщило издание. Приложение DiffAI, «содержащее шаблоны для создания материалов сексуального характера и других видов порнографического контента», было загружено из Play Store более 105 000 раз, говорится в отчете.

На момент публикации Google не предоставил DCNF официального заявления. Связаться с KeLing Technology Limited DCNF не удалось, два из трех запросов не были доставлены на электронную почту компании. По данным WIRED, адреса электронной почты KeLing с нескольких веб-сайтов в сети были удалены после запроса.

В отчете говорится, что с 1 января на платформах Meta было размещено более 84 000 рекламных объявлений, связанных с сетью. Эти объявления были оплачены с использованием вымышленных имен, таких как «123456».

Meta заявила, что уже обнаружила большинство рекламных объявлений сети до того, как WIRED связался с компанией.

«У нас действуют строгие правила против продвижения приложений с обнаженными изображениями, и мы активно работаем над тем, чтобы этот материал не попадал на наши сервисы», — говорится в заявлении Meta. «Наши системы уже заблаговременно обнаружили и удалили большую часть этой рекламы, даже несмотря на то, что стоящие за ней преступники предпринимают все более обманные шаги, чтобы избежать обнаружения — скрываясь за вымышленными именами и личностями, размещая рекламу, которая выглядит безобидной, и иногда ссылаясь на магазины приложений Google и Apple, при этом истинная цель рекламы раскрывается только после клика».

После того, как KeLing проигнорировала письмо Meta с требованием прекратить противоправные действия, технологический гигант в 2025 году запретил ей размещать рекламу на своих платформа. Однако операторы, стоящие за этой сетью, управляют рекламными аккаунтами и публикуют приложения через подставные компании в Гонконге и меняют подставные компании после того, как одна из них блокируется на платформах компании, сообщила Meta.