На платформе Hugging Face было обнаружено не менее 100 вредоносных ИИ-моделей, некоторые из которых могут выполнять код на машине жертвы, предоставляя злоумышленникам постоянный бэкдор.
Hugging Face — это технологическая компания, занимающаяся искусственным интеллектом (ИИ), обработкой естественного языка (NLP) и машинным обучением (ML), предоставляющая платформу, на которой сообщества могут сотрудничать и обмениваться моделями, наборами данных и готовыми приложениями.
Команда безопасности JFrog обнаружила, что около сотни моделей, размещенных на платформе, содержат вредоносный функционал, что создает значительный риск утечки данных и шпионских атак.
Это происходит, несмотря на меры безопасности Hugging Face, включая сканирование на наличие вредоносного кода и секретов, а также тщательное изучение функционала моделей на предмет обнаружения такого поведения, как небезопасная десериализация.
Компания JFrog разработала и развернула продвинутую систему сканирования для проверки моделей PyTorch и Tensorflow Keras, размещенных на Hugging Face, и обнаружила около ста моделей с той или иной формой вредоносной функциональности.
«Важно подчеркнуть, что когда мы говорим о «вредоносных моделях», мы имеем в виду именно те, которые содержат реальную вредоносную полезную нагрузку», — говорится в отчете JFrog.
«Этот подсчет исключает ложные срабатывания, обеспечивая достоверное представление об усилиях по созданию вредоносных моделей PyTorch и Tensorflow на Hugging Face».
Например, одна из моделей PyTorch, загруженная недавно пользователем под ником «baller423» и уже удаленная с HuggingFace, содержала код, который позволял установить обратный shell на указанный хост.
Вредоносная полезная нагрузка использовала метод __reduce__ модуля pickle в Python для выполнения произвольного кода при загрузке файла модели, избегая обнаружения за счет встраивания вредоносного кода в доверенный процесс сериализации.
Компания JFrog обнаружила, что один и тот же код подключается к другим IP-адресам в отдельных случаях, и эти данные указывают на то, что его операторы могут быть исследователями, а не хакерами. Однако их эксперименты все равно были рискованными и неуместными.
Аналитики развернули HoneyPot для привлечения и анализа активности, чтобы определить реальные намерения операторов, но не смогли перехватить ни одной команды в течение периода установленного соединения (один день).
По словам JFrog, некоторые из вредоносных нагрузок могут быть частью исследований безопасности, направленных на обход мер защиты на Hugging Face и сбор вознаграждения за ошибки, но поскольку опасные модели стали общедоступными, риск реален и не должен быть недооценен.
Модели искусственного интеллекта могут представлять значительные риски для безопасности, и эти риски не были оценены или обсуждены с должным усердием заинтересованными сторонами и разработчиками технологий.
Результаты исследования JFrog подчеркивают эту проблему и призывают к повышению бдительности и принятию проактивных мер для защиты экосистемы от злоумышленников.