Исследователи обнаружили в Hugging Face вредоносные модели ИИ

На платформе Hugging Face было обнаружено не менее 100 вредоносных ИИ-моделей, некоторые из которых могут выполнять код на машине жертвы, предоставляя злоумышленникам постоянный бэкдор.

Hugging Face — это технологическая компания, занимающаяся искусственным интеллектом (ИИ), обработкой естественного языка (NLP) и машинным обучением (ML), предоставляющая платформу, на которой сообщества могут сотрудничать и обмениваться моделями, наборами данных и готовыми приложениями.

Команда безопасности JFrog обнаружила, что около сотни моделей, размещенных на платформе, содержат вредоносный функционал, что создает значительный риск утечки данных и шпионских атак.

Это происходит, несмотря на меры безопасности Hugging Face, включая сканирование на наличие вредоносного кода и секретов, а также тщательное изучение функционала моделей на предмет обнаружения такого поведения, как небезопасная десериализация.

Компания JFrog разработала и развернула продвинутую систему сканирования для проверки моделей PyTorch и Tensorflow Keras, размещенных на Hugging Face, и обнаружила около ста моделей с той или иной формой вредоносной функциональности.

«Важно подчеркнуть, что когда мы говорим о «вредоносных моделях», мы имеем в виду именно те, которые содержат реальную вредоносную полезную нагрузку», — говорится в отчете JFrog.

«Этот подсчет исключает ложные срабатывания, обеспечивая достоверное представление об усилиях по созданию вредоносных моделей PyTorch и Tensorflow на Hugging Face».

Например, одна из моделей PyTorch, загруженная недавно пользователем под ником «baller423» и уже удаленная с HuggingFace, содержала код, который позволял установить обратный shell на указанный хост.

Вредоносная полезная нагрузка использовала метод __reduce__ модуля pickle в Python для выполнения произвольного кода при загрузке файла модели, избегая обнаружения за счет встраивания вредоносного кода в доверенный процесс сериализации.

Компания JFrog обнаружила, что один и тот же код подключается к другим IP-адресам в отдельных случаях, и эти данные указывают на то, что его операторы могут быть исследователями, а не хакерами. Однако их эксперименты все равно были рискованными и неуместными.

Аналитики развернули HoneyPot для привлечения и анализа активности, чтобы определить реальные намерения операторов, но не смогли перехватить ни одной команды в течение периода установленного соединения (один день).

По словам JFrog, некоторые из вредоносных нагрузок могут быть частью исследований безопасности, направленных на обход мер защиты на Hugging Face и сбор вознаграждения за ошибки, но поскольку опасные модели стали общедоступными, риск реален и не должен быть недооценен.

Модели искусственного интеллекта могут представлять значительные риски для безопасности, и эти риски не были оценены или обсуждены с должным усердием заинтересованными сторонами и разработчиками технологий.

Результаты исследования JFrog подчеркивают эту проблему и призывают к повышению бдительности и принятию проактивных мер для защиты экосистемы от злоумышленников.