Исследователи нашли способ обойти защиту Apple Intelligence

Теперь уже исправленная ошибка позволила исследователям обойти ограничения Apple и заставить встроенную LLM-модель выполнять действия, контролируемые злоумышленником.

Два сообщения в блоге (1, 2), опубликованные сегодня в блоге RSAC, подробно описывают, как исследователи объединили две стратегии атаки, чтобы заставить встроенную модель Apple выполнять инструкции, контролируемые злоумышленником, посредством внедрения промпта (prompt injection).

Интересно, что им удалось успешно реализовать эксплойт, не будучи на 100% уверены в том, как локальная модель Apple обрабатывает часть конвейера фильтрации ввода и вывода, поскольку Apple не раскрывает точные детали внутренней работы своих моделей, вероятно, по соображениям безопасности.

Тем не менее, исследователи отмечают, что у них есть довольно хорошее представление о том, что происходит «под капотом».

По их словам, наиболее вероятный сценарий заключается в том, что после того, как пользователь отправляет запрос модели Apple на устройстве через вызов API, входной фильтр проверяет, не содержит ли запрос небезопасного контента.

В этом случае API выдает ошибку. В противном случае запрос перенаправляется на фактическую модель на устройстве, которая, в свою очередь, передает свой ответ выходному фильтру, проверяющему, содержит ли выходной поток небезопасный контент, что либо приводит к ошибке API, либо пропускает запрос, в зависимости от того, что он обнаруживает.

Учитывая это, исследователи обнаружили, что они могут объединить две техники эксплуатации, чтобы заставить модель Apple игнорировать свои основные директивы безопасности, одновременно обманывая входной и выходной фильтры, чтобы пропустить вредоносный контент.

Сначала они записали вредоносную строку в обратном порядке, затем использовали символ переопределения справа налево (RIGHT-TO-LEFT OVERRIDE) в Unicode, чтобы она корректно отображалась на экране пользователя, сохраняя при этом обратное написание в исходных данных и на выходе, где её проверяли бы фильтры.

Затем исследователи внедрили эту перевернутую вредоносную строку во второй метод атаки, называемый Neural Exec, который представляет собой сложный способ переопределения инструкций модели любыми новыми инструкциями, которые может захотеть выполнить злоумышленник.

В результате атака с использованием Unicode смогла обойти входные и выходные фильтры, в то время как Neural Exec фактически заставил модель Apple работать некорректно.

Для оценки эффективности атаки подготовили три отдельных пула для создания подходящих подсказок ввода:

• Системные подсказки: набор системных подсказок/задач (например, «Отредактируйте предоставленный текст в соответствии с американскими правилами орфографии и пунктуации»).
• Вредоносные строки: Созданные вручную строки, которые считаются оскорбительными или опасными (т. е. выходные данные, которые мы стремимся заставить модель генерировать).
• Честные входные данные: Абзацы, взятые из случайных статей Википедии, используемые для имитации неагрессивных, безобидных на вид входных данных (например, в контексте косвенного внедрения подсказок через RAG или аналогичные системы).

В ходе оценки случайным образом выбираем один элемент из каждого пула, собираем полную подсказку, создаем полезную нагрузк, внедряем ее и проверяем, успешна ли атака, вызывая модель Apple на устройстве через ОС.

В своих тестах злоумышленники достигли 76% успеха по 100 случайным подсказкам.

Они сообщили об атаке Apple в октябре 2025 года, и компания «с тех пор усилила защиту затронутых систем от этой атаки, и эти меры защиты были внедрены в iOS 26.4 и macOS 26.4».