Apple разработала прорывной метод запуска LLM на устройствах с ограниченной памятью

Apple GPT в вашем кармане? Это может стать реальностью раньше, чем вы думаете. Исследователи Apple AI утверждают, что им удалось совершить ключевой прорыв в развертывании больших языковых моделей (LLM) на iPhone и других устройствах Apple с ограниченным объемом памяти благодаря изобретению инновационной техники использования флэш-памяти.

LLM и ограничение памяти

Чат-боты на основе LLM, такие как ChatGPT и Claude, невероятно требовательны к объему данных и памяти, обычно для их работы требуется огромный объем памяти, что является проблемой для таких устройств, как iPhone, которые имеют ограниченный объем. Чтобы решить эту проблему, исследователи Apple разработали новую технику, которая использует флэш-память — ту же самую, в которой хранятся приложения и фотографии — для хранения данных модели ИИ.

ИИ на флэш-памяти

В новой научной статье под названием «LLM на флешке: эффективный вывод большой языковой модели при ограниченной памяти» авторы отмечают, что флеш-память в мобильных устройствах более распространена, чем оперативная, традиционно используемая для запуска LLM. Их метод ловко обходит это ограничение, используя две ключевые техники, которые минимизируют передачу данных и максимизируют пропускную способность флэш-памяти:

1. Окно: Подумайте об этом как о методе рециркуляции. Вместо того чтобы каждый раз загружать новые данные, модель ИИ повторно использует часть уже обработанных данных. Это снижает потребность в постоянном обращении к памяти, делая процесс более быстрым и плавным.
2. Объединение строк и столбцов: Эта техника похожа на чтение книги большими кусками, а не по одному слову за раз. Благодаря более эффективной группировке данных они быстрее считываются из флэш-памяти, что ускоряет способность ИИ понимать и генерировать язык.

Сочетание этих методов позволяет моделям ИИ работать с объемом памяти, в два раза превышающим объем доступной памяти iPhone, говорится в статье. Это означает 4-5-кратное увеличение скорости на стандартных процессорах (CPU) и впечатляющее 20-25-кратное ускорение на графических процессорах (GPU). «Этот прорыв особенно важен для развертывания передовых ИИ в условиях ограниченных ресурсов, что расширяет их применимость и доступность», — пишут авторы.

Более быстрый ИИ на iPhone

Прорыв в эффективности ИИ открывает новые возможности для будущих iPhone, такие как более продвинутые возможности Siri, перевод языка в реальном времени, сложные функции обработки фотографий и дополненной реальности, основанные на ИИ. Технология также создает основу для запуска на iPhone сложных ИИ-ассистентов и чат-ботов, над чем, по слухам, Apple уже работает.

Работа Apple над генеративным ИИ в конечном итоге может быть запущена в рамках Siri. В феврале 2023 года Apple провела саммит по искусственному интеллекту и рассказала сотрудникам о своей работе над большой языковой моделью. По данным Bloomberg, Apple стремится к созданию более умной версии Siri, глубоко интегрированной с искусственным интеллектом. Apple планирует обновить способ взаимодействия Siri с приложением «Сообщения», что позволит пользователям более эффективно отвечать на сложные вопросы. Кроме того, по слухам, Apple планирует добавить искусственный интеллект в как можно большее количество приложений.

Apple GPT

По слухам, Apple разрабатывает собственную генеративную модель ИИ под названием Ajax. Разработанная для того, чтобы соперничать с такими моделями, как GPT-3 и GPT-4 от OpenAI, Ajax оперирует 200 миллиардами параметров, что говорит о высоком уровне сложности и возможностей в понимании и генерации языка. Известный как «Apple GPT», Ajax призван унифицировать разработку машинного обучения в Apple, что предполагает более широкую стратегию, направленную на более глубокую интеграцию ИИ в экосистему Apple.

По последним данным, Ajax считается более функциональным, чем предыдущее поколение ChatGPT 3.5. Однако есть предположение, что к сентябрю 2023 года новые модели OpenAI могут превзойти возможности Ajax.

Издание The Information и аналитик Джефф Пу утверждают, что Apple выпустит какие-то функции генеративного ИИ на iPhone и iPad примерно в конце 2024 года, когда выйдет iOS 18. В октябре Пу заявил, что в 2023 году Apple запустила несколько сотен серверов для ИИ, а в 2024 году их станет еще больше. Как сообщается, Apple предложит сочетание облачного ИИ и ИИ с обработкой на устройстве.