Главным узким местом для запуска более крупных ИИ-моделей на смартфонах остаётся объём памяти, а с учётом нынешней ситуации с DRAM маловероятно, что в ближайшее время устройства массово преодолеют отметку в 16 ГБ. Тем не менее генеральный директор Qualcomm Кристиано Амон считает, что мы вскоре окажемся в эпохе, когда смартфоны смогут непрерывно запускать LLM на 100 млрд параметров, и подтверждает, что ИИ-компании уже работают над смартфонами, способными на такое. При этом, говоря о практичности запуска столь крупных моделей, Амон не объяснил, каким образом производители телефонов смогут устанавливать настолько большие объёмы RAM в условиях дефицита памяти и очень высоких цен.
Даже для запуска 100-миллиардной LLM с 4-битным квантованием смартфону потребуется около 50 ГБ оперативной памяти. Единственные реалистичные способы запускать 100B LLM на смартфонах к 2028 году — потоковая загрузка из флеш-памяти или разреженные MoE-модели
В разговоре с Fireside Alpha Кристиано Амон не назвал конкретные ИИ-компании, которые хотят получить смартфоны с возможностью запускать 100B LLM, однако его заявление о том, что такие устройства могут появиться уже в 2028 году, выглядит крайне амбициозно. Из-за кризиса на рынке памяти многие производители смартфонов уже отказались от выпуска версий с большим объёмом RAM, хотя ещё год назад существовали Android-устройства с внушительными 24 ГБ LPDDR5X.
Если посчитать, то для запуска 100-миллиардной модели с 4-битным квантованием смартфону потребуется как минимум 50 ГБ RAM, причём ещё нужно оставить достаточно памяти для операционной системы, приложений и кэша контекста. Даже модель с 2-битным квантованием остаётся практически недостижимой: только под саму 100B LLM потребовалось бы около 25 ГБ памяти. И даже если предположить, что проблемы с ценами и поставками DRAM удастся решить, остаётся ещё одна серьёзная проблема: постоянный запуск крупных моделей выделяет огромное количество тепла и приводит к троттлингу.
Apple и Qualcomm частично пытаются решать эту проблему изменениями в упаковке чипов в A20 Pro и Snapdragon 8 Elite Extreme Gen 6, но само ограничение по памяти никуда не исчезнет, если не применять более нестандартные подходы к запуску 100B-моделей. Например, агрессивное квантование может резко сократить требования к памяти, и 1-битные варианты уже теоретически можно уместить в DRAM. Однако после перехода ниже 4 бит качество LLM заметно ухудшается, особенно в задачах на рассуждение.
Ещё один вариант — MoE, или Mixture of Experts, с выгрузкой экспертов. В такой архитектуре для каждого токена активируется только небольшая часть экспертов, поэтому они могут находиться в RAM, а остальные — храниться во флеш-памяти. К слову о флеш-памяти: Apple уже исследовала запуск LLM с использованием встроенного накопителя, но скорость инференса может падать, поскольку UFS и NVMe значительно медленнее DRAM.
Дистиллированная модель на 20–30 млрд параметров при запуске на смартфоне потенциально может приблизиться по качеству к 100B-модели. Именно это выглядит более реалистичной и рыночно привлекательной стратегией для компаний.
К сожалению, одних заявлений генерального директора Qualcomm без подробной дорожной карты недостаточно, чтобы приблизить массовый запуск таких крупных моделей на смартфонах. Но сама идея того, что телефоны смогут получить возможности, сопоставимые с гораздо более мощными компьютерами, всё равно выглядит впечатляюще.