Site icon AppTractor

5 вещей, о которых стоит знать перед покупкой ноутбука с Nvidia RTX для локального ИИ

Nvidia взяла чип из своего DGX Spark, установила его в Windows-ноутбук и назвала это RTX Spark. На бумаге это тот самый ноутбук для локального ИИ, который я хотел уже много лет: до 128 ГБ унифицированной памяти, CUDA и чип, который уже существовал под другим названием. Последнюю неделю я запускал модели на Lenovo Yoga 9n 2-in-1 с 64 ГБ памяти, а заодно тестировал игры и другие задачи.

Это по-настоящему мощная машина. Однако некоторые нюансы проявились лишь тогда, когда я начал загружать модели и экспериментировать с настройками памяти — в технических характеристиках об этом ни слова. Конечно, для запуска локальной большой языковой модели (LLM) вовсе не обязательно иметь дорогостоящий графический процессор, но если вы выкладываете за такое устройство 3000 долларов или больше, то большинство важных решений формируются в тот самый момент, когда вы оформляете заказ.

Выбор объёма памяти определяет, какие модели вы сможете запускать

Навсегда, потому что оперативная память распаяна на плате

Память RTX Spark распаяна на материнской плате, поэтому тот объём, который вы выберете при покупке, останется с вами навсегда. Сам чип также выпускается в двух вариантах: более дешёвая версия с 18-ядерным CPU и 5120 GPU-ядрами поддерживает максимум 64 ГБ памяти, а полноценная 20-ядерная версия — до 128 ГБ.

Сам ноутбук здесь не менее важен, чем чип. Мой Yoga 9n 2-in-1 оснащён полноценным 20-ядерным чипом, 64 ГБ памяти и SSD на 1 ТБ и стоит около $3750. Microsoft Surface Laptop Ultra с тем же чипом, объёмом памяти и накопителем стоит $4300, зато доступна версия со 128 ГБ за $5900. Да, Yoga дешевле и поддерживает перо как на экране, так и на тачпаде, чего нет у Surface, но увеличить его память сверх 64 ГБ уже никогда не получится.

Для моделей этот потолок вполне реальный. На моём устройстве максимальный общий объём GPU памяти, который показывала Windows, составлял 55,4 ГБ при разделении памяти с выделением 48 ГБ GPU — 48 ГБ dedicated плюс 7,4 ГБ shared. Этого более чем достаточно для модели на 32B параметров, но меньше 65 ГБ, которые требуются только для весов gpt-oss-120b. Покупайте память исходя из моделей, которые захотите запускать через два года, а не только тех, которыми пользуетесь сегодня.

Разделение памяти в приложении Nvidia — не тот жёсткий предел, которым кажется

Возможно, для игр это так, но локальные LLM работают иначе

Приложение Nvidia позволяет разделять унифицированную память RTX Spark между GPU и CPU, и очевидно предположить, что число, указанное для GPU, и есть ваш объём VRAM. Но это не совсем так. Когда я выделил GPU 16 ГБ, Ollama загрузила Qwen3 32B объёмом 28 ГБ и сообщила о 100% использовании GPU, а Task Manager показывал 15,8 ГБ в dedicated GPU memory плюс 12,9 ГБ в shared memory.

Это соответствует документации Nvidia по переносу приложений, где описывается выделенная область памяти плюс общая системная память, которой GPU также может пользоваться. Поэтому я увеличил выделение GPU до 48 ГБ, перезагрузился и снова запустил тот же запрос.

16 ГБ для GPU 48 ГБ для GPU
Использовано dedicated GPU memory 15,8 ГБ из 16 ГБ 29,8 ГБ из 48 ГБ
Использовано shared GPU memory 12,9 ГБ из 30,8 ГБ 0,7 ГБ из 7,4 ГБ
Использование памяти Windows 26,0 ГБ из 46,8 ГБ 12,7 ГБ из 14,8 ГБ
Скорость генерации 11,8 токена/с 12,1 токена/с

Проблема в том, что чем больше памяти вы отдаёте GPU, тем меньше остаётся Windows. При выделении 48 ГБ Windows получала всего 14,8 ГБ и уже использовала 86% этой памяти при загруженной модели — ради примерно 3% прироста скорости на прогретом запуске. По сути, разделение влияет только на то, что поместится в пограничных случаях: Windows показывала 46,7 ГБ общей GPU memory при выделении 16 ГБ и 55,4 ГБ при 48 ГБ. Я оставлю GPU 16 ГБ и, если модель не требует большего объёма, предпочту отдавать память Windows.

Smart App Control блокирует множество инструментов для локального ИИ

По умолчанию разрешены только подписанные приложения

Свежая установка Windows 11 может поставляться с включённым Smart App Control, который разрешает запуск приложений только в том случае, если они имеют цифровую подпись или облачная служба Microsoft считает их безопасными. Для локального ИИ это неудобно, поскольку множество инструментов распространяется просто ZIP-архивами с GitHub. Когда я сравнивал RTX Spark со Strix Halo, Smart App Control блокировал актуальные сборки Lemonade и неподписанные версии llama.cpp на обоих ноутбуках, а Ollama оказалась единственным инструментом, который запустился на обеих машинах.

Самое странное, что старая версия Lemonade работала нормально, а текущая — уже нет. В моём случае именно обновление уже работавшего инструмента оказалось заблокировано. На моём Yoga Smart App Control включён в Windows Security, а возможность вернуться в evaluation mode недоступна, так что после перехода в режим принудительного контроля удобного промежуточного варианта практически нет.

Проверить настройку можно в Windows Security -> App & browser control -> Smart App Control, там же Smart App Control можно отключить. Microsoft заявляет, что в последних обновлениях его теперь можно снова включить без чистой переустановки системы, поэтому решение больше не является необратимым. Я оставлю его включённым, но лучше определиться с этим до того, как вы начнёте собирать свой набор инструментов.

CUDA на Windows on Arm всё ещё находится на начальном этапе

CUDA работает, но ваш набор инструментов может не заработать

Nvidia добавила CUDA в Windows on Arm только в этом году — вместе с CUDA 13.4 — и первоначально она появилась как developer preview исключительно для устройств RTX Spark. Драйвер моего Yoga теперь сообщает о CUDA 13.5, и базовая функциональность работает отлично: Ollama без каких-либо проблем запускала 28-гигабайтную модель на GPU.

Проблемы начинаются дальше по стеку. Во время превью Nvidia предупреждала, что некоторые сценарии разработки с PyTorch могут вызывать GPU таймауты, а у vLLM вообще нет нативной поддержки Windows — по данным LeCompute. В ответ Nvidia утверждает, что поддерживаются 97% из 15 000 наиболее популярных Python-пакетов. Звучит прекрасно — пока ваш проект не зависит от оставшихся 3%.

Поэтому перед покупкой составьте список всего своего набора инструментов — от собственных ComfyUI nodes до скомпилированных расширений и инструментов обучения — и проверьте наличие Arm64-сборки для каждого компонента. Если добавить столбец Architecture на вкладке Details в Task Manager, можно увидеть, какие приложения уже работают нативно, а какие запускаются через эмуляцию. А если что-то вообще отказывается работать в Windows, ответ Microsoft — WSL2, что подводит нас к Linux.

Linux работает, но не благодаря Nvidia

Тот же чип, совершенно другой уровень поддержки

Вот здесь становится особенно неприятно. Чип GB10, лежащий в основе RTX Spark, работает под Ubuntu-based DGX OS в Nvidia DGX Spark, но ноутбуки RTX Spark поставляются только с Windows, и на момент написания Nvidia не объявляла официальную поддержку Linux для них. Когда computingforgeeks проверял ситуацию, публичный Linux-драйвер Nvidia версии 615.71.09 поддерживал GB10, но не ноутбучную версию чипа.

Это, впрочем, не остановило энтузиастов. Жозефина Пфайффер запустила Arch Linux ARM на Asus ProArt P16 со 128 ГБ памяти. Для этого потребовались наработки Nvidia для ядра Ubuntu, ACPI overrides, собранные из собственных таблиц ноутбука, исправленный драйвер клавиатуры и собственный аудиодрайвер. CUDA увидела около 116 GiB памяти, а vLLM запускала модель Qwen со скоростью примерно 31 токен в секунду. Впечатляет, но речь идёт об одном человеке и одном конкретном ноутбуке, поэтому воспринимать это стоит лишь как proof of concept.

Реалистичный вариант — WSL2, и на моём Yoga он работал хорошо. Ubuntu 24.04 запускается нативно на Arm, GPU виден внутри WSL2, а объём GPU memory точно соответствовал настройке в приложении Nvidia — как при 16 ГБ, так и при 48 ГБ. Ограничение касается RAM: по умолчанию WSL2 получает только половину памяти, доступной Windows, поэтому лимит стоит увеличить в файле .wslconfig в вашей пользовательской папке. Этот пример предполагает разделение с 16 ГБ для GPU, при котором Windows остаётся около 47 ГБ:

RTX Spark — отличная платформа, если понимать, во что ввязываешься

Ни одна из перечисленных проблем не является критичной. RTX Spark всё ещё остаётся самым мощным Windows-ноутбуком для локального ИИ из всех, которыми я пользовался, а CUDA на ноутбуке с таким объёмом памяти — это серьёзное преимущество. Но большинство этих нюансов определяются уже в момент оформления заказа или в первый день использования, поэтому о них стоит подумать ещё до того, как коробка окажется у вас дома.

Выбирайте объём памяти исходя из моделей, которые захотите запускать через два года; отдавайте GPU большую долю памяти только в том случае, если модель иначе не помещается; и заранее проверяйте свой Python-стек на наличие Arm64-сборок. Решите, что будете делать со Smart App Control, ещё до установки инструментов, и проверяйте его снова после их обновлений. А Linux лучше воспринимать как приятный бонус, если всё заработает, а не как гарантированный план.

Источник

Exit mobile version