Запуск локальных моделей искусственного интеллекта на ноутбуке Microsoft Surface Laptop Ultra: что мы обнаружили

Microsoft позиционирует новый Surface Laptop Ultra как альтернативу Apple MacBook Pro для творческих людей и разработчиков, особенно для разработчиков искусственного интеллекта.

Созданный на платформе RTX Spark на базе N1X от Nvidia, с графическим процессором Blackwell RTX с количеством ядер до 6144, процессором с числом ядер до 20, до 128 ГБ единой памяти и ценой, которая ниже Apple, это заманчивая альтернатива, если вы хотите запускать локальные модели искусственного интеллекта, а также хотите иметь мощную машину для редактирования видео и игр на ходу.

Это Новый стекпоэтому я оставляю игровые тесты и варианты использования создателей другим. При тестировании устройства я сосредоточился на выполнении рабочих нагрузок искусственного интеллекта.

На прошлой неделе я использовал Surface Laptop Ultra в его высококлассной конфигурации графического процессора и процессора стоимостью 4300 долларов США с 64 ГБ ОЗУ и твердотельным накопителем емкостью 1 ТБ, в том числе в дороге.

Обычно я использую дома Mac Studio с чипом M4 Max, который успешно работает с большинством местных моделей, которые я ему добавляю (при условии, что они умещаются в 48 ГБ ОЗУ). Я установил на ноутбук все обычные инструменты, которые использую для запуска локальных моделей. Вспомните Unsloth Studio, Ollama, Hermes Agent и т. д.

Я ни разу не почувствовал, что иду на компромисс при запуске их на ноутбуке. Действительно, во всяком случае, графический процессор Blackwell в целом был немного быстрее, чем моя Mac Studio.

Быстрый локальный вывод (с правильными моделями)

Поскольку новая модель Nemotron 3.5 Bolt была выпущена ранее на этой неделе, я тоже попробовал ее. Он отвечал на запросы со впечатляющей скоростью — 56–60 токенов в секунду, а иногда и больше. Это делает его отличной моделью для работы, например, в Hermes Agent или OpenCode. Это сильно квантованная модель с 9B активными параметрами, поэтому, конечно, можно ожидать, что она будет быстрой.

Тем не менее, хотя ноутбук имеет унифицированную память для его работы, плотный Qwen 3.8 27B при 8-битном квантовании никогда не достигал более 8 или 9 токенов в секунду в Unsloth Studio. Это не совсем удобно, но в моделях с высокой плотностью это практически всегда связано с пропускной способностью памяти. Но при уменьшении его до 4-битного квантования скорость выросла до приличных 25–28 токенов в секунду.

Использование 8-битной программы Gemma 4 26B-A4B показывает, что метод объединения экспертов действительно необходим для локального запуска практически любой модели на разумной скорости. Для этой модели Surface Laptop Ultra обычно работает со скоростью около 40 токенов в секунду.

У меня нет под рукой MacBook или Mac Studio на базе M5, но Tom’s Hardware сообщает, что Ultra в целом превосходит M5 Max в MacBook Pro в случаях использования искусственного интеллекта.

Производительность падает при отключении от сети

Все предыдущие цифры были указаны для ноутбука, подключенного к зарядному устройству мощностью 140 Вт. Microsoft заявляет, что настроила систему так, чтобы работа от батареи по-прежнему обеспечивала пользователям большую часть полной производительности. Microsoft утверждает, что ее тесты показали, что ноутбук сохранил 99,6% своей производительности при работе от батареи, но, по крайней мере, для тестируемых мной рабочих нагрузок искусственного интеллекта это падение было гораздо более заметным.

Например, 4-битная модель Qwen 3.8 упала с 25-28 токенов в секунду до примерно 18 токенов в секунду при работе от батареи. Для Nemotron 3.5 Bolt производительность упала примерно до 42–45 токенов в секунду. В целом, кажется справедливым ожидать потери производительности примерно на 20–25 % при работе от батареи при выполнении рабочих нагрузок искусственного интеллекта (и игры показывают очень похожее падение).

Я не проводил никаких официальных тестов времени автономной работы. Microsoft заявляет, что пользователи могут рассчитывать на 12 часов активного использования Интернета. Однако, если вы постоянно выполняете локальные рабочие нагрузки искусственного интеллекта, основываясь на моих наблюдениях, я бы не ожидал, что время автономной работы будет превышать несколько часов.

Вопросы по оперативной памяти

Наличие 64 ГБ ОЗУ ставит вас в несколько странную ситуацию, учитывая, что большинство моделей меньшего размера сейчас находятся в лиге от 27B до 30B. Дополнительная оперативная память дает вам достаточно места для кэша KV и других приложений, но, например, не так много моделей в диапазоне 32–48 ГБ, с которыми машина могла бы справиться.

Переход на 128 ГБ оперативной памяти увеличивает цену Surface Laptop Ultra до 5900 долларов.

Компромисс за всю эту мощность: тепло и шум

Неудивительно, что вся вычислительная мощность (Microsoft утверждает, что производительность искусственного интеллекта FP4 достигает 1 петафлопа) выделяет немного тепла.

Никто не будет спорить, что Surface Laptop Ultra работает бесшумно при запуске приложений искусственного интеллекта. Шум, который издают его двойные вентиляторы, не слишком велик, но достаточен, чтобы немного действовать вам на нервы во время работы. Это особенно заметно, когда Hermes или ваш любимый агент кодирования какое-то время работает над более сложным запросом.

В конце концов, есть причина, по которой Surface RTX Spark Dev Box, построенный на базе той же платформы N1X, имеет тысячу вентиляционных отверстий (что также, вероятно, позволит ему повысить производительность за пределы N1X в ноутбуке).

В остальном ноутбук очень тихий, а вентиляторы в большинстве случаев повседневного использования остаются выключенными. Он также очень быстро успокаивается, когда нагрузка на графический процессор снова падает.

Еще несколько наблюдений

Я был бы упущен, если бы не выделил еще несколько вещей, которые обнаружил во время тестирования Ultra. В конце концов, это самый амбициозный ноутбук Microsoft.

• Тачпад огромен и имеет тактильную обратную связь. Пока существует лишь несколько приложений, которые его поддерживают, включая, например, DaVinci Resolve. Наличие такой обратной связи ускоряет редактирование, что вы можете почувствовать, например, когда курсор воспроизведения встанет на место. Я хочу больше тачпадов с этой функцией.
• Что бы Microsoft ни делала с динамиками, творится чудеса. В передней части ноутбука расположены боковые вентиляционные отверстия, которые создают удивительно широкое стереополе, что вы обязательно заметите в играх.
• Новый магнитный разъем для зарядки USB-C удобен. Это очень похоже на магнитное соединение Connect на других устройствах Surface. Я просто боюсь, что рано или поздно потеряю кабель.
• Microsoft не позиционирует его как игровой ПК, но с этим графическим процессором люди будут пытаться поиграть в несколько игр, и я тоже. Игры на машине с Windows ARM все еще находятся на ранней стадии развития, но благодаря эмуляции Microsoft они обычно работают без особых затрат.
  Игры, которые больше полагаются на графический процессор, чем на процессор, будут работать лучше, но я смог поиграть в Cyberpunk 2077 в 2K с включенной трассировкой лучей со скоростью около 60 кадров в секунду. Благодаря генерации кадров и нескольким изменениям настроек можно даже играть в формате 4K.
• С отключенной трассировкой лучей ремастер «Ведьмака 3» также успешно работал со скоростью 60 кадров в секунду в разрешении 4K.
• Но поскольку 15-дюймовый сенсорный экран с соотношением сторон 3:2 (3270×2180) по сути является лучшим экраном 3K, вам все равно не захочется запускать игру в 4K, если вы не подключите внешний монитор.
• Экран выглядит великолепно и может быть очень ярким, но при этом имеет высокую отражающую способность. Это часто отвлекает.
• В целом, Windows на ARM сейчас выглядит намного надежнее, чем год назад. Конечно, есть некоторые приложения и игры, которые не запускаются (или работают плохо), но я не столкнулся с какими-либо проблемами. Разработчики (например, OpenCode) все чаще предлагают версии настольных приложений для Windows ARM64.
• Наличие двух портов USB-C, одного USB-A и порта HDMI — это большая радость, если у вас есть старые аксессуары. Добавьте разъем для наушников и устройство чтения карт SD, и вам даже не понадобится носить с собой концентратор USB-C.
• Я привык к своему MacBook Air. Ноутбук Ultra весит 4,41 фунта (2 кг).
• SSD подлежит замене. Под ноутбуком есть четыре винта, и вы не теряете гарантию, если откроете компьютер. Apple следует обратить внимание.

Прежде чем присоединиться к The New Stack в качестве старшего редактора по искусственному интеллекту, Фредерик был корпоративным редактором в TechCrunch, где освещал все, от появления облака и первых дней Kubernetes до появления квантовых вычислений….

Узнайте больше от Фредерика Лардинуа