Старение NVIDIA Серия GeForce RTX 30 (кодовое имя Ампер) Судя по всему, графические процессоры обладают значительным неиспользованным вычислительным потенциалом. Новый проект с открытым исходным кодом под названием Разблокировка графического процессораразработанный GitHub пользователь Загиттапозволяет графическим процессорам Ampere преодолевать определенные искусственные ограничения производительности, почти удвоение вычислительной производительности Tensor Core при определенных рабочих нагрузках без необходимости использования модифицированного драйвера NVIDIA или постоянной флэш-памяти VBIOS..
Проект конкретно нацелен на Ограничение скорости выдачи инструкций, влияющее на операции тензорного ядра FP16/BF16 с накоплением FP32который работает на потребительских видеокартах Ampere по сниженной цене по сравнению с их профессиональными аналогами. Убрав это ограничение, инструмент эффективно обеспечивает дополнительную вычислительную производительность, которую уже могли обеспечить графические процессоры..
Интересно, что разблокировка графического процессора основана на более ранних исследованиях NVIDIA. Графические процессоры CMP для майнинга криптовалюты. Он сочетает в себе методы разблокировки прошивки проекта CMP с подходом ранней инициализации с использованием Модуль ядра Linux, который выполняется до загрузки драйвера графического процессора NVIDIA.. Модуль изменяет соответствующие аппаратные селекторы скорости, выполняет сброс функционального уровня (FLR), а затем позволяет немодифицированному драйверу нормально инициализировать графический процессор.
Это также означает, что пользователям не придется исправлять драйверы NVIDIA каждый раз при выпуске новой версии. В настоящее время разработчик указывает поддержку Графические процессоры GA102, GA103, GA104 и GA106охватывает значительную часть линейки GeForce RTX 30, хотя улучшение совместимости и производительности не гарантируется для каждой видеокарты.
Улучшение производительности может быть значительным. Согласно тестам, опубликованным в репозитории проекта на GitHub, RTX 3090 Ti работает с ограничением мощности 450 Вт добился следующих результатов в умножение плотной матрицы (GEMM) тесты с накоплением FP32:
| Точность | Запас | Разблокировка графического процессора | Улучшение |
|---|---|---|---|
| РП16 | 87,46 Тфлопс | 118,39 Тфлопс | +35% |
| БФ16 | 87,50 Тфлопс | 157,41 Тфлопс | +80% |
| ТФ32 | 42,58 Тфлопс | 82,61 Тфлопс | +94% |
Эти результаты не являются эксклюзивными для RTX 3090 Ti. Владелец RTX 3080 Ti сообщил, что пропускная способность BF16 увеличилась с от 71,59 до 113,98 терафлопспока ТФ32 производительность улучшилась с от 35,65 до 65,28 терафлопсс ограничением графического процессора 315 Вт. Задокументирован еще один отчет о совместимости RTX 3080 10 ГБ. ФП16/БФ16 увеличение производительности примерно с 65 терафлопс к 110–113 терафлопс под оригинал карты 320 Вт предел мощности. Эти улучшения также были отмечены на Х.
Но как насчет реальной производительности приложения? К счастью, члены сообщества уже начали тестировать разблокировку в реальных рабочих нагрузках ИИ, и предварительные результаты обнадеживают.
Один пользователь RTX 3090 Ti на Reddit сравнил разблокировку графического процессора в ComfyUI, сообщает Пропускная способность выше на 58,6% с MOSS-Image SFT BF16, 57,2% с Qwen-Image 2.1 Turbo BF16и 56,1% с Z-Image Turbo BF16. Тем временем, INT8 конфигурации увидели гораздо меньшие улучшения, с MOSS-изображение SFT INT8 улучшение всего лишь 0,3%. Тестер также сообщил об идентичном выводе декодированного изображения в стандартной и разблокированной конфигурациях.
Модель большого языка (LLM) логический вывод — еще один потенциальный выгодоприобретатель, хотя улучшения в значительно большей степени зависят от рабочей нагрузки. Например, в отчете о совместимости RTX 3090 задокументирован Улучшение производительности обработки подсказок/выводов vLLM на 33 %.при этом генерация токенов практически не изменилась. Это понятно, учитывая, что Декодирование LLM часто ограничивается пропускной способностью памяти, а не вычислительной пропускной способностью ядра Tensor Core..
Еще одной разработкой, заслуживающей внимания, является экспериментальная реализация Windows, которая использует подход на основе UEFI вместо исходного модуля ядра Linux. Его разработчик задокументировал успешную реализацию RTX 3090. при этом вычислительная пропускная способность BF16 увеличилась примерно на 82,5 %.. Однако это остается экспериментальное решение для конкретного оборудования, а не общесовместимая версия Windows.
Есть также важные ограничения. Разблокировка графического процессора не увеличивает пропускную способность памяти, не включает дополнительные ядра CUDA и не улучшает автоматически каждую рабочую нагрузку. По крайней мере, в одном отчете о совместимости RTX 3080 Ti 20 ГБ документирована успешная процедура разблокировки без ожидаемого улучшения производительности BF16, что демонстрирует, что результаты не универсальны.
Что касается игр, технологии NVIDIA DLSS также используют тензорные ядра, но в настоящее время нет убедительных доказательств того, что разблокировка графического процессора улучшает производительность игр или время выполнения DLSS.. Для реализации каких-либо преимуществ затрагиваемые инструкции и режимы накопления должны использоваться в реальной рабочей нагрузке. Следовательно, впечатляющие вычислительные тесты не следует путать с эквивалентным увеличением игрового FPS.
Тем не менее, разблокировка графического процессора — интригующая разработка для владельцев серии GeForce RTX 30, особенно для тех, кто использует свои графические процессоры для локального вывода искусственного интеллекта, генерации изображений и других ресурсоемких приложений. Хотя проект все еще является экспериментальным, перспектива существенно повысить производительность существующего оборудования без его постоянной модификации, безусловно, привлекательна.
Источник новостей: Репозиторий разблокировки графического процессора на GitHub
Об авторе: Себастьян Кастелланос — специалист по данным по образованию и обучению. Он также глубоко увлечен игровым оборудованием и программным обеспечением для ПК. Недавно он начал писать технические статьи и руководства на Wccftech об аппаратном обеспечении ПК, играх и модах.
Следите за Wccftech в Google, чтобы получать больше наших новостей в своих лентах.
