Сервер для нейросетей: какие видеокарты нужны для инференса и обучения

Вопрос «какой сервер для нейросетей купить» почти всегда сводится к одному: какая видеокарта и сколько видеопамяти. Процессор и диски важны, но именно GPU определяет, какую модель вы сможете запустить, с каким контекстом и скоростью. Ниже: практические ориентиры по выбору GPU под инференс и обучение, без маркетинга и с честными оговорками там, где однозначного ответа нет.

Почему для нейросетей нужен именно GPU

Нейросеть по сути представляет собой огромное количество матричных умножений, выполняемых параллельно. Центральный процессор устроен для последовательных задач с малым числом мощных ядер, а видеокарта содержит тысячи простых ядер, которые одновременно перемножают числа. Для инференса и тем более для обучения это разница на порядки: то, что на CPU считается часами, на GPU считается минутами или секундами.

Экосистема NVIDIA CUDA служит отдельной причиной того, почему выбор почти всегда падает на NVIDIA. Большинство фреймворков (PyTorch, TensorFlow) и библиотек инференса (vLLM, llama.cpp, TensorRT-LLM) оптимизированы в первую очередь под CUDA. Альтернативы существуют, но требуют больше возни с совместимостью, поэтому для рабочего сервера это обычно не оправдано.

Главный параметр: объём видеопамяти (VRAM)

Если сравнивать видеокарты для ИИ по одному числу, это число: объём VRAM в гигабайтах. Именно видеопамять определяет:

• какого размера модель (в параметрах) вообще поместится на карту целиком или потребует разбиения между несколькими GPU;
• какой длины контекст (промпт + история диалога) можно обрабатывать: KV-кэш растёт вместе с контекстом и тоже съедает VRAM;
• какой batch size доступен при обучении или дообучении: от этого зависит скорость сходимости;
• в каком формате хранить веса: FP16/BF16, INT8 или ещё более агрессивное квантование INT4, чтобы модель влезла в имеющуюся память.

Мощность вычислительных ядер влияет на скорость, но если модель физически не помещается в VRAM, сервер её не запустит, вне зависимости от быстроты GPU. Поэтому при подборе конфигурации в первую очередь считают объём видеопамяти, и только потом производительность.

Инференс против обучения: разница в требованиях

Инференс (использование готовой модели)

При инференсе в память нужно загрузить только веса модели (плюс KV-кэш под контекст). Обратного прохода и хранения градиентов нет, поэтому требования к VRAM минимальны из всех сценариев. Одна карта с 16–24 ГБ уверенно тянет модели среднего размера в квантованном виде.

Обучение и дообучение (fine-tuning)

Обучение требует кратно больше памяти, чем инференс той же модели. На каждый параметр модели дополнительно нужно хранить:

• градиенты: примерно тот же объём, что и веса;
• состояния оптимизатора (например, Adam хранит два дополнительных тензора на параметр), это может удваивать-утраивать нагрузку;
• активации промежуточных слоёв для обратного прохода, растущие с batch size и длиной последовательности.

В сумме полное дообучение модели среднего размера может требовать в 4–6 раз больше VRAM, чем её инференс. Отсюда и практика: для дообучения крупных моделей почти всегда нужен либо мульти-GPU сервер, либо техники экономии памяти: LoRA/QLoRA, которые обучают лишь малую добавочную часть весов и резко снижают требования к памяти на одной карте.

Ориентиры по размеру LLM и объёму VRAM

Грубое эмпирическое правило для инференса в 16-битной точности: на 1 миллиард параметров модели нужно порядка 2 ГБ VRAM, плюс запас под контекст. При INT8/INT4-квантовании эта цифра снижается в 2–4 раза ценой небольшой потери качества. Ориентировочные пороги:

• 7–13B параметров: 16–24 ГБ VRAM на инференс в квантованном виде; комфортно работает на одной потребительской карте.
• 30–34B параметров: от 24 ГБ при агрессивном квантовании до 48 ГБ в более высокой точности.
• 70B и выше: одной картой уже почти никогда не обойтись: либо мульти-GPU связка из нескольких карт по 24–48 ГБ, либо профессиональные ускорители с 80 ГБ VRAM (класс H100/A100), которые вмещают такие модели с меньшим числом карт.
• Модели уровня DeepSeek и другие крупные MoE-архитектуры: практический локальный запуск и тем более дообучение требует мульти-GPU сервера: несколько карт объединяются, чтобы суммарного объёма VRAM хватило на все активные веса модели.

Это ориентиры, а не гарантия: точная потребность в памяти зависит от квантования, длины контекста, конкретной архитектуры и библиотеки инференса.

Таблица: задача ИИ → класс GPU и объём VRAM

NVLink и интерконнект: зачем он в мульти-GPU серверах

Когда модель не помещается на одну карту, её веса распределяют между несколькими GPU, которые должны непрерывно обмениваться промежуточными данными: скорость этого обмена становится узким местом. Обычная шина PCIe при интенсивном обучении на нескольких картах ограничивает пропускную способность. NVLink представляет собой прямое высокоскоростное соединение между GPU в обход PCIe, оно снимает это ограничение и позволяет картам работать почти как единый ускоритель с суммарной видеопамятью. Для A100/H100 NVLink выступает стандартной опцией; в мульти-GPU сборках на потребительских картах интерконнект обычно ограничен PCIe, что нормально для инференса, но заметно сказывается на скорости обучения.

Системная память и диски под датасеты

GPU выступает центральным элементом, но не единственным:

• Системная ОЗУ. Для инференса достаточно скромного объёма: данные живут в VRAM. Для обучения, особенно с offloading части весов или оптимизатора в память (когда VRAM не хватает), нужен большой запас, обычно 128–512 ГБ на сервер, особенно с ECC/REG-модулями для стабильности при длительных вычислениях. Подобрать модули можно в разделе оперативной памяти.
• Диски. Датасеты занимают от десятков до сотен гигабайт и должны читаться быстро, иначе GPU простаивают в ожидании данных. NVMe SSD служит стандартом для рабочего каталога с датасетами; HDD годится разве что для архивного хранения.

Локальный запуск против облака

Облако (аренда GPU-инстансов) хорошо для разовых экспериментов и пиковых нагрузок: не нужно вкладываться в оборудование заранее. Но при постоянной работе, будь то локальный запуск LLM (в том числе моделей класса DeepSeek), инференс с конфиденциальными данными или регулярное дообучение, собственный сервер выгоднее в пересчёте на месяц и снимает вопрос конфиденциальности: данные не покидают инфраструктуру компании. Плюс предсказуемая производительность без «шумных соседей» и риска, что нужный GPU закончится у провайдера в пиковый момент.

Классы карт: от входного уровня до профессионального

• RTX (потребительский и prosumer сегмент): оптимальный вход в тему: инференс небольших и средних моделей, генерация изображений, LoRA-дообучение, рендер. Хорошее соотношение цены и VRAM на карту.
• A100 / H100 (профессиональный ускоритель): 80 ГБ HBM-памяти на карту, NVLink, оптимизация под обучение и инференс в промышленных масштабах. Выбор для больших моделей, мульти-GPU обучения и продакшн-нагрузок с высокими требованиями к отказоустойчивости.

Подробнее с актуальными моделями профессиональных ускорителей можно ознакомиться в разделе профессиональных видеокарт для искусственного интеллекта.

Готовые конфигурации в нашем каталоге

Вместо того чтобы собирать GPU-сервер по частям, можно отталкиваться от готовых конфигураций, рассчитанных под конкретный класс задач:

• HUANANZHI HN-PC-FARM4U4: GPU-ферма форм-фактора 4U с 4 независимыми узлами, по одной видеокарте NVIDIA серии RTX 40/50 на узел. Подходит для параллельного инференса, рендера и задач, которые не требуют объединения карт в единый вычислительный пул. Цена по запросу, конфигурация под задачу.
• HUANANZHI DeepSeek: мульти-GPU сервер на платформе X99 с 2 процессорами Xeon E5 v3/v4, 128–512 ГБ DDR4 ECC/REG и несколькими видеокартами NVIDIA, от RTX до A100/H100 в конфигурации. Рассчитан на локальный запуск крупных языковых моделей и их дообучение. Цена и состав GPU по запросу.
• NVIDIA DGX H100: флагманская платформа с 8 картами H100 SXM5 по 80 ГБ, 2 процессорами Xeon Platinum 8480CL и 2 ТБ DDR5. Решение для обучения крупнейших моделей и промышленных ML-пайплайнов, где важна максимальная суммарная VRAM и NVLink-интерконнект между всеми картами.

Все конфигурации и модели GPU для ИИ-задач собраны в разделе серверов для искусственного интеллекта.

Заключение

Выбор GPU для нейросетей начинается не с бренда или тактовой частоты, а с ответа на два вопроса: какого размера модель нужно запускать и что именно вы делаете, инференс или обучение. Для инференса моделей 7–13B достаточно одной карты с 16–24 ГБ VRAM. Для обучения и дообучения запросы по памяти вырастают в разы, а для моделей от 70B и выше практически всегда нужен мульти-GPU сервер или карты уровня H100 с 80 ГБ VRAM и NVLink. Ошибка в сторону меньшей видеопамяти обходится дороже, чем в сторону вычислительной мощности: недостаточно быстрая карта просто работает медленнее, а карта с нехваткой VRAM не запустит модель вовсе.

Если не уверены, какая конфигурация подойдёт под ваши модели и объём задач, опишите сценарий (размер моделей, инференс или обучение, число одновременных пользователей), и мы подберём сервер под конкретную нагрузку в разделе серверов для искусственного интеллекта.

Автор статьи