Как выбрать видеокарту для ИИ и нейросетей

Вопрос «какая видеокарта нужна для ИИ» не имеет единого ответа: 24 ГБ VRAM хватит для одной задачи и будет катастрофически мало для другой. Выбор видеокарты для нейросетей определяется не брендом и не тактовой частотой, а тремя параметрами: объёмом видеопамяти, тем, что вы делаете (инференс или обучение), и размером модели. Ниже разобраны эти параметры по порядку, с ориентирами по VRAM под конкретные задачи и рекомендациями по выбору класса GPU под бюджет.

Почему для ИИ нужна именно видеокарта

Работа нейросети сводится к огромному количеству матричных умножений, которые выполняются параллельно. Центральный процессор оптимизирован под последовательные вычисления и содержит немного мощных ядер, а видеокарта устроена иначе: тысячи простых ядер одновременно перемножают числа. Для инференса и особенно для обучения это разница на порядки: задача, которая на CPU занимает часы, на GPU считается минутами.

Отдельная причина, по которой выбор для ИИ практически всегда падает на NVIDIA, это экосистема CUDA. Основные фреймворки машинного обучения (PyTorch, TensorFlow) и библиотеки инференса (vLLM, llama.cpp, TensorRT-LLM) оптимизированы в первую очередь под CUDA и аппаратные возможности видеокарт NVIDIA, такие как тензорные ядра. Карты других производителей формально способны считать нейросети, но требуют дополнительной адаптации софта, поэтому для рабочей задачи это решение почти всегда неоправданно.

Главный параметр выбора: объём видеопамяти VRAM

Если свести выбор видеокарты для ИИ к одному показателю, это объём VRAM в гигабайтах. Именно видеопамять, а не число ядер или частота, определяет:

• какого размера модель (в миллиардах параметров) поместится на карту целиком или потребует разбиения между несколькими GPU;
• какой длины контекст можно обрабатывать: KV-кэш растёт вместе с длиной промпта и диалога и занимает отдельную долю VRAM сверх весов модели;
• какой batch size доступен при обучении, что напрямую влияет на скорость и стабильность сходимости;
• в каком формате хранить веса: FP16/BF16 для точности или квантование INT8/INT4, чтобы модель уместилась в память ценой небольшой потери качества.

Мощность вычислительных ядер влияет на скорость обработки, но если модель не помещается в VRAM, видеокарта её попросту не запустит, вне зависимости от того, насколько она быстрая. Поэтому при подборе GPU для ИИ сначала считают объём видеопамяти под конкретную модель и только затем сравнивают производительность карт с достаточным объёмом.

Инференс против обучения: разные требования к видеокарте

Инференс: использование готовой модели

При инференсе видеокарта загружает в память только веса модели и KV-кэш под текущий контекст. Обратного прохода нет, градиенты и состояния оптимизатора хранить не нужно, поэтому требования к VRAM здесь минимальны из всех сценариев. Одна карта с 16-24 ГБ уверенно тянет модели среднего размера в квантованном виде, что делает инференс самым доступным сценарием для входа в тему.

Обучение и дообучение: требования растут кратно

Обучение модели требует в разы больше видеопамяти, чем инференс той же модели. На каждый параметр дополнительно к весам нужно хранить градиенты (примерно такой же объём, что и сами веса), состояния оптимизатора (например, Adam хранит два дополнительных тензора на параметр, что может удваивать-утраивать нагрузку) и активации промежуточных слоёв для обратного прохода, растущие вместе с batch size и длиной последовательности.

В сумме полное дообучение модели может требовать в 4-6 раз больше VRAM, чем её инференс. Поэтому для дообучения крупных моделей почти всегда нужен либо мульти-GPU сервер, либо техники экономии памяти вроде LoRA и QLoRA, которые обучают лишь небольшую добавочную часть весов и резко снижают требования к видеопамяти одной карты.

Ориентиры по размеру моделей и объёму VRAM

Грубое эмпирическое правило для инференса LLM в 16-битной точности: на 1 миллиард параметров модели требуется порядка 2 ГБ VRAM, плюс запас под контекст и служебные буферы. Квантование до INT8 или INT4 снижает эту цифру в 2-4 раза ценой небольшой просадки качества ответов. Ориентировочные пороги по классам моделей:

• 7-13B параметров: 16-24 ГБ VRAM для инференса в квантованном виде. Комфортно работает на одной потребительской видеокарте, это стартовая точка для большинства задач.
• 30-34B параметров: от 24 ГБ при агрессивном квантовании до 48 ГБ в более высокой точности. Уже имеет смысл смотреть на видеокарты старшего сегмента или младшие профессиональные карты.
• 70B и выше: одной картой обойтись почти невозможно. Нужна либо связка карт по 24-48 ГБ, либо ускорители с 80 ГБ VRAM класса H100 или A100, вмещающие такие модели меньшим числом карт.
• Крупные MoE-модели (архитектуры с большим числом экспертов): локальный запуск и тем более дообучение требует мульти-GPU сервера, где несколько карт объединяются, чтобы суммарной VRAM хватило на все активные веса.

Это ориентиры, а не гарантия: точная потребность в видеопамяти зависит от глубины квантования, длины контекста и архитектуры модели.

Таблица: задача ИИ → класс видеокарты и объём VRAM

Потребительские RTX против профессиональных A100/H100

Выбор между этими двумя классами видеокарт для ИИ определяется задачей, а не бюджетом как таковым.

• Потребительские и prosumer RTX. Оптимальный вход в тему: инференс небольших и средних языковых моделей, генерация изображений, LoRA-дообучение, работа с одной задачей на одной карте. Хорошее соотношение объёма VRAM и стоимости, но объединение нескольких таких карт для обучения ограничено пропускной способностью обычной шины PCIe.
• Профессиональные ускорители A100/H100. 80 ГБ быстрой HBM-памяти на карту и аппаратный NVLink, прямое высокоскоростное соединение между GPU в обход PCIe. Когда модель не помещается на одну карту, её веса распределяют между несколькими GPU, которые непрерывно обмениваются данными: NVLink снимает это узкое место и позволяет картам работать почти как единый ускоритель с суммарной видеопамятью. Выбор для моделей от 70B параметров, распределённого обучения и продакшн-нагрузок, где важна отказоустойчивость.

Актуальный подбор моделей по обоим классам собран в разделе профессиональных видеокарт для искусственного интеллекта.

Память и питание сервера под несколько видеокарт

Видеокарта остаётся центральным элементом расчёта, но система вокруг неё должна соответствовать нагрузке, иначе даже мощный GPU будет простаивать.

• Системная оперативная память. Для чистого инференса достаточно скромного объёма, поскольку данные живут в VRAM. Для обучения, особенно при выносе части весов или состояний оптимизатора в ОЗУ при нехватке VRAM, нужен запас от 128 до 512 ГБ на сервер, желательно модулями ECC/REG для стабильности при длительных вычислениях.
• Питание и охлаждение. Профессиональные ускорители и топовые RTX потребляют по несколько сотен ватт каждая, а в конфигурации из 4-8 карт суммарная нагрузка на блок питания и охлаждение сервера становится определяющим фактором надёжности. Занижение мощности блока питания под пиковую нагрузку нескольких карт приводит к нестабильности и перезагрузкам во время длительного обучения.
• Диски. Датасеты занимают от десятков до сотен гигабайт и должны читаться быстро, иначе видеокарты будут простаивать в ожидании данных. NVMe SSD является стандартом для рабочего каталога, HDD годится разве что для архивного хранения.

Готовые конфигурации серверов под несколько видеокарт с расчётом памяти и питания разобраны в статье про сервер для нейросетей, а полный ассортимент таких серверов доступен в разделе серверов для искусственного интеллекта.

Как выбрать видеокарту под задачу и бюджет

Практический алгоритм подбора видеокарты для ИИ сводится к нескольким последовательным шагам.

1. Определите сценарий: инференс готовой модели или обучение/дообучение своей. Это сразу задаёт порядок требований к VRAM.
2. Оцените размер целевой модели в параметрах и решите, использовать ли квантование INT8/INT4 или работать в точности FP16/BF16.
3. Посчитайте VRAM с запасом: к весам прибавьте KV-кэш под нужную длину контекста, а для обучения дополнительно градиенты, состояния оптимизатора и активации.
4. Решите, нужна ли одна карта или несколько. Если суммарный объём VRAM превышает возможности одной видеокарты, закладывайте мульти-GPU конфигурацию, с NVLink для обучения.
5. Выберите класс карты: потребительская RTX для инференса и LoRA-дообучения или ускоритель A100/H100 для моделей от 70B и промышленного обучения.
6. Проверьте баланс системы: оперативную память, мощность блока питания и охлаждение сервера под выбранное число карт.
7. Заложите запас на рост: модели и контекст со временем растут, поэтому карта с запасом по VRAM окупается быстрее, чем апгрейд впритык под текущую задачу.

Ошибка в сторону недостаточного объёма видеопамяти обходится дороже, чем экономия на вычислительной мощности: медленная карта просто считает дольше, а карта с нехваткой VRAM не запустит модель вовсе или заставит урезать контекст и batch size до непригодных значений. Мы подбираем видеокарты и серверные конфигурации для инференса и обучения нейросетей под конкретный сценарий заказчика, от одной карты для локального ассистента до мульти-GPU сервера с NVLink под обучение крупных моделей. Если не уверены, какой объём VRAM и какой класс карты нужен под ваши модели, опишите задачу (размер моделей, инференс или обучение, число пользователей), и мы подберём конфигурацию в разделе профессиональных видеокарт для искусственного интеллекта.

Автор статьи