+7 (499) 577-04-84
pc@huananzhi.ru
Видеокарта уровня H100 стоит как хороший автомобиль, и для локальных ИИ-задач она обычно избыточна. Если нужно запускать LLM, дообучать LoRA-адаптеры или работать со Stable Diffusion при ограниченном бюджете, разумная стратегия: смотреть не на бренд и поколение чипа, а на объём видеопамяти (VRAM). Грамотно подобранная б/у видеокарта для нейросетей часто выгоднее новой карты того же бюджета: именно VRAM определяет, поместится ли модель в память, скорость вычислений вторична. Разбираем бюджетные и б/у варианты, от RTX 3060 12GB до б/у RTX 3090 24GB и серверных Tesla P40, а также когда стоит собрать связку из нескольких карт вместо одной топовой.
Главный принцип: для ИИ решает VRAM, а не поколение чипа
Игровые рейтинги ранжируют видеокарты по FPS, но для нейросетей эта логика не работает. Модель либо помещается в видеопамять целиком, с учётом квантования, либо не запустится вообще: ошибку нехватки памяти вы получите раньше, чем узнаете, насколько быстро карта считает. Поэтому свежая карта среднего класса с 8GB VRAM во многих ИИ-сценариях проигрывает б/у видеокарте прошлого поколения с 24GB, даже если по вычислительной мощности новая карта быстрее. Отсюда и стратегия бюджетной сборки: сначала считаете, сколько VRAM нужно под ваши модели и задачи, и только потом выбираете карту в этом классе памяти по цене. Общие критерии выбора видеокарты для ИИ разобраны в статье как выбрать видеокарту для ИИ и нейросетей, здесь же сосредоточимся на бюджетных и б/у сценариях.
Если собирать с нуля не хочется, посмотрите GPU-серверы в наличии: там уже собранные и протестированные конфигурации с гарантией.
RTX 3060 12GB: минимальный, но рабочий вход в ИИ
RTX 3060 с 12GB GDDR6, это самая доступная новая карта Nvidia, у которой объём видеопамяти реально пригоден для ИИ-задач. Более дешёвые модели линейки обычно ограничены 8GB и меньше, чего хватает лишь на совсем небольшие модели. На 12GB комфортно работают языковые модели до 7-8 миллиардов параметров в 4-битном квантовании, а также генерация изображений в Stable Diffusion 1.5 и, с оговорками по разрешению, в SDXL. Плюс карты: новое состояние с гарантией, невысокое энергопотребление, отсутствие рисков вторичного рынка. Минус: для моделей 13B и крупнее, а также для обучения и серьёзного fine-tuning памяти уже не хватает.
RTX 3090 24GB на вторичном рынке: лучшая цена за гигабайт VRAM
Если считать по стоимости гигабайта видеопамяти, б/у RTX 3090 остаётся одним из самых выгодных вариантов на рынке. Карта несёт 24GB GDDR6X с высокой пропускной способностью памяти, что важно для скорости генерации токенов в LLM, и поддерживает NVLink: две карты можно объединить мостом для сценариев, где это задействует программный стек. На 24GB спокойно помещаются модели 13B и 30-34B в 4-битном квантовании, а также комфортный LoRA fine-tuning моделей на 7-13B параметров. Именно поэтому RTX 3090 стала неофициальным стандартом домашних ИИ-станций в сообществах вокруг локальных LLM. Из минусов: только вторичный рынок, среди предложений много экземпляров после майнинга, и перед покупкой нужна диагностика, подробнее в чеклисте ниже.
RTX 4090 24GB: когда есть смысл доплатить
RTX 4090 тоже несёт 24GB GDDR6X, но с более высокой пропускной способностью и заметно более быстрым вычислительным ядром, чем у 3090. Объём VRAM у обеих карт одинаковый, поэтому разница ощущается в основном в скорости: генерация токенов и рендер идут быстрее, обучение и fine-tuning проходят оперативнее. NVLink на 4090 убрали, так что связка из нескольких карт работает только через PCIe, без объединения памяти на уровне железа. Для бюджетной сборки 4090 обычно не первый выбор, но если важна новая карта с гарантией вместо б/у в том же классе памяти 24GB, доплата может быть оправдана.
Tesla P40 24GB и другие серверные карты: самый дешёвый VRAM
Серверные карты линейки Tesla, прежде всего P40 с 24GB GDDR5, а также более старая и ещё более доступная M40 с тем же объёмом памяти, остаются самым бюджетным способом получить много VRAM. Обе построены на архитектурах без тензорных ядер (P40, Pascal, M40, Maxwell) и слабо работают с FP16, поэтому для обучения и тяжёлого fine-tuning почти не подходят. Зато для инференса через llama.cpp и другие движки с квантованными GGUF-моделями 24GB на P40 позволяют запускать модели, которые на потребительских картах с меньшей памятью просто не поместятся. Пожалуй, это самая дешёвая видеокарта для ИИ по цене за гигабайт VRAM, но с оговорками: карты этой линейки без активного охлаждения и видеовыхода, они проектировались для серверных корпусов с принудительным продувом. В обычном ПК такую карту использовать можно, но нужен отдельный кожух с вентилятором и вторая карта для вывода изображения.
Инференс или обучение: сколько VRAM нужно на самом деле
Требования к памяти для инференса и обучения отличаются в разы, и это стоит понимать до покупки карты. Для инференса грубое правило такое: VRAM в гигабайтах примерно равен числу параметров модели в миллиардах, умноженному на размер параметра в выбранном квантовании, плюс запас под контекст. Модель 7B в 4-битном квантовании занимает около 4-5GB, 13B – около 8-9GB, 30-34B – порядка 20GB, а для 70B в 4-бит нужно уже 40GB и больше, то есть связка из нескольких карт. Для обучения и полного fine-tuning требования растут кратно: помимо весов нужно хранить градиенты и состояния оптимизатора, поэтому даже 7B модель при полном fine-tuning может не поместиться в 24GB. Здесь помогает LoRA и другие parameter-efficient методы, которые тренируют лишь часть параметров и снижают требования к VRAM, делая fine-tuning на одной б/у RTX 3090 реалистичной задачей.
Сборка на нескольких видеокартах: когда две карты лучше одной
Если под задачу не хватает VRAM одной карты, логичный шаг: объединить несколько карт меньшего бюджета вместо покупки одной топовой. Две RTX 3090 дают суммарно 48GB, что покрывает модели 65-70B в 4-битном квантовании, а по цене такая связка часто выходит доступнее одной новой профессиональной карты с сопоставимым объёмом памяти. Современные движки инференса умеют распределять слои модели между GPU, и скорость соединения между картами не всегда критична; для обучения же связь между картами важна сильнее, и здесь NVLink на паре RTX 3090 даёт заметное преимущество перед обычным PCIe. У мультикарточной сборки свои требования: мощный блок питания с запасом, корпус с достаточным охлаждением и расстоянием между слотами, плата с нужным количеством линий PCIe. Для таких сборок разумнее сразу отталкиваться от серверной платформы, рассчитанной на несколько GPU. О том, какие GPU и в каком количестве нужны серверу для нейросетей, написано в статье сервер для нейросетей: какие GPU нужны.
| Карта | VRAM | Под какие задачи | Плюсы | Минусы |
|---|---|---|---|---|
| RTX 3060 12GB (новая) | 12 GB GDDR6 | LLM до 7-8B (4-бит), Stable Diffusion 1.5/SDXL с ограничениями | Гарантия, цена, низкое энергопотребление | Мало VRAM для 13B+ и обучения |
| RTX 3090 24GB (б/у) | 24 GB GDDR6X | LLM 13-34B (4-бит), LoRA fine-tuning 7-13B, Stable Diffusion/SDXL | Лучшая цена за GB VRAM, NVLink | Только вторичный рынок, риск майнинга |
| RTX 4090 24GB (новая) | 24 GB GDDR6X | Те же модели, что на 3090, но быстрее инференс и обучение | Гарантия, максимальная скорость в классе 24GB | Дороже 3090 при том же VRAM, нет NVLink |
| Tesla P40 24GB (б/у, серверная) | 24 GB GDDR5 | Инференс LLM 13-34B через llama.cpp (GGUF) | Самый дешёвый способ получить 24GB VRAM | Нет тензорных ядер, слабый FP16, нет видеовыхода |
| Связка 2x RTX 3090 (б/у) | 48 GB суммарно | LLM 65-70B (4-бит), обучение крупных моделей | Больше VRAM за те же деньги, NVLink между картами | Требования к БП, охлаждению, корпусу |
Как выбрать бюджетную карту: чеклист
- Сначала посчитайте нужный объём VRAM под конкретные модели и квантование, а не выбирайте карту «на глаз»
- Для б/у карты проверяйте историю использования и признаки майнинга: изношенные термопрокладки, забитые пылью радиаторы, следы вскрытия
- Прогоняйте карту через стресс-тест на стабильность и нагрев сразу после покупки, пока действует возврат
- Уточняйте охлаждение и наличие видеовыхода у серверных карт вроде Tesla P40: для десктопа нужен отдельный кожух с вентилятором
- Проверяйте блок питания: RTX 3090/4090 требуют мощного БП с нужными разъёмами, у Tesla P40 отдельный переходник питания
- Для мультикарточных сборок заранее считайте линии PCIe, посадочные места в корпусе и энергопотребление системы
- Сравнивайте не только цену карты, но и совокупную стоимость: новая карта с гарантией иногда выгоднее, чем «убитая» б/у без истории
Если не хотите разбираться с диагностикой б/у карт и рисками вторичного рынка самостоятельно, обратитесь к официальному дистрибьютору HUANANZHI в России. Мы подбираем видеокарты и готовые ИИ-станции под бюджет и задачу, выставляем счёт для юридических и физических лиц, даём гарантию на оборудование и организуем доставку по России. Актуальный ассортимент смотрите в каталоге: профессиональные видеокарты для искусственного интеллекта на huananzhi.ru.
Для RTX 3090 и 4090 в режиме постоянного инференс-сервера ограничьте лимит мощности через настройки драйвера до 270-300W. Генерация токенов упирается в пропускную способность памяти, а не в пиковую мощность, поэтому падение производительности небольшое, а шум, тепловыделение и нагрузка на блок питания заметно снижаются, что важно при круглосуточной работе карты.
Частые ошибки
- Выбирают карту по числу ядер CUDA или году выпуска, а не по объёму VRAM, в итоге модель не помещается в память и работа останавливается на этапе загрузки
- Покупают б/у карту после майнинга без диагностики: такая карта может перегреваться, шуметь или выйти из строя уже через несколько недель работы
- Берут серверную карту вроде Tesla P40 без понимания её охлаждения и отсутствия видеовыхода, а потом не могут запустить её в обычном системном блоке
- Экономят на блоке питания и переходниках для мощных карт, что приводит к нестабильной работе и просадкам под нагрузкой
Частые вопросы
Хватит ли RTX 3060 12GB для локальной языковой модели?
Для моделей до 7-8 миллиардов параметров в 4-битном квантовании, а также для базовой генерации изображений в Stable Diffusion, 12GB достаточно. Для моделей 13B и крупнее, а также для обучения, памяти уже не хватит.
Чем б/у RTX 3090 лучше новой видеокарты среднего класса для ИИ?
Дело в объёме видеопамяти: 24GB против 8-12GB у большинства новых карт среднего класса. Для ИИ-задач объём VRAM обычно важнее свежести архитектуры, поэтому б/у 3090 часто практичнее новой, но более скромной по памяти карты.
Можно ли использовать Tesla P40 в обычном домашнем ПК?
Да, но с оговорками: карта не имеет активного охлаждения и видеовыхода, поэтому нужен отдельный кожух с вентилятором и дополнительная карта или встроенная графика для вывода изображения. Комфортнее всего P40 чувствует себя в серверном корпусе с продуманным потоком воздуха.
Что выгоднее для ИИ: одна мощная карта или несколько бюджетных?
Зависит от задачи. Для инференса больших моделей часто выгоднее две-три карты меньшего бюджета, которые в сумме дают нужный объём VRAM, например две RTX 3090 вместо одной топовой карты. Для обучения важна ещё и скорость связи между картами, поэтому связка с NVLink получает преимущество.
