서버용 GPU 비교: NVIDIA PCIe GPU 라인업과 NVLink

서버와 워크스테이션에 꽂는 PCIe 카드형 엔비디아 GPU만 모았습니다. 지금 판매 중인 모델 기준이며, 엔비디아 완제품 시스템(DGX)과 GPU 모듈(SXM)은 다루지 않습니다.

이름부터 읽어 봅시다

모델명 앞뒤만 봐도 어떤 용도인지 대략 알 수 있습니다. RTX PRO 그래픽과 AI를 함께 하는 전문가용 라인입니다. 3D, 영상, 가상 데스크톱(VDI)과 AI 추론을 한 카드로 합니다. H (Hopper) 데이터센터 AI·과학계산 전용입니다. 그래픽 출력은 없고, 대신 아주 빠른 HBM 메모리를 씁니다. Server Edition 서버용 판입니다. 카드에 팬이 없고(패시브), 서버의 강한 바람으로 식힙니다. 모니터 출력 단자도 없습니다. NVL NVLink 브리지로 여러 장을 묶을 수 있는 PCIe 모델이라는 뜻입니다. 브리지는 따로 사는 부품입니다.

지금 판매 중인 서버용 PCIe GPU

카드 그림은 실제 크기 비율에 맞춰 그렸습니다. 막대는 메모리와 최대 전력을 비교합니다. Blackwell · GDDR7 RTX PRO 6000 RTX PRO 6000 Blackwell Server Edition 메모리 96 GB 최대 전력 600 W 대역폭 약 1.6 TB/s 전력 최대 600W (450W로 낮춰 쓰기 가능) MIG 분할 최대 4개 GPU끼리 연결 없음 (PCIe ) 그래픽·AI 겸용. 중형 모델 추론과 미세조정, VDI, 영상, 디지털 트윈 Blackwell · GDDR7 RTX PRO 4500 RTX PRO 4500 Blackwell Server Edition 메모리 32 GB 최대 전력 165 W 대역폭 약 800 GB/s 전력 최대 165W MIG 분할 최대 2개 GPU끼리 연결 없음 (PCIe) 1슬롯 저전력. 엣지와 소형 추론, 영상 처리, 한 서버에 여러 장 Hopper · HBM3e H200 NVL H200 NVL 메모리 141 GB 최대 전력 600 W 대역폭 약 4.8 TB/s 전력 최대 600W (설정 가능) MIG 분할 최대 7개 GPU끼리 연결 NVLink 브리지 2장·4장 연결 AI 전용. 큰 모델 추론과 미세조정, 과학 계산(HPC)

모델별 스펙 한 장 비교

견적서와 제안서에 자주 나오는 항목만 골랐습니다. 성능 숫자는 엔비디아 공개 최대치(희소 연산 포함)라 실제 체감과는 다릅니다. RTX PRO 6000RTX PRO 6000 Blackwell Server Edition RTX PRO 4500RTX PRO 4500 Blackwell Server Edition H200 NVLH200 NVL 세대 Blackwell Blackwell Hopper 메모리 96GB GDDR7 (ECC ) 32GB GDDR7 (ECC) 141GB HBM3e (ECC) 메모리 대역폭 1.6 TB/s 800 GB/s 4.8 TB/s CUDA 코어 24,064 10,496 16,896 FP32 (일반 계산) 120 TFLOPS 51 TFLOPS 60 TFLOPS FP16·BF16 (AI 학습) 1 PFLOPS 406 TFLOPS 1.7 PFLOPS FP8 (AI 추론) 2 PFLOPS 811 TFLOPS 3.3 PFLOPS FP4 (경량 추론) 4 PFLOPS 1.6 PFLOPS 미지원 최대 전력 600W (450W 설정 가능) 165W 최대 600W (설정 가능) 크기 2슬롯 · 풀하이트 풀렝스 1슬롯 2슬롯 · 풀하이트 풀렝스 연결 PCIe Gen5 x16 · NVLink 없음 PCIe Gen5 x16 · NVLink 없음 PCIe Gen5 x16 · NVLink 브리지 2·4장 (별도 부품) MIG 분할 최대 4개 (24GB씩) 최대 2개 (16GB씩) 최대 7개 (16.5GB씩) 영상 엔진 NVENC 4 · NVDEC 4 NVENC 3 · NVDEC 3 NVDEC 7 (인코더 없음) 그래픽 처리 있음 (RT 코어 188개) 있음 (RT 코어 82개) 없음 (AI·계산 전용) 냉각 패시브 (서버 바람) 패시브 (서버 바람) 패시브 (서버 바람) NOTE 숫자가 클수록 좋은 게 아니라, 쓰려는 모델의 정밀도(FP16·FP8 ·FP4)에 맞는 줄을 보면 됩니다. 사양은 엔비디아와 서버 제조사 공개 자료(2026년 10월) 기준입니다.

NVLink, 언제 필요한가

NVLink 는 GPU끼리 직접 잇는 전용 통로입니다. PCIe 카드에서는 소프트웨어 옵션이 아니라 카드 위에 꽂는 NVLink 브리지 부품을 따로 사야 합니다. GPU 한 장이면 필요 없습니다. 연결 없음 모델이 GPU 한 장에 들어가는 경우입니다. 요청을 여러 장에 나눠 받는 추론 서비스, 팀·사용자별로 GPU를 한 장씩 나눠 주는 경우, 작은 실험을 여러 개 따로 돌리는 경우가 여기에 해당합니다. 2-way (2장씩) 모델이 한 장(141GB)에는 안 들어가지만 두 장(282GB)이면 되는 경우입니다. 4장 서버라면 2장씩 두 쌍으로 묶어 모델 두 개를 따로 돌릴 수 있습니다. 4-way (4장 전체) 큰 모델 하나를 4장에 나눠 올리는 경우(4장 합계 564GB)와, 학습·미세조정처럼 GPU끼리 데이터를 계속 주고받는 경우입니다. ENG 브리지는 GPU 장수와 슬롯 배치에 맞아야 합니다. 4-way는 GPU 4장이 정해진 슬롯에 나란히 꽂혀야 하므로 서버 제조사의 GPU·브리지 지원 구성을 먼저 확인합니다. SALES H200 NVL을 여러 장 제안하면 견적에 NVLink 브리지 품목이 들어갔는지 확인하세요. "GPU 4장"만 적으면 빠지기 쉽습니다. 반대로 고객이 GPU를 따로따로 쓴다면 브리지는 필요 없습니다. NOTE RTX PRO 6000·4500 서버 에디션은 NVLink가 없어 여러 장을 꽂아도 PCIe로만 통신합니다. GPU 8장을 한 보드에 얹은 모듈형(SXM) 제품은 NVLink가 보드에 들어 있지만, 이 사이트에서는 PCIe 카드만 다룹니다.

모델 크기와 GPU 메모리

AI 모델은 GPU 메모리에 통째로 올라가야 빠릅니다. 대략 "파라미터 수 × 정밀도 바이트 × 1.2"로 어림합니다. ENG 1.2배는 모델 외에 대화 기록(KV 캐시 ) 등이 차지하는 여유분입니다. 사용자가 많거나 문서가 길면 이 여유가 훨씬 커집니다. SALES 고객이 "70B 모델"이라고 하면 FP8 기준 약 84GB, 즉 96GB 이상 GPU 한 장 또는 작은 GPU 여러 장이 필요하다고 감을 잡으면 됩니다.

GPU 서버 구성할 때 체크

카드만 고른다고 끝나지 않습니다. 서버 쪽에서 함께 확인할 다섯 가지입니다. 전원 모든 GPU 최대 전력을 더하고 여유를 둡니다(흔히 1.5배 수준). 전원은 이중화 가 기본입니다 슬롯 GPU 한 장마다 PCIe Gen5 x16 슬롯 하나, 2슬롯 카드는 옆 칸까지 차지합니다 냉각 패시브 카드는 서버 제조사 지원 목록에 있는 서버에만 넣습니다 네트워크 서버 여러 대로 학습하면 고속망이 필요합니다(최소 40GbE, 요즘은 100~400G) 저장소·메모리 데이터와 모델을 빠르게 읽는 NVMe , 오류를 고치는 ECC 메모리 NOTE 게임용 GeForce 카드는 ECC 메모리가 없고 24시간 운영과 서버 지원 목록 대상이 아니라 서버 제안에서는 빼는 것이 일반적입니다.

GDDR7과 HBM, 무엇이 다른가

GPU 메모리는 모델이 올라가는 작업대입니다. 크기와 함께 데이터를 얼마나 빨리 넣고 빼는지(대역폭)가 중요합니다. ENG 서버에 GPU를 넣기 전에 PCIe Gen5 x16 슬롯 수, GPU 전원 케이블, 서버 제조사의 GPU 지원 목록을 먼저 확인합니다. 패시브 카드는 지원 안 된 서버에 꽂으면 과열됩니다. SALES "GPU 몇 장"보다 "어떤 모델을 몇 명이 쓰는지"를 먼저 물으세요. 모델 크기가 메모리를, 사용자 수가 장수를 정합니다.

어떤 GPU가 맞을까

질문 세 개로 대략적인 방향을 잡아 봅니다. 실제 선택은 모델, 사용자 수, 서버 전력에 따라 달라집니다.

단종됐거나 이전 세대인 모델

현장에서 아직 이름은 자주 들리지만 새로 제안할 때는 확인이 필요한 모델들입니다. H100 NVL 단종 2025년 11월 최종 주문, 2026년 6월 최종 출하로 공지. 후속은 H200 NVL L40 단종 2025년 단종 공지, 2026년 6월 최종 출하. 후속은 L40S A2 단종 2025년 단종 공지, 2026년 6월 최종 출하. 후속은 L4 L40S · L4 이전 세대 Ada 세대 모델. 같은 자리의 Blackwell 후속이 RTX PRO 6000과 RTX PRO 4500입니다. 판매 여부는 공급사에 확인 NOTE 판매 상태와 사양은 2026년 10월 공개 자료 기준입니다. GPU는 세대 교체가 빨라서 제안 전에 엔비디아와 서버 제조사의 최신 자료를 꼭 확인하세요.

스택업 전체 목차

이 사이트는 자바스크립트를 켜야 그림과 메뉴가 보입니다.

스택업 STACK UP
주제 제안 · 문의 ✎
스택업 · 서버 · 스토리지 · 네트워크 · AI
SCROLL DOWN
Site map

찾는 내용으로 바로 가기

사이트 전체를 한 화면에 펼쳤습니다. 제목을 누르면 그 내용으로 바로 갑니다.

Why

엔지니어도 영업도 잘 모르는 3~5년

영업은 제안까지, 엔지니어는 설치와 장애 때만 고객을 만납니다. 그 사이 고객 운영팀이 매일 하는 일이 인프라 일생의 대부분입니다.

현업 흐름에서 자세히 보기
Three domains

랙 하나에 함께 들어가는 장비들

Inside a rack

랙 한 칸씩 들여다보기

표준 랙은 높이 42칸(U)입니다. 맨 위에 스위치, 가운데 서버, 아래에 스토리지와 UPS가 들어가는 것이 흔한 배치입니다. 장비를 누르면 해당 페이지로 갑니다.

Vendors

다섯 제조사

같은 기능을 부르는 이름이 제조사마다 다릅니다. 원격 관리 칩(BMC) 이름부터 익혀 두세요.

Route

이 순서로 보세요

Glossary

처음 들으면 헷갈리는 말

용어 사전 전체 보기