AI 인프라 기초: GPU 서버, 전력·냉각, AI 네트워크와 스토리지

GPU, 전력, 냉각, 네트워크, 스토리지. 요즘 제안 자리에서 빠지지 않는 주제를 처음 듣는 사람 기준으로 정리했습니다.

AI의 일생과 인프라

AI 모델은 데이터를 모아 학습하고, 다듬고, 실제 서비스에서 답을 내는(추론) 순서로 쓰입니다. 단계마다 필요한 장비가 다릅니다. STEP 01 / 05 데이터 준비 학습에 쓸 데이터를 대용량 스토리지나 데이터 레이크에 모으고 정리합니다. 학습 (Training) 목적 모델을 만든다 필요한 GPU 많을수록 좋음 (수십~수천 장) 중요한 것 GPU끼리 빠른 통신, 대용량 데이터 공급 주로 하는 곳 빅테크, 연구소, 일부 대기업 추론 (Inference) 목적 모델을 쓴다 필요한 GPU 서비스 규모에 따라 1장~수십 장 중요한 것 응답 속도, 동시 사용자 수, 전력 대비 효율 주로 하는 곳 대부분의 기업과 공공

GPU 서버

AI 계산은 단순한 계산을 엄청나게 많이 동시에 하는 일이라 코어가 수천 개인 GPU가 맡습니다. 그래서 AI 서버는 CPU보다 GPU 중심으로 설계됩니다. GPU 메모리 (HBM) 모델이 GPU 메모리에 들어가야 빠르게 돕니다. GPU 개수만큼 GPU당 메모리 용량이 중요한 스펙입니다. GPU 간 연결 NVLink 로 GPU끼리 직접 데이터를 주고받습니다. PCIe 카드는 NVLink 브리지라는 부품을 따로 사서 꽂아야 하고, 기본 포함 기능이 아닙니다. 모양 GPU 8장을 넣은 큰 서버(보통 4U 이상)가 대표적이고, 추론용으로는 GPU 1~4장을 넣은 2U 서버도 많이 씁니다. CPU · 메모리 · NVMe GPU에 데이터를 공급하는 역할입니다. GPU 서버에도 CPU 2개, 큰 메모리, 빠른 NVMe 디스크가 들어갑니다.

전력과 냉각이 먼저 막힙니다

GPU 서버 한 대가 일반 서버 여러 대분의 전기를 씁니다. 고객 데이터센터의 랙 전력과 냉각 여유가 제안의 첫 관문입니다. 일반 1U~2U 서버 한 대 약 1 kW 안팎 기존 데이터센터 랙 한 칸 보통 수 kW ~ 10 kW 안팎 GPU 8장 서버 한 대 최신 세대는 14 kW 안팎 AI 전용 랙 (GPU 72개 묶음) 120 kW 이상 · 수냉 필수 규모 감을 잡기 위한 대략적인 비교입니다. 실제 값은 제품 구성과 데이터센터마다 다르니 사양서를 확인하세요. 공랭 팬 바람으로 식힙니다. 대부분의 기존 데이터센터 방식입니다. 수냉 (DLC) CPU·GPU 위에 냉각판을 붙여 액체로 열을 빼냅니다. 고밀도 GPU 랙에서 빠르게 늘고 있습니다. 후면 도어 열교환기 랙 뒷문에 냉각 코일을 달아 기존 공랭 시설을 보완합니다. 액침 냉각 서버를 전기가 통하지 않는 액체에 담가 식힙니다. 일부 특수 환경에서 씁니다.

AI 네트워크

학습할 때는 GPU 수백 장이 하나처럼 움직여야 해서, 서버와 서버 사이 네트워크가 매우 빠르고 지연이 적어야 합니다. 백엔드 망 GPU끼리 데이터를 주고받는 전용 망입니다. GPU 서버마다 고속 포트가 여러 개 붙습니다. 프론트엔드 망 사용자 요청, 스토리지 접근, 관리용 일반 망입니다. 백엔드와 나눠 구성합니다. InfiniBand 슈퍼컴퓨터에서 쓰던 저지연 전용 네트워크입니다. 대규모 학습 클러스터에서 많이 씁니다. 이더넷 (RoCE) 이더넷 위에서 RDMA 로 지연을 줄인 방식입니다. 기존 이더넷 운영 경험을 살릴 수 있어 확산 중입니다. 속도 AI 학습망은 800G가 주력이 됐고 1.6T가 늘어나는 흐름입니다. 광 트랜시버와 케이블 비용도 커집니다.

AI 스토리지

GPU가 비싼 만큼 데이터를 기다리며 노는 시간을 줄이는 것이 스토리지의 역할입니다. 병렬 파일 시스템 여러 스토리지 노드가 동시에 데이터를 보내 GPU 서버 여러 대에 한꺼번에 공급합니다. 올플래시 NVMe 학습 데이터를 빠르게 읽기 위해 NVMe 플래시 중심으로 구성합니다. 체크포인트 학습 중간 상태를 주기적으로 저장합니다. 짧은 순간 큰 쓰기 성능이 필요합니다. 대용량 계층 원본 데이터는 오브젝트 스토리지나 대용량 플래시·HDD 에 두고 필요한 만큼 앞단으로 올립니다. ENG GPU 사용률이 낮게 나오면 GPU보다 스토리지나 네트워크 병목인 경우가 많습니다. 데이터 공급 속도를 함께 봅니다. SALES "GPU 몇 장 필요하세요?"만 묻지 말고 전력, 냉각, 네트워크, 스토리지를 한 묶음으로 제안해야 실제로 돌아가는 구성이 됩니다.

요즘 자주 듣는 키워드

고객 미팅이나 기사에서 자주 나오는 말들입니다. 뜻만 알아도 대화가 훨씬 편해집니다. LLM 대형 언어 모델입니다. 크기는 파라미터 수로 말하며, 70B는 700억 개라는 뜻입니다. 클수록 GPU 메모리가 많이 필요합니다. RAG 사내 문서를 검색해 그 내용을 근거로 답하게 하는 방식입니다. 모델을 다시 학습하지 않아도 돼서 기업에서 많이 씁니다. 벡터 DB 문서를 숫자(벡터)로 바꿔 뜻이 비슷한 것을 빠르게 찾는 데이터베이스입니다. RAG 의 핵심 부품입니다. 온프레미스 · 소버린 AI 데이터를 밖으로 내보낼 수 없는 공공, 금융, 제조 고객이 자체 데이터센터에 AI를 구축하는 흐름입니다. GPU 클라우드 GPU를 직접 사지 않고 빌려 쓰는 서비스입니다. 구축 전 시험이나 일시적인 수요에 씁니다. 엣지 AI 공장, 매장, 병원처럼 데이터가 생기는 현장 가까이에서 작은 GPU 서버로 추론합니다. AI 에이전트 답을 주는 데서 그치지 않고 여러 도구를 써서 일을 대신 처리하는 AI입니다. 추론 수요를 더 키웁니다. CXL CPU와 메모리·장치를 잇는 새 표준입니다. 서버 메모리를 크게 늘리거나 여러 서버가 나눠 쓰는 방법으로 주목받습니다.

제안 전에 물어볼 것

AI 인프라 상담에서 먼저 확인할 질문입니다. 이 답에 따라 서버, 스토리지, 네트워크 구성이 크게 달라집니다. 학습인가요, 추론인가요? (대부분은 추론과 미세조정) 어떤 모델을, 어느 정도 크기로 쓰나요? 동시에 쓰는 사용자는 몇 명쯤인가요? 데이터가 회사 밖으로 나가도 되나요? 랙당 전력과 냉각 여유는 얼마인가요? 지금 네트워크 속도와 스위치는 무엇인가요? 학습·참고할 데이터는 어디에, 얼마나 있나요? 운영은 누가 하나요? (GPU 모니터링, 쿠버네티스 경험) NOTE AI 분야는 제품과 수치가 빠르게 바뀝니다. 이 페이지는 개념 이해용이며, 구체적인 사양은 각 제조사의 최신 자료를 확인하세요.

스택업 전체 목차

이 사이트는 자바스크립트를 켜야 그림과 메뉴가 보입니다.

스택업 STACK UP
주제 제안 · 문의 ✎
스택업 · 서버 · 스토리지 · 네트워크 · AI
SCROLL DOWN
Site map

찾는 내용으로 바로 가기

사이트 전체를 한 화면에 펼쳤습니다. 제목을 누르면 그 내용으로 바로 갑니다.

Why

엔지니어도 영업도 잘 모르는 3~5년

영업은 제안까지, 엔지니어는 설치와 장애 때만 고객을 만납니다. 그 사이 고객 운영팀이 매일 하는 일이 인프라 일생의 대부분입니다.

현업 흐름에서 자세히 보기
Three domains

랙 하나에 함께 들어가는 장비들

Inside a rack

랙 한 칸씩 들여다보기

표준 랙은 높이 42칸(U)입니다. 맨 위에 스위치, 가운데 서버, 아래에 스토리지와 UPS가 들어가는 것이 흔한 배치입니다. 장비를 누르면 해당 페이지로 갑니다.

Vendors

다섯 제조사

같은 기능을 부르는 이름이 제조사마다 다릅니다. 원격 관리 칩(BMC) 이름부터 익혀 두세요.

Route

이 순서로 보세요

Glossary

처음 들으면 헷갈리는 말

용어 사전 전체 보기