RAG란? 사내 AI 구성과 GPU 서버 규모 잡기

"우리 회사도 사내 AI를 쓰고 싶다"는 상담은 대부분 사내 문서를 근거로 답하는 RAG 입니다. 어떻게 돌아가는지, 규모에 따라 구성이 어떻게 커지는지 감을 잡습니다.

RAG가 뭔가요

RAG (Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답하기 전에 사내 문서를 먼저 찾아보고, 그 내용을 근거로 답하게 하는 방식입니다. 시험으로 치면 책을 덮고 보는 시험과 책을 펴고 보는 시험의 차이입니다. LLM만 쓰기 AI가 아는 것 학습할 때 본 공개 자료까지 새 문서 반영 안 됨 (다시 학습해야 함) 근거 보여 주기 어렵다 준비하는 일 없음 (바로 사용) RAG AI가 아는 것 공개 자료 + 지금 찾은 사내 문서 새 문서 반영 문서만 넣으면 바로 근거 보여 주기 어느 문서를 봤는지 함께 표시 준비하는 일 문서를 모아 검색되게 정리 파인튜닝 AI가 아는 것 추가로 가르친 회사 데이터 새 문서 반영 다시 가르쳐야 함 근거 보여 주기 어렵다 준비하는 일 GPU로 모델을 다시 학습 ENG RAG 품질은 모델보다 문서 정리에서 더 많이 갈립니다. 오래된 문서, 중복 문서, 스캔 이미지(글자 인식 필요)를 먼저 확인합니다. SALES 고객이 "우리 데이터로 AI를 학습시키고 싶다"고 해도 실제로 필요한 것은 대부분 RAG입니다. 학습(파인튜닝 )과 검색(RAG)의 차이를 먼저 짚어 주면 구성과 예산이 크게 달라집니다.

함께 알아 둘 말

RAG 와 사내 AI 상담에서 자주 나오는 말입니다. 뜻만 알아도 대화가 훨씬 편해집니다. LLM Large Language Model, 대형 언어 모델. 글을 읽고 쓰는 AI의 본체입니다. 크기는 파라미터 수(예: 70B = 700억 개)로 말합니다. sLLM 작은 LLM . 국내에서 자주 쓰는 말로, 수십억~수백억 파라미터 규모라 GPU 몇 장으로 사내에서 돌리기 좋습니다. 토큰 AI가 글을 읽고 쓰는 단위입니다. 대략 단어 조각 하나이며, 속도와 사용료를 토큰 수로 셉니다. 컨텍스트 윈도우 AI가 한 번에 읽을 수 있는 글의 양(토큰 수)입니다. 질문과 찾은 문서가 모두 여기에 들어가야 합니다. 프롬프트 AI에게 건네는 지시문과 질문입니다. RAG에서는 "아래 문서를 근거로 답하라"는 지시와 찾은 문서가 함께 들어갑니다. 할루시네이션 AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상입니다. RAG를 쓰는 가장 큰 이유입니다. 청크 (Chunk) 긴 문서를 검색하기 좋게 몇 문단씩 자른 조각입니다. 너무 크거나 작으면 검색 품질이 떨어집니다. 임베딩 (Embedding) 글의 뜻을 숫자 묶음(벡터)으로 바꾸는 것입니다. 뜻이 비슷한 글은 비슷한 숫자가 됩니다. 벡터 DB 임베딩 한 벡터를 저장하고, 질문과 뜻이 가까운 조각을 빠르게 찾아 주는 데이터베이스입니다. 리랭킹 (Re-ranking) 검색으로 찾은 조각 중 질문에 정말 맞는 것을 다시 골라 순서를 매기는 단계입니다. 파인튜닝 (Fine-tuning) 이미 만들어진 모델을 회사 데이터로 조금 더 가르치는 것입니다. 말투나 전문 분야 적응에 쓰고, 최신 문서 반영은 RAG가 더 쉽습니다. 추론 (Inference) 완성된 모델이 질문에 답하는 일입니다. 사내 AI 서버는 대부분 추론용입니다. AI 에이전트 답만 하는 데서 그치지 않고 검색, 메일, 사내 시스템 같은 도구를 직접 써서 일을 처리하는 AI입니다. MCP Model Context Protocol. AI가 사내 시스템이나 도구에 접속하는 방법을 맞춘 공개 규격입니다. 에이전트와 함께 자주 나옵니다. GraphRAG 문서 속 사람, 제품, 조직 같은 것들의 관계를 그래프로 정리해 두고 함께 찾는 RAG입니다. 관계를 묻는 질문에 강합니다.

RAG는 이렇게 돌아갑니다

준비(1~4단계)는 문서를 미리 검색되게 정리하는 일이고, 사용(5~6단계)은 질문할 때마다 일어나는 일입니다. 각 단계를 누르면 설명이 나옵니다. STEP 01 / 06 문서 모으기 규정, 매뉴얼, 제안서, 메일 같은 사내 문서를 한곳에 모읍니다. 접근 권한도 함께 정리합니다.

규모별 구성 감 잡기

감을 잡기 위한 예시입니다. 실제 구성은 모델, 동시 사용자 수, 문서 길이, 원하는 응답 속도로 정합니다. 모델 크기 → GPU 메모리 모델이 클수록 GPU 메모리가 많이 필요합니다. 어림 계산은 GPU 페이지의 "모델 크기와 GPU 메모리"를 보세요. 동시 사용자 → GPU 장수 동시에 묻는 사람이 많고 문서가 길수록 대화 기억(KV 캐시 )이 커져 GPU가 더 필요합니다. 문서 양 → 메모리 · 스토리지 문서가 많을수록 벡터 DB 가 커집니다. 서버 메모리와 NVMe 용량을 함께 봅니다. 응답 속도 → 여유 답이 몇 초 안에 나와야 하는지에 따라 같은 사용자 수라도 필요한 GPU가 달라집니다. ENG 처음에는 작은 구성으로 시험(PoC )하고 실제 질문 수와 응답 시간을 재서 늘리는 것이 안전합니다. 문서 접근 권한이 검색 결과에도 그대로 적용되는지 확인합니다. SALES "사내 AI"라는 말만으로는 견적을 못 냅니다. 사용자 수, 쓰려는 모델, 문서 양, 데이터가 밖으로 나가도 되는지부터 묻습니다.

스택업 전체 목차

이 사이트는 자바스크립트를 켜야 그림과 메뉴가 보입니다.

스택업 STACK UP
주제 제안 · 문의 ✎
스택업 · 서버 · 스토리지 · 네트워크 · AI
SCROLL DOWN
Site map

찾는 내용으로 바로 가기

사이트 전체를 한 화면에 펼쳤습니다. 제목을 누르면 그 내용으로 바로 갑니다.

Why

엔지니어도 영업도 잘 모르는 3~5년

영업은 제안까지, 엔지니어는 설치와 장애 때만 고객을 만납니다. 그 사이 고객 운영팀이 매일 하는 일이 인프라 일생의 대부분입니다.

현업 흐름에서 자세히 보기
Three domains

랙 하나에 함께 들어가는 장비들

Inside a rack

랙 한 칸씩 들여다보기

표준 랙은 높이 42칸(U)입니다. 맨 위에 스위치, 가운데 서버, 아래에 스토리지와 UPS가 들어가는 것이 흔한 배치입니다. 장비를 누르면 해당 페이지로 갑니다.

Vendors

다섯 제조사

같은 기능을 부르는 이름이 제조사마다 다릅니다. 원격 관리 칩(BMC) 이름부터 익혀 두세요.

Route

이 순서로 보세요

Glossary

처음 들으면 헷갈리는 말

용어 사전 전체 보기