데이터 레이크란? 데이터 웨어하우스와 차이, 필요한 인프라

AI도 분석도 결국 데이터에서 시작합니다. 데이터 레이크가 무엇이고, 데이터가 어떤 길로 흘러 쓰이는지 봅니다.

데이터 레이크가 뭔가요

회사 안팎의 데이터를 원래 모양 그대로 한곳에 모아 두는 큰 저장소입니다. 쓰임새를 미리 정하지 않고 일단 담아 두었다가, 필요할 때 꺼내 분석하거나 AI 학습에 씁니다. 데이터 웨어하우스 담는 데이터 정리된 표 (정형 데이터) 저장 방식 넣기 전에 형식을 맞춤 주로 쓰는 곳 경영 보고서, BI 대시보드 비유 분류가 끝난 도서관 데이터 레이크 담는 데이터 표, 로그, 이미지, 문서 등 모든 형태 저장 방식 원본 그대로 넣고 쓸 때 해석 주로 쓰는 곳 데이터 탐색, 머신러닝 비유 일단 모아 두는 큰 창고 레이크하우스 담는 데이터 레이크와 같음 저장 방식 레이크 위에 표 형식(테이블 포맷)을 얹음 주로 쓰는 곳 분석과 AI를 한곳에서 비유 창고에 목록과 선반을 들인 것

데이터가 흐르는 길

여러 곳에서 들어온 데이터는 원본, 정리본, 활용본 순서로 다듬어집니다. 각 단계를 누르면 설명이 나옵니다. STEP 01 / 06 수집 업무 DB, 서버 로그, IoT 센서, 파일 등에서 데이터를 가져옵니다. 실시간이면 Kafka 같은 도구를 씁니다.

인프라로 보면

데이터 레이크는 결국 큰 스토리지와 그 데이터를 처리하는 서버, 둘 사이의 굵은 네트워크입니다. 오브젝트 스토리지 용량이 수백 TB에서 PB 단위까지 커지므로 노드를 늘려 확장하는 오브젝트 스토리지가 기본입니다. S3 호환 여부를 확인합니다. 계층화 자주 쓰는 데이터는 플래시에, 오래된 원본은 대용량 HDD 나 테이프, 클라우드로 옮겨 비용을 줄입니다. 처리 · 분석 서버 정리와 분석을 맡는 서버는 CPU 코어와 메모리가 많을수록 유리하고, AI 학습에는 GPU 서버가 붙습니다. 네트워크 대량의 데이터를 옮기므로 스토리지와 분석 서버 사이 대역폭이 병목이 되기 쉽습니다. ENG 오브젝트 스토리지는 폴더를 마운트해 쓰는 파일 서버와 달리 API (S3)로 읽고 씁니다. 장애 대응 때는 버킷, 객체, 접근 키 개념부터 확인합니다. SALES "AI를 하고 싶은데 데이터가 여기저기 흩어져 있다"는 고객은 데이터 레이크와 대용량 스토리지 제안의 출발점입니다.

스택업 전체 목차

이 사이트는 자바스크립트를 켜야 그림과 메뉴가 보입니다.

스택업 STACK UP
주제 제안 · 문의 ✎
스택업 · 서버 · 스토리지 · 네트워크 · AI
SCROLL DOWN
Site map

찾는 내용으로 바로 가기

사이트 전체를 한 화면에 펼쳤습니다. 제목을 누르면 그 내용으로 바로 갑니다.

Why

엔지니어도 영업도 잘 모르는 3~5년

영업은 제안까지, 엔지니어는 설치와 장애 때만 고객을 만납니다. 그 사이 고객 운영팀이 매일 하는 일이 인프라 일생의 대부분입니다.

현업 흐름에서 자세히 보기
Three domains

랙 하나에 함께 들어가는 장비들

Inside a rack

랙 한 칸씩 들여다보기

표준 랙은 높이 42칸(U)입니다. 맨 위에 스위치, 가운데 서버, 아래에 스토리지와 UPS가 들어가는 것이 흔한 배치입니다. 장비를 누르면 해당 페이지로 갑니다.

Vendors

다섯 제조사

같은 기능을 부르는 이름이 제조사마다 다릅니다. 원격 관리 칩(BMC) 이름부터 익혀 두세요.

Route

이 순서로 보세요

Glossary

처음 들으면 헷갈리는 말

용어 사전 전체 보기