CPU·GPU·DRAM·NAND의 역할
계산, 작업 중 기억, 장기 저장을 구분한다.
오늘 배울 것
계산, 작업 중 기억, 장기 저장을 구분한다. 이 개념이 어느 공정에 쓰이고, 어떤 기업의 제품과 연결되는지 함께 살펴봅니다.
30초 핵심 설명
CPU는 다양한 일을 제어하고 처리하며, GPU는 나누어 동시에 계산하기 좋은 작업에 강합니다. DRAM은 작업 중 데이터를 빠르게 주고받고, NAND는 전원이 꺼져도 데이터를 보관합니다. HBM은 GPU에 데이터를 공급하는 고대역폭 DRAM으로, GPU의 계산 역할과 다릅니다.
쉬운 비유로 이해하기
CPU는 주방장, GPU는 나눠 일하는 조리팀, DRAM은 작업대, NAND는 식재료 창고입니다.
비유의 한계 · CPU도 병렬 계산을 합니다. GPU가 모든 일에 빠른 것은 아니며 HBM도 연산기를 대신하지 않습니다.
공정을 단계별로 살펴보기
- 보관된 자료 읽기 · NAND 기반 저장장치에서 프로그램과 데이터를 꺼냅니다.
- 작업 공간에 놓기 · DRAM에 필요한 데이터를 두고 빠르게 접근합니다.
- 알맞은 연산기에 맡기기 · CPU가 제어하고 병렬화하기 좋은 계산은 GPU가 처리할 수 있습니다.
- 데이터 공급하기 · HBM 같은 메모리의 대역폭이 부족하면 GPU가 데이터를 기다립니다.
- 결과 저장하기 · 계속 보관할 결과는 NAND 등 비휘발성 저장장치에 기록합니다.
원리를 차근차근 이해하기
같은 컴퓨터 안에서도 맡는 일이 다르다
사진 편집 프로그램을 실행하는 장면을 떠올려 보세요. 프로그램과 사진 파일은 저장장치에 있고, 실행에 필요한 일부가 작업 메모리로 옮겨집니다. CPU는 명령을 해석하고 입력과 출력, 여러 작업의 진행을 조정합니다. 사진의 많은 픽셀에 비슷한 연산을 적용하는 단계는 GPU에 맡길 수 있습니다. 결과가 화면에 보인다고 파일에 저장된 것은 아니며, 계속 보관하려면 저장장치에 기록하는 단계가 필요합니다.
CPU는 분기와 순서 의존성이 많은 다양한 일을 처리하도록 설계됩니다. 앞의 결과에 따라 다음 명령이 달라지는 작업, 운영체제가 여러 프로그램을 관리하는 작업이 대표적입니다. GPU는 나누어진 많은 데이터에 유사한 계산을 동시에 적용할 때 처리량을 높이기 좋습니다. 다만 CPU도 여러 코어와 벡터 연산으로 병렬 처리를 하고 GPU에도 제어 기능이 있으므로, 한쪽은 무조건 한 번에 하나만 일한다는 구분은 틀립니다.
병렬화는 큰 일을 여러 사람에게 나누는 것과 닮았지만 나눌 수 없는 순서가 있으면 한계가 생깁니다. 직전 결과가 나와야 다음 계산을 시작하는 작업은 연산기를 늘려도 기다려야 합니다. GPU로 자료를 옮기고 작업을 준비하는 시간도 포함해야 합니다. 작은 작업에서는 준비 비용이 계산 시간보다 클 수 있습니다. 제품의 최대 연산량을 실제 프로그램의 처리 속도로 바로 바꾸면 안 되는 이유입니다.
DRAM과 NAND는 왜 서로를 그대로 대신하지 못할까
DRAM의 대표적인 셀은 작은 축전기에 담긴 전하로 정보를 저장하고 트랜지스터로 접근을 제어합니다. 전하는 시간이 지나며 새므로 내용을 유지하려면 주기적으로 보충하는 리프레시가 필요합니다. 전원 공급이 끊기면 보통의 DRAM은 정보를 보존하지 못합니다. 그 대신 실행 중인 데이터를 자주 읽고 쓰는 작업 메모리로 사용하기 좋은 특성을 갖습니다. 용량이 부족하면 작업에 필요한 자료를 더 느린 저장장치와 반복해서 교환할 수 있습니다.
NAND 플래시는 절연 구조 안에 저장한 전하가 셀의 전기적 상태를 바꾸는 원리를 이용합니다. 상태가 전원 없이도 유지되므로 사진과 프로그램을 장기 보관하는 데 적합합니다. 그러나 기록과 지우기는 단순한 전압 신호 읽기보다 복잡하고, 반복 동작이 저장 구조에 부담을 줍니다. 비휘발성이라는 말은 영원히 보존하거나 무한히 다시 쓸 수 있다는 뜻이 아닙니다. 보존 기간과 쓰기 내구성은 제품 조건과 사용 이력에 영향을 받습니다.
SSD는 NAND 칩 그 자체와 다릅니다. 제어기와 펌웨어가 논리 주소를 실제 저장 위치로 연결하고, 오류를 정정하며, 쓰기가 특정 영역에만 몰리지 않도록 관리합니다. 따라서 같은 계열 NAND를 사용해도 SSD의 연결 규격, 제어기, 여유 공간, 데이터 패턴에 따라 체감 성능이 다를 수 있습니다. NAND의 용량 증가 기사에서 곧바로 모든 SSD의 지속 쓰기 속도 증가를 추론할 수 없는 이유도 이 차이에 있습니다.
용량·대역폭·지연시간을 따로 읽자
용량은 얼마만큼 담을 수 있는지, 대역폭은 일정 시간에 얼마만큼 옮길 수 있는지, 지연시간은 요청한 데이터가 도착하기까지 얼마나 기다리는지를 말합니다. 큰 창고가 있다고 출입문이 넓어지는 것은 아니고, 출입문이 넓어도 먼 선반에서 물건을 가져오는 시간은 따로 남습니다. 세 값의 단위와 의미를 구분해야 메모리 사양을 이해할 수 있습니다. 많은 데이터를 연속 전달하는 작업과 작은 자료를 불규칙하게 찾는 작업은 민감한 요소가 다릅니다.
HBM은 여러 DRAM 다이를 쌓고 많은 연결 통로를 이용해 높은 데이터 전달량을 제공하는 메모리 계열입니다. 적층과 짧고 넓은 연결을 활용하지만, 데이터를 읽고 쓰는 메모리라는 기본 역할은 그대로입니다. 연산기 가까이에 놓는 패키지와 연결 기술, 시험과 열 관리가 함께 필요합니다. HBM을 단순히 빠른 칩 한 개로 보면 왜 메모리 제조뿐 아니라 적층·접합·패키징의 제약이 생산량을 좌우하는지 놓치기 쉽습니다.
GPU는 처리할 데이터가 도착하지 않으면 연산 능력을 모두 사용하지 못합니다. 반대로 같은 데이터를 여러 번 재사용해 계산이 많이 필요한 작업이라면 계산 능력이 먼저 한계가 될 수 있습니다. 이를 구분하려면 데이터 한 단위를 가져와 몇 번 계산하는지 살펴보면 됩니다. 캐시에 데이터를 보관하고 다시 쓰는 소프트웨어 개선만으로 외부 메모리 이동이 줄기도 합니다. 하드웨어 사양과 실제 사용률 사이에는 프로그램의 데이터 배치와 실행 방식이 들어 있습니다.
AI 수요라는 한 문장을 제품별로 나누기
AI 시스템은 연산 칩만으로 구성되지 않습니다. 학습 자료를 보관할 저장장치, 자료를 준비할 CPU와 메모리, 계산을 맡을 가속기, 여러 장치를 연결할 네트워크가 필요합니다. 같은 AI라는 이름 아래에서도 모델 크기, 처리 방식, 동시에 처리할 요청 수에 따라 필요한 자원의 비율이 달라집니다. 한 제품의 부족이 다른 부품의 설치를 늦출 수도 있으므로 모든 품목의 출하가 같은 시점과 비율로 늘어난다고 볼 수 없습니다.
수요를 읽을 때는 시스템 수량과 시스템 한 대당 탑재량을 나누어 생각하세요. 시스템 수량이 그대로여도 메모리 탑재량이 커지면 비트 기준 수요는 증가할 수 있습니다. 그러나 비트 수 증가가 웨이퍼 투입 증가와 동일하지는 않습니다. 한 다이당 용량, 다이 크기, 수율, 제품 구성도 바뀌기 때문입니다. 일반 DRAM과 HBM의 생산 전환 역시 동일한 칩을 상자만 바꾸는 작업으로 이해하면 안 됩니다.
뉴스에서 높은 대역폭이나 큰 용량을 확인했다면 어떤 작업의 병목을 해결하는지까지는 기술적으로 설명할 수 있습니다. 다만 특정 메모리 업체의 실적을 알려면 그 제품이 고객 인증을 통과했는지, 실제 공급하는지, 양산 가능 물량과 판매 조건이 어떤지 확인해야 합니다. 신제품 발표, 샘플 공급, 양산, 최종 고객 시스템 출하는 서로 다른 단계입니다. 이 강의의 비교는 제품 역할을 이해하기 위한 것이며 특정 기업이나 상품의 투자 판단을 대신하지 않습니다.
각 단계에서 실제로 일어나는 일
보관된 자료 읽기
- 투입 · 시작 상태
- NAND 기반 SSD 등에 저장된 프로그램과 데이터가 있습니다.
- 작동 · 무엇을 하는가
- 저장장치 제어기가 요청된 위치를 찾아 데이터를 읽고 오류 정정과 전달을 수행합니다.
- 결과 · 무엇이 달라지는가
- 실행에 사용할 데이터가 시스템 메모리로 이동할 준비가 됩니다.
- 이 단계가 필요한 이유
- 장기 보관 장소와 계산 중 작업 장소의 성능·비용 특성이 다르기 때문입니다.
- 잘못되면 생기는 문제
- 작은 무작위 읽기가 많거나 저장장치가 다른 작업으로 바쁘면 최대 연속 읽기 사양만큼 데이터를 보내지 못할 수 있습니다.
작업 공간에 놓기
- 투입 · 시작 상태
- 현재 실행할 코드와 자주 사용하는 자료가 들어옵니다.
- 작동 · 무엇을 하는가
- 운영체제와 프로그램이 DRAM에 작업 데이터를 배치하고 필요에 따라 캐시를 이용합니다.
- 결과 · 무엇이 달라지는가
- 연산기가 접근할 수 있는 작업 중 데이터가 준비됩니다.
- 이 단계가 필요한 이유
- 반복 접근할 데이터를 빠른 계층에 놓으면 느린 저장장치를 매번 읽는 일을 줄입니다.
- 잘못되면 생기는 문제
- 용량이 모자라면 자료를 저장장치와 빈번하게 교환하거나 작업이 실패합니다. 대역폭 증가만으로 용량 부족이 해결되지는 않습니다.
알맞은 연산기에 맡기기
- 투입 · 시작 상태
- 일의 순서, 데이터 의존성과 병렬화 가능성이 다른 계산들이 있습니다.
- 작동 · 무엇을 하는가
- CPU가 제어와 다양한 작업을 진행하고, 프로그램이 적절히 나눌 수 있는 계산은 GPU 등 가속기에 배분합니다.
- 결과 · 무엇이 달라지는가
- 작업 특성에 맞는 연산 경로가 정해집니다.
- 이 단계가 필요한 이유
- 같은 연산기라도 충분한 병렬 작업과 데이터가 있어야 높은 처리량을 낼 수 있습니다.
- 잘못되면 생기는 문제
- 작업 분할이나 전송 비용이 크면 GPU를 추가하고도 전체 시간은 줄지 않을 수 있습니다.
데이터 공급하기
- 투입 · 시작 상태
- 연산에 필요한 값들이 DRAM 또는 HBM 등의 메모리에 있습니다.
- 작동 · 무엇을 하는가
- 메모리 제어기와 연결 통로가 요청을 처리하고 가능한 경우 캐시에서 자료를 재사용합니다.
- 결과 · 무엇이 달라지는가
- 연산기가 계산을 진행할 피연산자를 받습니다.
- 이 단계가 필요한 이유
- 연산 성능은 데이터를 실제로 받을 수 있는 속도와 접근 방식의 영향을 받습니다.
- 잘못되면 생기는 문제
- 대역폭 포화, 불규칙한 접근, 통로 충돌이나 열 제한으로 대기가 늘면 표시된 최대 연산량을 활용하지 못합니다.
결과 저장하기
- 투입 · 시작 상태
- DRAM 등에 남아 있는 계산 결과와 저장 요청이 출발점입니다.
- 작동 · 무엇을 하는가
- 저장장치에 기록을 전달하고 필요한 완료 확인 절차를 거칩니다.
- 결과 · 무엇이 달라지는가
- 전원이 꺼져도 유지할 수 있는 형태의 결과가 남습니다.
- 이 단계가 필요한 이유
- 작업 메모리에서 계산이 끝난 것과 비휘발성 저장이 완료된 것은 다른 상태입니다.
- 잘못되면 생기는 문제
- 기록 완료 전에 전원이 끊기거나 저장 공간이 부족하면 일부 결과를 잃을 수 있으며, 구체적인 보호 범위는 시스템 설계에 달려 있습니다.
비교하고, 숫자로 확인하기
계산·작업 기억·보관의 역할 비교
| 제품 | 주요 역할 | 사양을 읽을 때의 한계 |
|---|---|---|
| CPU | 다양한 명령 처리와 제어, 순서 의존 작업 | 클록과 코어 수만으로 실제 프로그램 속도를 확정하지 못함 |
| GPU | 많은 작업의 병렬 처리와 높은 연산 처리량 | 계산을 병렬화하고 데이터를 공급할 수 있어야 효과가 큼 |
| DRAM | 실행 중 데이터의 빠른 읽기와 쓰기 | 휘발성이며 용량·대역폭·지연시간은 서로 다른 사양 |
| HBM | 적층 DRAM과 넓은 연결로 높은 대역폭 제공 | GPU의 연산 기능을 대신하지 않으며 패키징 제약도 존재 |
| NAND | 전원 없이 유지되는 고밀도 데이터 저장 | 셀 자체와 SSD 완제품의 성능·내구성은 구분해야 함 |
연산 성능을 높였는데 시간이 줄지 않는 이유
모든 수치는 가상의 교육용 가정입니다. 한 작업이 메모리에서 8GB를 읽어 40억 번 연산하며, 실효 대역폭은 초당 20GB, 연산 처리량은 초당 200억 번입니다. 읽기와 연산을 이상적으로 완전히 겹칠 수 있고 다른 비용은 없다고 가정합니다.
데이터 이동의 최소 시간
8GB÷20GB/초=0.4초입니다. 필요한 자료를 한 번씩만 읽어도 이 가정에서는 최소 0.4초가 걸립니다.
연산의 최소 시간
40억 번÷200억 번/초=0.2초입니다. 두 작업을 완전히 겹친다는 가정 때문에 전체의 이상적 하한은 합계가 아니라 더 긴 0.4초입니다.
연산기만 개선하기
연산 처리량을 두 배로 늘리면 연산 시간은 0.1초가 되지만 데이터 이동은 0.4초입니다. 이 모델의 완료 시간 하한은 여전히 0.4초로 메모리 공급이 병목입니다.
대역폭만 개선하기
기존 연산기에 대역폭을 초당 40GB로 늘리면 이동 시간은 0.2초가 됩니다. 연산 0.2초와 같아져 이상적 하한은 0.2초입니다. 실제로 겹치지 못하는 구간이나 전송 준비가 있으면 이보다 오래 걸립니다.
이 예제로 알 수 있는 것더 좋은 부품이란 표현보다 현재 작업의 제한 요소를 확인하는 일이 먼저입니다. 같은 계산을 실제 제품의 성능 예측으로 쓰려면 실제 접근량과 실효 대역폭, 중첩 가능성부터 측정해야 합니다.
핵심 용어
휘발성
전원 공급이 끊기면 저장 내용을 유지하지 못하는 성질입니다.
대역폭
일정 시간에 전달할 수 있는 데이터 양입니다. 저장 용량과 다릅니다.
HBM
여러 DRAM 칩을 쌓아 넓은 데이터 통로를 제공하는 메모리입니다.
병목
시스템 전체 속도를 제한하는 부분입니다. 계산기나 메모리 어느 쪽에서도 생깁니다.
공정에서 소부장으로
로직·DRAM·NAND의 구조에 맞는 제조 장비가 필요합니다.
박막과 배선 재료는 제품·공정에 따라 달라집니다.
칩 사이 연결과 열 관리도 시스템 성능을 좌우합니다.
- NVIDIA · GPU 및 CPU 기반 연산 플랫폼
- 삼성전자 · DRAM·NAND 메모리
- SK하이닉스 · DRAM·NAND와 HBM 기술
특정 고객 공급 여부나 투자 수혜를 확정하는 목록은 아닙니다.
투자자는 무엇을 볼까요?
AI 계산이 늘면 GPU와 메모리 수요가 함께 커질 수 있습니다. 실제 수혜는 메모리 종류, 탑재량, 고객 인증과 공급 능력에 따라 달라집니다.
산업 뉴스 읽기
“가속기에 더 넓은 메모리 대역폭 적용”
계산 코어를 늘렸다는 말과 다릅니다. 데이터 대기가 병목인 작업에서 효과가 크며 저장 용량 증가도 따로 확인해야 합니다.
이해를 한 단계 더 깊게
헷갈리기 쉬운 생각을 바로잡기
“GPU는 모든 작업에서 CPU보다 빠르다.”
순서 의존성, 작업 크기와 병렬화 정도에 따라 다릅니다. 전송과 실행 준비까지 포함한 전체 시간을 비교해야 하며 CPU와 GPU를 협력해 사용하는 경우가 많습니다.
“메모리 용량을 두 배로 늘리면 대역폭도 두 배가 된다.”
얼마나 담는지와 얼마나 빨리 옮기는지는 다른 설계 변수입니다. 용량 확대가 통로 수나 전송 속도를 늘리는 구성인지 확인해야 하며 자동으로 같은 비율로 개선되지는 않습니다.
“NAND는 비휘발성이므로 기록한 데이터가 무조건 영구 보존된다.”
전원 없이 정보를 유지한다는 뜻입니다. 셀 열화, 보존 조건, 오류 정정 범위 등의 제약이 있고, SSD의 기록 완료와 작업 메모리에 남은 상태도 구분해야 합니다.
내 말로 설명해 보기
1. 프로그램이 DRAM 부족으로 데이터를 SSD와 자주 교환합니다. GPU 연산 성능만 높이면 해결될까요?
일반적으로 해당 병목은 그대로입니다. 작업 공간의 부족과 자료 이동이 원인이므로 메모리 사용량, 필요한 용량, 데이터 처리 방식을 먼저 확인해야 합니다.
2. HBM의 대역폭이 넓어졌다는 발표에서 곧바로 알 수 없는 것은 무엇인가요?
모든 프로그램의 속도 향상률, 저장 용량 증가, 시스템 전체 판매량은 알 수 없습니다. 대역폭이 병목인 작업에서는 개선 여지가 있지만 연산량과 접근 패턴을 추가로 봐야 합니다.
3. NAND 칩과 SSD를 같은 말로 쓰면 어떤 내용을 놓치나요?
제어기, 펌웨어, 연결 규격, 오류 정정과 쓰기 관리가 완제품의 성능과 내구성에 미치는 영향을 놓칩니다. NAND는 SSD를 이루는 핵심 구성 요소입니다.
1분 요약
- CPU·GPU는 계산과 제어를 담당한다.
- DRAM은 작업 기억, NAND는 비휘발성 저장이다.
- HBM은 GPU가 계산할 데이터를 빠르게 공급한다.