엔비디아가 파는 건 GPU가 아니다 — 칩에서 AI 팩토리까지, 풀스택 생태계 완전 해부

엔비디아(NVIDIA) 젠슨 황(Jensen Huang) CEO가 한국을 방문해 국내 주요 기업들과 잇달아 협업을 발표하고 있다. 그런데 막상 엔비디아가 무엇을 파는 회사인지, 그 협업이 구체적으로 어떤 의미인지 파악하기 어렵다는 반응이 많다. ‘GPU 만드는 반도체 회사’라는 인식은 2020년 이전의 얘기다.

엔비디아의 2026년 1분기 분기 매출은 816억 달러로 사상 최고를 기록했다. 이 숫자 뒤에는 GPU 칩 하나가 아니라, 칩-메모리-네트워크-서버-소프트웨어-AI 모델에 이르는 전체 스택을 함께 판 결과가 있다. 지금의 엔비디아는 ‘AI 공장(AI Factory)을 통째로 구축해주는 풀스택(Full-Stack) 솔루션 기업’이다.

젠슨 황 방한의 맥락을 이해하려면, 먼저 이 생태계 전체를 알아야 한다.

AI 인프라의 물리적 구조: 데이터가 흐르는 경로부터

엔비디아 생태계를 이해하는 가장 좋은 출발점은 AI 데이터센터에서 데이터가 이동하는 경로를 따라가는 것이다. 데이터는 물리적 거리에 따라 전혀 다른 기술 구간을 통과하며, 엔비디아는 그 모든 구간에 각자의 제품을 배치해뒀다.

[칩↔메모리]  →  [GPU 간, 랙 내부(스케일업)]  →  [랙과 랙 사이(스케일아웃)]  →  [데이터센터 간]
   HBM              NVLink/NVSwitch             InfiniBand/Spectrum-X         광케이블

각 구간이 무엇인지, 엔비디아가 어디서 무엇을 쥐고 있는지를 레이어별로 짚는다. AI 데이터센터 인프라 지형도에서 다룬 개념들을 엔비디아 중심으로 재조명한다.

레이어 1: GPU 가속기 — 블랙웰, 호퍼, 루빈

엔비디아의 출발점은 당연히 GPU(Graphics Processing Unit, 그래픽 처리 장치)다. 그러나 AI 시대의 GPU는 게임 그래픽을 처리하는 칩이 아니다. 수조 개의 행렬 연산을 동시에 병렬 처리하는 AI 가속기다. 시장 점유율 92%. 사실상의 독점이다.

블랙웰(Blackwell) 아키텍처 — B200/B300/GB200

현재 엔비디아의 주력 칩이다. 전 세대 호퍼(H100) 대비 추론 연산 성능을 대폭 끌어올렸다. GB200은 그레이스(Grace) CPU와 블랙웰 B200 GPU 2개를 하나의 패키지로 통합한 ‘슈퍼칩(Superchip)’으로, 단일 유닛 기준 최대 1.3엑사플롭스(ExaFLOPS)의 추론 성능을 낸다. 1엑사플롭스는 1초에 100경 번의 연산을 처리하는 속도다.

호퍼(Hopper) 아키텍처 — H100/H200/H200 NVL

2022년 공개 이후 전 세계 생성형 AI 열풍을 이끈 칩이다. ChatGPT 이후 OpenAI, 구글, 메타가 앞다퉈 구매하면서 공급 부족 사태를 일으켰다. H100은 HBM3(고대역폭 메모리) 80GB를 탑재하며 초당 3.35테라바이트(TB)의 메모리 대역폭을 제공한다. 지금도 대규모 언어 모델(LLM, Large Language Model) 학습·추론의 표준으로 사용된다.

루빈(Rubin) 아키텍처 — 차세대 로드맵

2026년 하반기 출시 예정인 차세대 아키텍처다. 차세대 고대역폭 메모리 HBM4를 탑재하고, 블랙웰보다 40% 더 에너지 효율적일 것으로 알려졌다. 엔비디아는 2년마다 새 아키텍처를 발표하는 속도전을 유지하고 있다.

소비자·엣지용 — GeForce RTX 50 시리즈

일반 소비자와 크리에이터를 위한 데스크톱·노트북용 그래픽카드다. RTX 5090, RTX 5080 등이 해당한다. 게이밍을 넘어, 로컬 PC에서 생성형 AI를 직접 구동하는 ‘RTX AI PC’의 핵심 하드웨어로 자리잡았다.

레이어 2: HBM — GPU 성능을 좌우하는 메모리

GPU 칩이 아무리 빠르더라도, 연산에 필요한 모델 가중치를 메모리에서 불러오는 속도가 느리면 칩은 대기 상태에 빠진다. 이를 ‘메모리 월(Memory Wall)’이라 한다. AI 추론 성능을 실질적으로 결정하는 가장 큰 변수다.

엔비디아는 이 병목을 HBM(High Bandwidth Memory, 고대역폭 메모리)으로 해소한다. HBM은 메모리 칩 여러 개를 수직으로 쌓은 뒤 GPU 칩 옆에 나란히 올려놓고, 실리콘 인터포저(중간 기판) 위에서 수만 개의 미세한 구리 범프로 연결하는 2.5D 패키징 구조다. 거리가 수 센티미터에 불과해 일반 DRAM보다 수십 배 빠른 데이터 전송 속도를 낸다. HBM은 SK하이닉스, 삼성전자, 마이크론(Micron)이 공급한다.

H100이 HBM3, 블랙웰 B200이 HBM3e를 탑재하며, 루빈 아키텍처부터는 HBM4가 들어간다. HBM 세대가 올라갈수록 대역폭과 용량이 함께 늘어난다.

레이어 3: NVLink/NVSwitch — 스케일업(Scale-Up), 한 랙 안의 GPU를 하나로

여러 GPU를 하나의 거대한 연산 장치처럼 동작시키려면, GPU 사이의 통신 속도가 빨라야 한다. 일반 PCIe(PC 내부 고속 데이터 버스) 연결로는 병목이 생긴다. 엔비디아가 이를 위해 개발한 전용 고속 인터커넥트가 NVLink다.

NVLink(엔브이링크)는 GPU와 GPU, GPU와 CPU 사이를 직접 연결하는 전용 고속 통신 기술이다. NVLink 4.0 기준으로 양방향 900GB/s의 대역폭을 제공하는데, PCIe 5.0 대비 7배 이상 빠르다.

그런데 NVLink만으로는 다수의 GPU를 그물망처럼 연결하기 어렵다. 여기서 등장하는 것이 NVSwitch(엔브이스위치)다. NVSwitch는 여러 GPU의 메모리와 연산 자원을 단일 논리 공간처럼 추상화하는 스위치 칩이다. GPU 8개가 모두 서로와 직접 통신하려면 28개의 링크가 필요하지만, NVSwitch를 쓰면 각 GPU가 스위치 하나에 연결하는 것으로 충분하다. 이 ‘NVLink+NVSwitch’ 조합이 DGX 서버 내부의 핵심 기술이다. AI 데이터센터 지형도 기사에서 소개한 스타트업들이 이 NVSwitch의 독점 구조를 깨려 도전하는 이유다.

레이어 4: InfiniBand → Spectrum-X — 스케일아웃(Scale-Out), 랙과 랙 사이

여러 랙을 서로 연결하는 구간이다. 수백~수천 개의 랙이 초고속으로 통신해야 하는 대규모 AI 클러스터에서 핵심 기술이다.

Quantum InfiniBand(인피니밴드)는 엔비디아가 2019년 멜라녹스(Mellanox) 인수로 확보한 초고속 네트워크 기술이다. 슈퍼컴퓨터 환경에서 검증된 전용 프로토콜로, 지연시간(Latency)이 극히 낮고 대역폭이 높다는 게 장점이다. 오랫동안 AI 백엔드 네트워킹의 80%를 차지하는 사실상의 표준이었다.

그런데 AI 데이터센터 지형도에서 짚었듯, 2025년을 기점으로 인피니밴드와 이더넷의 판도가 뒤집혔다. 비싸고 전문 인력이 필요한 독점 기술이라는 약점 때문에, Ultra Ethernet 등 새 표준을 앞세운 이더넷이 주류로 올라선 것이다.

흥미로운 점은 이더넷 시장에서도 엔비디아가 1위라는 사실이다. Spectrum-X 이더넷(스펙트럼-X 이더넷)은 기존 이더넷을 AI 데이터센터 워크로드에 최적화한 엔비디아의 이더넷 플랫폼이다. AI 클러스터에서 불규칙하게 폭발적으로 발생하는 트래픽(burst traffic)을 관리하는 엔비디아 고유 기술 덕분에 다중 사용자 환경에서도 일관된 성능을 낸다. 이더넷 시장 점유율 25.9%로 1위다.

BlueField DPU(블루필드 DPU, Data Processing Unit)는 이 네트워킹 인프라를 보완하는 세 번째 유형의 프로세서다. CPU가 범용 연산을, GPU가 AI 연산을 담당한다면, DPU는 데이터센터의 네트워크 트래픽 처리·보안·스토리지 관리를 전담한다. CPU와 GPU가 AI 연산에만 집중할 수 있도록 나머지 잡무를 대신 처리하는 역할이다. 엔비디아는 이 세 가지를 묶어 ‘CPU+GPU+DPU = 3개의 프로세서로 구성된 현대 데이터센터’라는 개념을 제시한다.

레이어 5: 시스템과 슈퍼컴퓨터 — DGX와 NVL72 랙

칩과 네트워크 기술을 통합해 실제로 사용 가능한 서버·시스템으로 만든 것이 이 레이어다.

DGX 시스템(디지엑스 시스템)은 엔비디아 GPU 8개를 NVLink+NVSwitch로 묶은 AI 서버의 표준 규격이다. DGX H100, DGX Blackwell이 대표 제품이다. 단일 서버 형태로 납품되며, 엔비디아가 직접 하드웨어 설계부터 소프트웨어 스택까지 최적화해 ‘박스를 열면 바로 AI 학습을 시작할 수 있는’ 통합 솔루션이다.

GB200 NVL72(엔브이엘72)는 한 단계 더 나아간 슈퍼컴퓨터 수준의 시스템이다. Grace CPU와 Blackwell B200 GPU를 결합한 GB200 슈퍼칩 36개를 수냉 방식으로 하나의 거대한 랙에 통합했다. 36개 CPU + 72개 GPU가 NVLink 스위칭 패브릭으로 하나처럼 동작한다. 랙 하나가 이전 세대 수백 대의 서버와 맞먹는 AI 추론 성능을 낸다.

DGX Spark(디지엑스 스파크) / RTX Spark(RTX 스파크)는 다른 방향의 확장이다. 지난 6월 3일 컴퓨텍스(Computex) 2026에서 공개된 RTX 스파크는 ARM 기반 시스템온칩(SoC)으로, 128GB 통합 메모리에 최대 1,200억 파라미터 규모의 LLM을 클라우드 없이 로컬에서 구동할 수 있다. 이미 개발자용으로 판매 중인 DGX Spark 미니 컴퓨터(약 4,800달러)에 탑재된 GB10 SoC와 사실상 동일한 설계를 소비자 PC 시장으로 끌어내린 것이다. 데이터센터에서 출발한 엔비디아가 개발자 워크스테이션을 거쳐 일반 PC 시장까지 진출하는 전방위 확장의 신호탄이다.

로봇·드론·스마트 팩토리 등 현장 장비에 탑재되는 임베디드 AI 보드 Jetson(젯슨), 자율주행 차량용 고성능 컴퓨터 칩셋 DRIVE Thor(드라이브 토르)도 이 레이어에 속한다.

레이어 6: 소프트웨어 플랫폼 — 하드웨어를 살아있게 만드는 것

아무리 좋은 하드웨어도 소프트웨어 없이는 구동할 수 없다. 엔비디아가 단순 칩 제조사에서 플랫폼 기업으로 도약한 핵심이다.

CUDA(쿠다, Compute Unified Device Architecture)는 모든 것의 기반이다. 2006년 처음 공개된 엔비디아의 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델로, GPU의 수천 개 코어를 활용해 연산을 병렬 처리할 수 있도록 한다. 20년 가까이 쌓인 개발자 생태계와 라이브러리가 엔비디아 최대의 해자(moat)다. 경쟁사 GPU로 바꾸려 해도 CUDA 기반 코드를 전면 재작성해야 하는 이유로 많은 기업이 발이 묶인다.

NVIDIA NIM(엔비디아 님, NVIDIA Inference Microservices)은 개발자가 복잡한 최적화 과정 없이 AI 모델을 컨테이너(container) 형태로 즉시 배포할 수 있게 돕는 마이크로서비스 엔진이다. Llama, Cosmos, Nemotron 같은 오픈소스 모델을 클라우드나 온프레미스(on-premise, 자체 서버) 환경에 바로 올릴 수 있다. 개발자가 ‘모델 다운로드 → NIM 컨테이너 실행’ 두 단계로 배포를 완료하는 것이 목표다.

NVIDIA AI Enterprise(엔비디아 AI 엔터프라이즈)는 기업용 AI 운영체제 격의 솔루션이다. 상용 환경에서 AI 아키텍처를 안전하고 안정적으로 운영할 수 있도록 엔비디아가 보안 패치·기술 지원·SLA(서비스 수준 협약)를 보장한다.

NeMo(네모) 프레임워크는 기업이 자체 데이터로 LLM을 미세조정(Fine-Tuning)하고 정렬 학습(RLHF, Reinforcement Learning from Human Feedback)시키는 개발 툴킷이다. 공개된 기반 모델을 특정 산업의 전문 용어·문서·업무 흐름에 맞게 커스터마이징할 때 쓰인다.

레이어 7: 산업 버티컬 플랫폼 — 로봇, 자율주행, 바이오

소프트웨어 레이어 위에 올라오는 산업별 전문 플랫폼이다.

Omniverse(옴니버스)는 현실 세계를 가상에 똑같이 구현하는 3D 디지털 트윈(Digital Twin) 제작 플랫폼이다. 공장 라인, 도시 인프라, 물류 창고를 가상 환경에 복제하고 시뮬레이션한다. 로봇과 자율주행 AI를 현실에 배치하기 전에 가상 환경에서 수백만 번 학습시키는 기반이 된다.

Isaac(아이작)은 로봇 개발자를 위한 종합 개발 플랫폼이다. Isaac Sim(가상 시뮬레이션 환경)에서 로봇을 학습시키고, 파운데이션 모델 GR00T를 이식해 실제 현장에 배포하는 엔드투엔드(end-to-end) 파이프라인을 제공한다.

DRIVE(드라이브)는 자율주행 차량 전용 플랫폼이다. 센서 데이터 처리, 주행 AI 판단, 가상 주행 시뮬레이션, 차량 내 인포테인먼트 AI 구현을 위한 소프트웨어와 하드웨어(DRIVE Thor 칩셋)를 함께 제공한다.

MONAI(모나이) / BioNeMo(바이오네모)는 헬스케어 특화 플랫폼이다. MONAI는 CT·MRI 등 의료 영상 분석에 특화된 AI 개발 프레임워크, BioNeMo는 단백질 구조 예측과 분자 설계에 특화된 플랫폼으로 신약 개발에 활용된다.

레이어 8: 파운데이션 모델 — 엔비디아가 직접 만드는 AI

엔비디아는 이제 AI 모델도 직접 만든다. 하드웨어를 팔면서 그 하드웨어에서 가장 잘 동작하도록 최적화된 모델을 함께 공급하는 전략이다. 모두 오픈 웨이트(Open-weight, 가중치 공개) 형태로 제공되며, NIM 인프라로 배포 효율을 극대화하도록 설계됐다.

엔비디아는 지난 6월 1일 이 중 Cosmos 3를 전격 오픈소스화했다. 로봇 개발자라면 누구나 무료로 가져다 쓸 수 있다는 선언으로, 엔비디아 생태계 안으로 개발자들을 끌어들이는 전략의 일환이다.

또한 엔비디아는 광학 인터커넥트(Photonic Interconnect) 기술에도 공격적으로 투자 중이다. 3개월 만에 포토닉스(Photonics)에만 65억 달러를 투자했다. GPU 간 통신을 전기 신호에서 광신호로 전환해 속도와 에너지 효율을 극적으로 끌어올리는 차세대 인터커넥트 기술로, 현재 스케일업 구간의 전기 신호 한계를 돌파하려는 시도다.

풀스택의 의미: 진입장벽이자 락인(Lock-in)

엔비디아의 이 모든 구성 요소는 유기적으로 연결된다.

[ 산업 애플리케이션 ]     Omniverse · Isaac · DRIVE · BioNeMo
          ▲
[ 파운데이션 모델 ]        Cosmos · GR00T · Nemotron · Alpamayo
          ▲
[ 모델 배포·기업 운영 ]    NIM(마이크로서비스 배포) · AI Enterprise(기업용 플랫폼)
          ▲
[ 개발·학습 프레임워크 ]   CUDA(병렬 컴퓨팅) · NeMo(LLM 파인튜닝)
          ▲
[ 스케일아웃 네트워크 ]    InfiniBand · Spectrum-X 이더넷 · BlueField DPU
          ▲
[ 스케일업 인터커넥트 ]    NVLink · NVSwitch
          ▲
[ 메모리 ]                HBM3/3e/4 (SK하이닉스·삼성·마이크론 공급)
          ▲
[ 칩 가속기 ]             Blackwell(B200/B300) · Hopper(H100/H200) · Rubin

이 구조의 핵심은 각 레이어가 같은 회사 제품으로 최적화된다는 점이다. 엔비디아 GPU를 쓰면 NVSwitch가, NVSwitch를 쓰면 DGX 서버가, DGX 서버를 쓰면 CUDA가, CUDA를 쓰면 NeMo와 NIM이 자연스럽게 따라온다. 한 레이어를 교체하려면 연결된 레이어 전체를 재검토해야 한다. AMD나 인텔 칩으로 바꾸려 해도 20년 가까이 쌓인 CUDA 생태계를 포기해야 하는 이유다.

젠슨 황이 방한해서 한국 기업과 협업을 발표한다는 것은, 특정 칩 몇 개를 구매하는 계약이 아니다. 이 전체 스택의 어느 레이어에 한국 기업이 들어가느냐의 문제다. 그 구체적인 협업 내용과 함의는 다음 기사에서 다룬다.

주요 AI 기업들의 투자 관계망에 대한 자세한 내용은 여기를 참고하시길.