구글(Google)이 AI 추론 메모리의 핵심 병목을 해소할 압축 알고리즘 ‘터보퀀트(TurboQuant)’를 공개했다. 추론 메모리 사용량을 최대 6분의 1로 줄이고 처리 속도를 최대 8배 높인다는 연구 결과가 발표되자마자, 삼성전자와 SK하이닉스, 마이크론 등 주요 메모리 반도체 기업의 주가가 일제히 급락하며 반도체 업계 전체에 파장을 일으켰다.

KV 캐시, AI의 숨겨진 병목

대형 언어 모델(LLM)이 긴 대화를 처리할 때마다 이전에 계산한 내용을 저장해 두는 공간이 있다. 바로 ‘키-밸류 캐시(KV Cache, 이하 KV 캐시)’다. 모델이 매 토큰 생성 시마다 전체 문맥을 다시 계산하지 않아도 되도록 중간 연산 결과를 미리 저장해 두는 일종의 단기 기억 장치다. 대화가 길어질수록, 문맥 창이 넓어질수록 KV 캐시가 차지하는 메모리는 기하급수적으로 불어난다. 수십만 토큰에 달하는 문맥을 처리하는 최신 LLM에서 KV 캐시는 추론 인프라 비용의 주범으로 꼽힌다.

기존의 벡터 양자화(vector quantization) 기법은 이 KV 캐시의 크기를 줄이는 데 어느 정도 효과가 있었지만, 압축된 값과 함께 양자화 상수(quantization constant)를 별도로 저장해야 했다. 값 하나당 1~2비트씩 추가 오버헤드가 생기는데, 대규모 문맥에서 이 오버헤드가 누적되면 압축의 이점을 상당 부분 잠식한다는 문제가 있었다.

터보퀀트가 제시한 해법: 오버헤드 없는 압축

구글 리서치 연구과학자 아미르 잔디(Amir Zandieh)와 VP 겸 구글 펠로우 바하브 미로크니(Vahab Mirrokni)가 이끄는 팀은 이 문제를 두 단계로 풀어냈다.

첫 번째 단계는 ‘폴라퀀트(PolarQuant)’다. 데이터 벡터를 먼저 무작위로 회전시켜 기하학적 구조를 단순화한 뒤, 직교 좌표계 대신 극좌표계로 변환해 저장한다. “동쪽으로 3블록, 북쪽으로 4블록”을 “37도 방향으로 5블록”으로 표현하는 것과 같은 원리다. 이 방식은 데이터 범위가 예측 가능한 원형 구조를 따르기 때문에 별도의 정규화 단계나 양자화 상수 저장이 필요 없다. 압축 오버헤드를 구조적으로 제거한 것이다.

두 번째 단계에서는 ‘양자화된 존슨-린덴스트라우스(Quantized Johnson-Lindenstrauss, QJL)’ 알고리즘이 가동된다. 폴라퀀트를 거쳐도 남는 아주 작은 오차를 단 1비트로 처리한다. 각 오차 값을 양수(+1) 또는 음수(-1)의 부호 비트 하나로 압축해 편향(bias) 없는 오차 교정을 수행한다. 이렇게 하면 모델이 어텐션 점수를 계산할 때 압축된 KV 캐시가 완전 정밀도 원본과 통계적으로 동일한 결과를 낸다.

결과적으로 터보퀀트는 16비트 값을 단 3비트로 압축하면서도 모델 정확도는 그대로 유지한다. 훈련이나 파인튜닝 없이 기존 모델에 곧바로 적용할 수 있는 ‘학습 불필요(training-free)’ 방식이라는 점도 실용성을 높인다.

벤치마크에서 입증된 성능

구글 팀은 오픈소스 LLM 라마(Llama)-3.1-8B와 미스트랄(Mistral)-7B를 대상으로 LongBench, Needle In A Haystack, RULER, L-Eval 등 다양한 장문맥 벤치마크를 돌렸다.

‘바늘 찾기(Needle In A Haystack)’ 테스트는 10만 단어 분량의 텍스트 속에 숨겨진 단 한 문장을 정확히 찾아내는 능력을 평가한다. 터보퀀트는 KV 캐시를 최소 6분의 1로 줄이면서도 모든 벤치마크에서 만점에 가까운 점수를 기록했다. 코드 생성, 질의응답, 문서 요약을 아우르는 LongBench에서도 기존 KIVI 기준선과 동등하거나 더 높은 점수를 냈다.

엔비디아(NVIDIA) H100 GPU에서의 속도 테스트에서는 4비트 터보퀀트가 32비트 비압축 방식 대비 최대 8배의 어텐션 연산 속도 향상을 달성했다. 커뮤니티 개발자들이 실제로 라마(Llama) 등 서드파티 모델에 적용해 보니, 8,500토큰부터 6만 4,000토큰에 이르는 다양한 문맥 길이에서 완벽한 정확도를 확인했다는 보고도 나왔다. 오픈소스 LLM 실행 엔진 llama.cpp 커뮤니티에서도 빠르게 터보퀀트를 구현하는 작업이 시작됐다. 맥 미니 같은 소비자용 하드웨어에서도 10만 토큰 대화를 품질 저하 없이 처리할 수 있다는 평가까지 나왔다.

이번 연구는 4월 23~27일 브라질 리우데자네이루에서 열리는 ICLR 2026(국제학습표현학회)에서 정식 발표될 예정이다. 폴라퀀트는 5월 모로코 탕헤르에서 열리는 AISTATS 2026에서 선보인다. 연구에는 구글 연구원 프라니트 카참(Praneeth Kacham)과 라스 고테스뷔렌(Lars Gottesbüren), 라제시 자야람(Rajesh Jayaram), 구글 딥마인드(Google DeepMind) 수석 엔지니어 마지드 하디안(Majid Hadian), 카이스트(KAIST) 인수 한(Insu Han) 교수, 뉴욕대 박사과정 마지드 달리리(Majid Daliri)가 공동 참여했다.

시장의 과민반응, “진화지 혁명 아니다”

발표 직후 반도체 시장은 즉각 반응했다. 삼성전자는 4.71% 하락했고, SK하이닉스는 6.23% 급락하며 코스피 지수를 3.22% 끌어내렸다. 미국 시장에서는 마이크론(Micron)이 7%, 샌디스크(SanDisk)가 6.8% 하락했다. 일본의 플래시 메모리 기업 키옥시아(Kioxia)도 6% 가까이 빠졌다.

클라우드플레어(Cloudflare) CEO 매슈 프린스(Matthew Prince)가 터보퀀트를 구글의 ‘딥시크 모먼트’라고 부르며 파장은 더 커졌다. 2025년 초 중국 AI 스타트업 딥시크가 훨씬 적은 비용으로 최고 수준의 LLM을 훈련했다는 소식이 엔비디아 주가를 하루 만에 17% 급락시켰던 사태를 연상시킨다는 이유에서다.

하지만 퀼터 쉐브로(Quilter Cheviot) 기술 리서치 책임자 벤 바링거(Ben Barringer)는 “터보퀀트는 혁명이 아닌 점진적 발전”이라며, “소프트웨어 효율화가 AI 워크로드 자체의 성장을 상쇄하지는 않는다”고 평가했다.

모건 스탠리(Morgan Stanley)도 터보퀀트가 GPU와 TPU에서의 모델 가중치(HBM 사용량)나 훈련 워크로드에는 영향을 미치지 않는다고 짚었다. 오히려 동일한 하드웨어에서 4~8배 더 긴 문맥 창을 처리하거나, 훨씬 큰 배치 크기를 소화하는 방향으로 활용된다는 것이다.

세미애널리시스(SemiAnalysis)의 메모리 애널리스트 레이 왕(Ray Wang)은 “캐시 값은 더 나은 모델과 하드웨어 성능을 위해 해소해야 할 핵심 병목”이라며, 모델 성능 개선에 따라 메모리 소비가 더 늘어나는 방향을 피하기 어렵다고 전망했다.

“HBM이 표적”이라는 오해, 구조를 짚어야 한다

시장이 패닉에 빠진 이유는 단순한 등식에서 비롯됐다. ‘메모리 압축 → 메모리 수요 감소 → HBM 매출 타격’이라는 도식이다. 하지만 이는 AI 인프라의 메모리 구조를 잘못 이해한 데서 나온 반응이다.

AI 서버에서 메모리는 크게 두 가지 역할을 한다. 하나는 모델 가중치(weights) 저장이고, 다른 하나는 KV 캐시다. HBM은 GPU·TPU에 직접 붙어 두 역할을 모두 수행하지만, 터보퀀트가 압축하는 건 오직 KV 캐시뿐이다. 모델 가중치는 전혀 건드리지 않는다. 모건 스탠리가 “HBM 사용량이나 훈련 워크로드에는 영향 없다”고 단언한 이유가 여기 있다.

KV 캐시 압축의 직접적인 타격 대상은 서버 DRAM이다. 긴 문맥 처리를 위해 추가로 꽂아 두던 고용량 DRAM 모듈의 수요가 줄어들 수 있다. 하지만 이것조차 단기적 시각이다.

더 근본적인 질문은 이것이다. 추론 시장은 앞으로 훈련보다 훨씬 빠르게 성장한다. 챗봇, AI 에이전트, 검색, 코드 생성 — 실제 사용자들이 매일 수십억 번 호출하는 건 훈련이 아니라 추론이다. 추론 규모가 폭발적으로 늘어나면, 모델 가중치를 싣는 HBM 탑재 GPU 서버 대수도 함께 늘어난다. KV 캐시 효율이 좋아진다고 해서 그 GPU 자체가 사라지는 게 아니다.

여기서 경제학의 ‘제번스 역설(Jevons Paradox)’이 작동한다. 석탄 엔진의 효율이 높아지자 석탄 소비가 오히려 폭증했던 19세기의 역설이 AI에서도 반복될 가능성이 크다. 터보퀀트로 추론 비용이 낮아지면 AI 서비스 확산이 가속되고, 더 많은 사용자가 더 자주 더 긴 문맥으로 AI를 쓰게 된다. 결국 총 메모리 수요는 줄어드는 게 아니라 오히려 더 빠르게 늘어날 수 있다.

오히려 터보퀀트는 HBM에 새로운 기회를 열어줄 수 있다. KV 캐시 용량 제약으로 막혀 있던 HBM의 초고속 대역폭이 이제 더 온전히 활용될 수 있기 때문이다. 같은 HBM으로 더 많은 요청을 처리하고, 처리량이 높아진 만큼 서비스 배포가 늘어나는 선순환이 가능하다.

HBM 시장 규모는 2026년 58% 성장해 546억 달러에 달하며, 전체 DRAM 시장의 40%에 육박할 전망이다. 삼성·SK하이닉스·마이크론이 신규·증설 생산 능력의 70%를 HBM에 배분하고 있지만 여전히 50~60%의 공급 부족이 존재하고, 두 회사의 최신 생산 라인 모두 2027년 말은 돼야 본격 가동이 가능하다. 트렌드포스에 따르면 표준 DRAM 계약 가격도 수급 불균형 지속으로 전분기 대비 55~60% 상승이 예상된다.

결국 이번 주가 급락은 구조적 위기라기보다는 이미 크게 오른 메모리 주가에서 차익실현을 노리던 투자자들이 명분을 찾은 셈에 가깝다. 삼성전자는 지난 1년간 200%, 마이크론과 SK하이닉스는 300% 이상 상승한 상태였다.

추론 비용이 무너지면, AI 생태계는 넓어진다

터보퀀트의 실질적 파급력은 메모리 수요보다 AI 서비스의 원가 구조에서 더 선명하게 드러날 전망이다.

월 5만 달러의 GPU 컴퓨팅 비용이 들었던 스타트업이라면, 동일한 추론 성능을 1만 달러 미만으로 구현할 수 있게 된다. 프론티어급 모델 배포 비용 때문에 시장 진입 자체를 포기했던 중소 AI 기업들에게 현실적인 문이 열리는 셈이다. 터보퀀트는 훈련이나 파인튜닝 없이 기존 모델에 그대로 얹을 수 있어 도입 장벽도 낮다.

구글 자신에게도 전략적 의미가 크다. 구글 클라우드와 제미나이(Gemini) 등 자체 AI 서비스에서 추론 비용을 절감하고 이를 가격 경쟁력으로 전환할 여지가 생긴다. 메타(Meta), 오픈AI, 앤스로픽(Anthropic) 등 주요 AI 연구소들도 터보퀀트 방법론을 참고해 자체 KV 캐시 압축 기술을 가다듬을 것으로 보인다.

장기적으로 이 흐름은 AI 인프라 경쟁의 축이 ‘얼마나 많은 칩을 쌓느냐’에서 ‘얼마나 영리한 알고리즘을 쓰느냐’로 이동하고 있음을 보여준다. 하드웨어는 여전히 필수지만, 소프트웨어 효율이 경쟁 우위를 가르는 시대가 열리고 있다.