AI 데이터센터 시장이 폭발적으로 성장하면서 반도체 메이커들의 경쟁이 새로운 국면으로 접어들고 있다. 엔비디아가 여전히 시장을 장악하고 있지만, AMD와 브로드컴을 넘어 세레브라스(Cerebras), 그로크(Groq), 삼바노바(SambaNova) 같은 거대 스타트업들이 맹추격하고 있다. 특히 AI 모델을 실제 서비스에 적용하는 ‘추론(inference)’ 단계에서의 반도체 수요가 폭발하면서 시장의 판도가 빠르게 바뀌고 있다.
글로벌 AI 반도체 시장은 2024년 529억 달러에서 2030년 2,956억 달러로 성장할 것으로 전망된다. 특히 추론용 칩 시장은 2023년 158억 달러에서 2030년 906억 달러로 급성장할 것으로 예상되며, 연평균 22.6%의 성장률을 보일 것으로 분석된다. 이는 AI 모델 학습(training)보다 실제 서비스 운영에서 필요한 추론 작업이 훨씬 더 많기 때문이다. 스탠퍼드의 2025 AI 인덱스 리포트에 따르면 추론 비용은 2022년 11월부터 2024년 10월 사이 280배나 하락했지만, 사용량은 31배 증가하며 전체 시장을 키우고 있다.
엔비디아의 압도적 지배력, 하지만 틈새는 커진다
엔비디아는 여전히 AI 반도체 시장의 절대 강자다. 2025년 AI 관련 매출은 490억 달러로 전년 대비 39% 증가했으며, GPU 시장 점유율은 92%에 달한다. 블랙웰(Blackwell) GB200 시스템은 B200 GPU 2개를 그레이스(Grace) CPU와 결합해 최대 1.3엑사플롭스의 추론 성능을 제공한다. 2026년 하반기 출시 예정인 루빈(Rubin) 아키텍처는 블랙웰보다 40% 더 효율적일 것으로 예상된다.
그러나 엔비디아의 독주에도 틈이 생기고 있다. JP모건은 구글, 아마존, 메타, 오픈AI 같은 빅테크가 브로드컴 및 마벨(Marvell)과 손잡고 자체 맞춤형 칩을 개발하며 2028년까지 AI 반도체 시장의 45%를 차지할 것으로 전망했다. 2024년 37%, 2025년 40%에서 지속적으로 증가하는 추세다.
AMD의 도약, 엔비디아와 격차 좁히기
AMD가 빠르게 격차를 좁히고 있다. 2025년 AI 칩 매출은 56억 달러로 전년 대비 두 배 증가했다. MI300X는 오픈AI, 오라클, 메타가 채택했고, MI350 시리즈는 2026년 상반기 출시를 앞두고 있다. 특히 MI450은 주요 클라우드 제공업체와 엔터프라이즈 고객으로부터 강력한 수요를 받고 있다. AMD는 추론 워크로드에서 뛰어난 가성비로 고객들의 관심을 끌고 있으며, 서버 CPU 시장에서도 점유율 40%를 차지하며 엔비디아의 그레이스 CPU와 경쟁하고 있다.
브로드컴(Broadcom)도 맞춤형 AI 칩 시장에서 빠르게 성장하고 있다. 구글, 메타, 바이트댄스 같은 하이퍼스케일러들과 협력해 TPU, MTIA 같은 자체 칩 개발을 지원한다. 브로드컴의 AI 관련 매출은 2025년 4분기에만 126억 달러를 기록했다.
훈련에서 추론으로, 시장의 무게중심 이동
AI 반도체 시장의 가장 큰 변화는 훈련용에서 추론용으로 수요가 급속히 이동하고 있다는 점이다. 가트너는 AI를 확대하는 기업들이 비용을 500~1000% 잘못 추산하고 있다고 경고했다.
훈련은 한 번만 하면 되지만, 추론은 사용자가 질문할 때마다 실행된다. 챗GPT 같은 서비스의 추론 클러스터는 훈련 클러스터보다 10배 이상 크다. 그런데 추론 작업은 훈련과 다른 특성을 갖는다. 훈련은 최대 성능이 중요하지만, 추론은 지연시간과 에너지 효율이 핵심이다. 이 때문에 GPU보다 ASIC(주문형 반도체)이 훨씬 유리하다.
추론 칩 시장에서 가장 치열한 경쟁을 벌이는 곳은 세레브라스, 그로크, 삼바노바다. 세 회사는 모두 2024년부터 ‘토큰 전쟁’을 벌이며 초당 생성 속도를 경쟁해왔다. 2024년 2월 그로크가 미스트랄 모델 기반 챗봇으로 초당 500토큰을 달성해 화제가 됐고, 4월엔 800토큰, 5월엔 삼바노바가 1,000토큰을 돌파했다. 2024년 8월 세레브라스는 1,800토큰을 달성했고, 곧바로 2,000토큰을 넘어서며 ‘최초로 2,000토큰을 돌파한 하드웨어’가 됐다.
세레브라스: 세레브라스는 웨이퍼 스케일 엔진(WSE) 3를 개발했다. 이는 4조 개의 트랜지스터와 90만 개의 코어를 탑재한 세계 최대 칩이다. 2024년 9월 11억 달러 시리즈G를 유치하며 기업가치 81억 달러를 달성했다. 피델리티, 타이거 글로벌 등이 참여했다. 2024년 10월 IPO를 추진했다가 철회했으나, 2026년 2분기 재상장을 준비 중이다. 2026년 1월 현재 10억 달러 추가 투자를 논의하며 220억 달러 밸류에이션을 목표로 하고 있다.
그로크: 그로크는 LPU(Language Processing Unit) 아키텍처로 초당 276~300토큰 생성을 달성했고, 투기적 디코딩(speculative decoding)으로 1,665토큰까지 가능하다. 2025년 9월 7억5000만 달러 시리즈D를 유치하며 기업가치 69억 달러를 달성했다. 블랙록, 뉴버거버먼 등이 참여했다. 그러나 2025년 12월 엔비디아가 200억 달러에 그로크를 인수하며 엔비디아의 역대 최대 인수가 됐다. 이는 추론 칩 시장의 중요성을 입증하는 사건이었다.
삼바노바: 삼바노바는 RDU(Reconfigurable Dataflow Unit) 아키텍처를 개발했다. 초당 1,000토큰 이상을 생성하며, 1조 파라미터를 지원하는 삼바-1(Samba-1) 모델을 공개했다. 기업가치는 2021년 51억 달러에서 2024년 12억 달러로 하락했으나, 인텔이 2025년 말 16억 달러 인수를 위한 텀시트에 서명한 것으로 알려졌다.
에치드(Etched) : 에치드는 트랜스포머 전용 ASIC인 소후(Sohu) 칩을 개발했다. 블랙웰 GB200보다 10배 빠르다고 주장하며, 소후 서버 1대가 H100 GPU 160개와 맞먹는다고 밝혔다. 2024년 6월 1억2000만 달러 시리즈A를 유치했고, 2026년 초 5억 달러를 50억 달러 밸류에이션으로 조달했다. TSMC 4nm 공정을 사용한다.
세레브라스, 그로크, 삼바노바 외에도 최근 대규모 투자를 유치하며 주목받는 추론 특화 칩 스타트업들이 있다. 특히 텐스토렌트(Tenstorrent), d-매트릭스(d-Matrix), 라이트매터(Lightmatter), 언컨벤셔널AI(Unconventional AI) 같은 기업들이 차별화된 기술로 시장에 도전하고 있다.
텐스토렌트: AMD의 전설적 칩 설계자 짐 켈러(Jim Keller)가 이끄는 텐스토렌트는 RISC-V 기반 AI 프로세서로 엔비디아에 도전하고 있다. 2024년 12월 삼성증권과 AFW파트너스가 주도한 시리즈D에서 6억9300만 달러를 유치하며 기업가치 26억 달러를 달성했다. 베조스 익스페디션스, 피델리티, LG전자, 현대자동차, 베일리기퍼드 등이 참여했다. 2025년 11월에는 피델리티가 주도하는 8억 달러 규모 추가 투자 협상이 진행됐으며, 기업가치 32억 달러를 목표로 했다. 누적 투자금은 11억8000만 달러를 넘어섰다.
텐스토렌트는 오픈소스 RISC-V 아키텍처를 채택해 x86이나 암(Arm)의 라이선스 비용을 피하면서 고객 맞춤형 솔루션을 제공한다. 그레이스컬(Grayskull)과 웜홀(Wormhole) 프로세서는 클라우드 훈련과 엣지 추론을 모두 지원하며, 연 2회 하드웨어 출시 일정을 유지하고 있다. 삼성과는 제조 계약을, 현대와는 자동차 AI 시스템 계약을 체결했다. 텐스토렌트는 토론토, 오스틴, 실리콘밸리, 베오그라드, 도쿄, 방갈로르, 싱가포르, 서울 등 전 세계에 사무소를 두고 있다.
d-매트릭스: d-매트릭스는 데이터센터용 생성형 AI 추론 컴퓨팅에 특화된 스타트업이다. 2025년 11월 시리즈C에서 2억7500만 달러를 유치하며 기업가치 20억 달러를 달성했다. 불하운드캐피탈, 트라이아토믹 캐피탈, 테마섹이 공동 주도했고, 카타르 투자청(QIA), EDBI, 마이크로소프트의 M12, 나우틸러스 벤처 파트너스, 인더스트리 벤처스, 미래에셋 등이 참여했다. 누적 투자금은 4억5000만 달러다. d-매트릭스의 코르세어(Corsair) 플랫폼은 하이퍼스케일, 기업, 국가 고객을 위한 초고성능·고효율 추론 솔루션을 제공한다. 회사는 유럽, 북미, 아시아, 중동의 글로벌 투자자들로부터 주목받으며 대규모 배포를 준비 중이다.
언컨벤셔널AI: 가장 최근 주목받는 스타트업은 언컨벤셔널AI다. 데이터브릭스의 전 AI 책임자이자 인텔에 네르바나시스템즈(4억 달러)와 모자익ML(13억 달러)을 매각한 나빈 라오(Naveen Rao)가 2025년 12월 설립 2개월 만에 4억7500만 달러를 유치하며 화제가 됐다. 시드 라운드로는 사상 최대 규모이며, 기업가치는 45억 달러로 평가됐다. 앤드리슨 호로위츠와 라이트스피드가 공동 주도했고, 세쿼이아 캐피탈, 럭스 캐피탈, DCVC, 데이터브릭스, 퓨처 벤처스, 제프 베조스가 참여했다. 언컨벤셔널AI는 뉴로모픽(neuromorphic, 뇌 모방) 컴퓨팅과 아날로그 칩으로 기존 GPU보다 1,000배 더 효율적인 AI 가속기를 목표로 한다. 라오는 “자연계의 학습 시스템은 숫자 연산을 사용하지 않았다”며 “우리는 80년간 만들어온 디지털 기계와 근본적으로 다른 것을 만들고 있다”고 밝혔다. 회사는 실리콘 기반 아날로그 칩을 개발 중이며, 생물학적 뉴런의 20와트 효율성을 목표로 한다. 다만 상용화까지는 5년 이상 걸릴 것으로 예상된다.
이들 스타트업은 각자의 차별화 전략으로 시장에 접근하고 있다. 텐스토렌트는 오픈소스 RISC-V로 유연성을, d-매트릭스는 추론 특화 플랫폼으로 효율성을, 언컨벤셔널AI는 아날로그 뉴로모픽 컴퓨팅으로 근본적 변화를 강조한다. 2025년 1분기에만 AI 칩 관련 스타트업들이 20억 달러 이상을 유치했고, 레코그니(1억200만 달러), 블루마인드(1,410만 달러) 등도 추론 최적화 솔루션으로 상당한 투자를 받았다.
AI 인프라 혁신: 포토닉 인터커넥트의 부상
AI 반도체 칩 자체가 아니라 칩과 칩을 연결하는 인프라 기술도 급성장하고 있다. 특히 빛을 이용해 데이터를 전송하는 포토닉(광학) 인터커넥트 기술이 주목받고 있다. 기존 구리 전선 기반 전기 신호는 대역폭과 전력 소비, 지연시간 한계에 부딪혔기 때문이다. 라이트매터(Lightmatter), 셀레스티얼AI(Celestial AI), 아얄랩스(Ayar Labs) 세 회사가 이 분야를 선도하고 있다.
라이트매터: MIT 출신이 창업한 라이트매터는 포토닉스 기술로 칩 간 데이터 전송을 혁신하고 있다. 2024년 10월 시리즈D에서 4억 달러를 유치하며 기업가치가 44억 달러로 급등했다. T. 로우 프라이스가 주도했고 피델리티, GV(구글 벤처스), HPE 패스파인더가 참여했다. 누적 투자금은 8억5000만 달러다. 라이트매터의 패시지(Passage) 플랫폼은 세계 최초의 3D 적층 실리콘 포토닉스 엔진으로, 수천에서 수백만 개의 프로세서를 빛의 속도로 연결한다. 2025년 3월 공개한 패시지 M1000은 114Tbps의 광학 대역폭을 제공하며, 4,000제곱밀리미터가 넘는 세계 최대 다이 복합체를 구현했다. 전기 신호가 칩 가장자리로만 제한되는 기존 인터커넥트와 달리, 패시지는 칩 표면 어디에서나 전기-광학 I/O를 활성화해 대역폭 병목을 해소한다. 글로벌파운드리의 포토닉스 플랫폼을 활용했으며, 2025년 여름 M1000이 출시됐고 2026년 L200이 출시될 예정이다.
셀레스티얼AI: 셀레스티얼AI는 포토닉 패브릭(Photonic Fabric) 기술로 주목받고 있다. 2025년 3월 시리즈C1에서 2억5000만 달러를 유치했고, 8월 추가로 2억5500만 달러를 조달하며 총 투자금이 5억2000만 달러를 넘어섰다. 피델리티, 블랙록, 타이거 글로벌, 립부 탄(전 캐던스 CEO) 등이 참여했다. 기업가치는 25억 달러로 평가된다. 그러나 2025년 12월 마벨(Marvell)이 셀레스티얼AI를 55억 달러에 인수하기로 합의했다. 초기 32억5000만 달러에 마일스톤 달성 시 추가 22억5000만 달러를 지급하는 구조다.
셀레스티얼AI의 포토닉 패브릭은 칩 내부, 패키지 내부, 패키지 간 연결을 모두 광학으로 처리한다. 특히 OMIB(Optical Multi-Chip Interconnect Bridge) 기술로 한 다이의 어느 지점에서든 다른 다이의 어느 지점으로든 연결이 가능하다. 구리 인터커넥트 대비 2배 이상 전력 효율이 높고, 나노초 수준의 지연시간을 제공한다. 마벨은 2028년 하반기부터 셀레스티얼AI 기술로 의미 있는 매출을 예상하며, 2028년 4분기 5억 달러, 2029년 4분기 10억 달러 연매출을 목표로 한다.
아얄랩스: 아얄랩스는 2015년 MIT, UC버클리, 콜로라도대 연구진이 미국 방위고등연구계획국(DARPA)의 POEM 프로젝트에서 출발했다. 2024년 12월 시리즈D에서 1억5500만 달러를 유치하며 유니콘(기업가치 10억 달러 이상)이 됐다. 어드벤트 글로벌, 라이트 스트리트 캐피탈이 주도했고, AMD 벤처스, 인텔 캐피탈, 엔비디아, 3M 벤처스가 참여했다. 누적 투자금은 3억7000만 달러다. 아얄랩스의 테라파이(TeraPHY) 광학 I/O 칩렛은 UCIe(Universal Chiplet Interconnect Express) 표준을 지원하며 8Tbps 대역폭을 제공한다. 슈퍼노바(SuperNova) 다파장 레이저와 결합해 칩-칩 간 광학 통신을 구현한다. 글로벌파운드리에서 제조되며, 엔비디아, 인텔, AMD 등 주요 칩 메이커들과 협력하고 있다. 2024년부터 엔지니어링 샘플을 수천 개 출하하며 대량 생산을 준비 중이다.
포토닉 인터커넥트 시장은 급성장이 예상된다. 글로벌 광학 인터커넥트 시장은 2024년 161억 달러에서 2030년 345억 달러로 성장할 전망이다. 특히 실리콘 포토닉스 시장은 2023년 9,500만 달러에서 2030년 97억 달러로 폭발적 성장이 예상된다. AI 데이터센터가 랙 단위에서 멀티랙 구성으로 확장되면서 구리 전선으로는 대역폭과 전력 한계를 극복할 수 없기 때문이다. 골드만삭스는 향후 10년간 AI 인프라에 1조 달러 이상이 투자될 것으로 전망하며, 광학 인터커넥트가 핵심 기술이 될 것으로 예상했다.
한국 스타트업의 도전, 다각도 전략으로 시장 공략
글로벌 AI 반도체 전쟁에 한국 스타트업들도 뛰어들었다. 리벨리온(Rebellions), 퓨리오사AI(FuriosaAI), 하이퍼엑셀(HyperAccel) 세 회사가 각자의 전략으로 시장을 공략하고 있다.
리벨리온: 리벨리온은 2024년 12월 SK의 AI 반도체 자회사 사피온과 합병하며 한국 최초 AI 반도체 유니콘이 됐다. 기업가치는 14억 달러(약 1조3000억원)다. 2025년 11월 암(Arm)이 처음으로 한국 기업에 투자하며 2억5300만 달러 시리즈C를 유치했다. 리벨 쿼드(Rebel-Quad)는 144GB HBM3E 메모리를 탑재하고 UCIe 칩렛 아키텍처를 사용한다. CB 인사이트는 리벨리온을 글로벌 AI 추론 성능 2위로 평가했다. 삼성전자, SK텔레콤, SK하이닉스와 파트너십을 맺었으며, 2025년 말~2026년 초 IPO를 추진 중이다. 삼성증권이 주관사다.
퓨리오사AI: 퓨리오사AI는 2017년 삼성·AMD 출신들이 창업했다. 텐서 수축 프로세서(TCP) 아키텍처를 개발했으며, RNGD(레니게이드) 칩은 엔비디아 L40S보다 60% 이상 전력 효율이 뛰어나다. 2025년 2월 메타의 8억 달러 인수 제안을 거절했다. 2025년 7월 1,700억원 시리즈C 브릿지를 유치하며 기업가치 1조원을 넘어섰다. LG AI 리서치는 RNGD를 엑사원(EXAONE) LLM에 배포해 엔비디아 GPU 대비 2.25배 전력 효율을 달성했다. 누적 투자금은 3,310억원이다. 2025년 12월 양산을 시작했다. 2024년 매출은 29억원으로 R&D 투자 단계다.
하이퍼엑셀: 하이퍼엑셀은 2023년 1월 KAIST 김주영 교수(전 마이크로소프트)가 창업했다. LPU(LLM Processing Unit)를 개발하며 LPDDR5X 메모리를 사용한다. 고성능 GPU 대비 10배 가격 효율을 주장한다. 2024년 11월 오리온(Orion) 서버를 출시했다. AMD, 네이버 클라우드, LG전자, 삼성전자와 파트너십을 맺었다. 2024년 12월 550억원 시리즈A를 유치했으며, 한국투자파트너스가 주도했다. 삼성 4nm ASIC 생산은 2026년 계획이다.
이들 한국 스타트업은 서로 다른 포지셔닝으로 시장에 접근한다. 리벨리온은 추론 성능, 퓨리오사AI는 전력 효율과 텐서 처리, 하이퍼엑셀은 LLM 특화와 가격 경쟁력을 강조한다. 세 회사 모두 삼성 파운드리를 활용하며, 글로벌 빅테크 및 국내 대기업과의 파트너십으로 시장 진입을 가속화하고 있다.
시장 전망: 2026년은 AI 반도체의 격변기
AI 반도체 시장은 2026년에도 급성장이 예상된다. 엔비디아의 그로크 인수는 추론 칩 시장의 중요성을 입증했고, 세레브라스는 2026년 2분기 IPO를 통해 220억 달러 밸류에이션을 목표로 한다. 인텔의 삼바노바 인수, AMD와 인텔의 독립 칩 설계업체 인수 경쟁도 치열해질 전망이다.
가트너는 2030년까지 데이터센터 전력 수요가 AI로 인해 160% 증가할 것으로 예상한다. 이는 에너지 효율이 핵심 경쟁력이 될 것임을 의미한다. 실제로 아날로그 컴퓨팅, 포토닉스, 뉴로모픽 칩 같은 차세대 기술에 대한 투자가 급증하고 있다.
한국 스타트업들에게도 기회다. 삼성 파운드리의 선진 공정, SK하이닉스의 HBM 메모리, 그리고 국내 대기업들의 전략적 파트너십은 글로벌 경쟁에서 중요한 자산이다. 다만 엔비디아와 AMD 같은 거대 기업, 구글·아마존 같은 자체 칩 개발 빅테크, 그리고 수십억 달러를 유치한 글로벌 스타트업들과의 경쟁은 만만치 않다. 기술 차별화와 빠른 상용화, 그리고 글로벌 파트너십 확보가 성패를 가를 것이다.
답글 남기기
댓글을 달기 위해서는 로그인해야합니다.