데이터센터용 생성형 AI 추론 칩을 개발하는 디메트릭스(d-Matrix)가 시리즈C 라운드에서 2억 7,500만 달러(약 3,844억원)를 조달했다. 이번 투자로 회사 가치는 20억 달러(약 2조 7,900억원)를 기록했고, 누적 투자 금액은 4억 5천만 달러에 달했다.

투자 라운드는 초과 청약을 기록하며 유럽, 북미, 아시아, 중동 전역의 주요 투자사들이 참여했다. 불하운드캐피탈(Bullhound Capital), 트라이아토믹캐피탈(Triatomic Capital), 테마섹(Temasek)이 공동으로 투자를 이끌었고, 카타르투자청(QIA)과 EDBI가 새롭게 합류했다. 기존 투자사인 마이크로소프트 벤처펀드 M12, 노틸러스벤처파트너스(Nautilus Venture Partners), 인더스트리벤처스(Industry Ventures), 미래에셋(Mirae Asset)도 후속 투자에 나섰다.

디메트릭스는 AI 칩 시장에서 남다른 길을 걷고 있다. 대부분 경쟁사들이 AI 학습(training)에 몰두하던 2019년, 디메트릭스는 추론(inference)이 훨씬 큰 시장이 될 것이라 내다보고 회사를 세웠다. AI 학습과 추론의 차이를 이해하면 디메트릭스의 전략이 명확해진다. AI 학습은 방대한 데이터를 분석해 모델을 만드는 과정이다. 예를 들어 GPT 같은 대형 언어모델을 만들려면 수천 개의 GPU를 수개월간 돌려야 한다. 비용도 많이 들고 시간도 오래 걸리지만, 한 번만 하면 된다.

반면 추론은 완성된 AI 모델을 실제로 사용하는 단계다. 챗GPT에 질문을 던지거나, 미드저니로 이미지를 생성하거나, AI 비서가 답변을 내놓는 모든 순간이 추론이다. 학습은 한 번 하면 끝이지만, 추론은 사용자가 서비스를 쓸 때마다 끊임없이 일어난다. 챗GPT 사용자가 1억 명이면 1억 번의 추론이 동시다발적으로 벌어지는 셈이다. 시장조사업체들은 2025년경 AI 칩 수요의 60%가 추론용이 될 것으로 전망한다.

창업자 시드 셰스(Sid Sheth) CEO는 “6년 전 회사를 시작할 때만 해도 학습이 가장 큰 과제였다”면서 “하지만 우리는 학습된 모델을 대규모로 지속적으로 실행해야 할 때 기존 인프라로는 감당이 안 될 거라는 걸 알았다”고 말했다.

디메트릭스의 무기는 ‘디지털 인-메모리 컴퓨팅(DIMC)’ 기술이다. 기존 GPU는 메모리와 프로세서가 떨어져 있어 데이터를 왔다갔다 옮기는 데 시간이 걸린다. 디메트릭스는 메모리 안에서 바로 연산을 처리해 이 병목을 없앴다. 요리사가 냉장고와 조리대를 계속 오가는 대신 손 닿는 곳에 모든 재료를 둔 것과 같은 원리다.

결과는 확실하다. GPU 대비 10배 빠른 성능, 3분의 1 수준 비용, 3~5배 높은 에너지 효율을 달성했다. 디메트릭스의 코르세어(Corsair) 추론 가속기와 제트스트림(JetStream) 네트워크 카드, 아비에이터(Aviator) 소프트웨어를 조합하면 라마(Llama) 70B 모델 기준으로 토큰당 2밀리초 속도로 초당 3만 개 토큰을 생성한다. 랙 하나로 1,000억 파라미터 모델을 돌릴 수 있다는 것도 강점이다.

쉽게 말해 데이터센터 하나가 기존 10개 데이터센터 분량의 일을 해낸다. 전력 소비와 비용이 대폭 줄어드는 건 당연하다. 생성형 AI가 대중화되면서 전력 문제가 심각해지는 상황에서 이런 효율성은 경쟁력이 된다.

AI 추론 칩 시장은 지금 엔비디아 독무대다. 점유율이 90%가 넘는다. 하지만 틈새를 노리는 스타트업들이 속속 등장하고 있다. 그록(Groq)은 초저지연 추론 칩으로 지난 9월 7.5억 달러를 추가로 유치하며 기업가치 69억 달러를 달성했다. 세러브라스(Cerebras)는 저녁 접시만 한 웨이퍼 스케일 칩으로 승부를 걸고 있으며, 지난 9월 11억 달러를 조달해 기업가치 81억 달러를 기록했다. 삼바노바(SambaNova)는 2021년 50억 달러 가치평가를 받았지만 최근 추가 투자 유치에 어려움을 겪으며 매각을 검토 중인 것으로 알려졌다. 영국 기반의 그래프코어(Graphcore)는 2024년 7월 소프트뱅크에 인수됐다. 시장 전망은 밝다. AI 추론 시장은 2025년 1,061억 달러에서 2030년 2,550억 달러로 연평균 19.2% 성장할 것으로 예상된다.

투자자들은 디메트릭스가 미래를 먼저 읽었다고 평가한다. 불하운드캐피탈의 퍼 로만(Per Roman) 창립자는 “AI 산업의 초점이 학습에서 대규모 추론으로 넘어가고 있다”며 “승자는 이 전환을 일찍 예측하고 준비한 쪽이 될 것”이라고 말했다. 이어 “디메트릭스는 추론이 AI 경제성을 좌우할 거라는 걸 누구보다 먼저 깨달았고, 실행도 훌륭하다”고 덧붙였다.

트라이아토믹캐피탈의 제프 휴버(Jeff Huber) 제너럴파트너는 “AI 추론이 이제 프로덕션 AI 시스템에서 가장 큰 비용”이라며 “디메트릭스는 성능과 경제성을 대규모로 동시에 잡는 방법을 찾아냈다”고 평가했다. M12의 마이클 스튜어트(Michael Stewart) 매니징파트너는 “디메트릭스는 빠르게 성장하는 다양한 규모의 LLM 추론에서 실용적인 경제성을 구현한 첫 번째 AI 칩 스타트업”이라고 강조했다.

디메트릭스는 생태계 구축에도 공을 들이고 있다. 최근 아리스타(Arista), 브로드컴(Broadcom), 슈퍼마이크로(Supermicro)와 함께 스쿼드랙(SquadRack) 개방형 참조 아키텍처를 발표했다. 3D 메모리 스태킹 같은 차세대 기술도 준비 중이다.

2019년 설립된 디메트릭스는 캘리포니아주 산타클라라에 본사를 두고 토론토, 시드니, 방갈로르, 베오그라드에 사무소를 운영한다. 직원은 250명이 넘는다. 창립자는 시드 셰스 CEO와 수딥 보자(Sudeep Bhoja) CTO다. 셰스 CEO는 인텔과 넷로직마이크로시스템즈(NetLogic Microsystems)를 거쳐 인파이(Inphi)에서 네트워킹 사업부를 10억 달러 이상으로 키운 반도체 베테랑이다.

이번 투자금은 제품 개발, 글로벌 확장, 하이퍼스케일·엔터프라이즈·정부 고객 확보에 쓰인다. 모건스탠리가 배치 에이전트로, 윌슨손시니굿리치앤로사티(Wilson Sonsini Goodrich & Rosati)가 법률 자문으로 참여했다.