‘추론 속도 혁신’으로 주목받고 있는 AI 칩 전문기업 그로크(Groq)가 7억5천만 달러 규모의 신규 투자를 유치하며 기업가치 69억 달러를 달성했다고 17일 발표했다. 이는 지난 7월 시장에 흘러나온 6억 달러 투자, 60억 달러 기업가치 전망을 크게 웃도는 성과로, AI 추론 시장에서의 그로크 위상을 보여준다.

이번 투자 라운드는 성장투자 전문사 디스럽티브(Disruptive)가 주도했다. 여기에 글로벌 자산운용사 블랙록(BlackRock), 뉴버거 버만(Neuberger Berman), 도이체 텔레콤 캐피털 파트너스(Deutsche Telekom Capital Partners)와 미국 서부 지역의 대형 뮤추얼펀드가 참여했다. 기존 투자사인 삼성전자, 시스코, D1, 알티미터(Altimeter), 1789 캐피털, 인피니텀 등도 후속 투자에 동참했다.

그로크는 2024년 8월 28억 달러 기업가치로 6억4천만 달러를 조달한 바 있어, 약 1년 만에 기업가치가 146% 상승했다. 피치북에 따르면 그로크의 누적 투자유치 금액은 30억 달러를 넘어섰다.

GPU 한계 뛰어넘는 혁신적 LPU 기술

그로크가 AI 업계의 뜨거운 관심을 받는 이유는 엔비디아가 장악한 AI 칩 시장에 전혀 다른 접근법으로 도전하고 있기 때문이다. 회사의 핵심 기술인 LPU(언어 처리 유닛)는 기존 GPU와 근본적으로 다른 설계 철학을 가진다. GPU가 원래 그래픽 처리용으로 개발된 범용 프로세서인 반면, LPU는 처음부터 AI 추론만을 위해 설계된 전용 칩이다.

LPU의 가장 큰 특징은 ‘소프트웨어 우선’ 설계다. 하드웨어 설계 전에 컴파일러 아키텍처를 먼저 완성했으며, 이를 통해 개발자가 하드웨어 활용도를 극대화하기 쉽도록 했다. 또한 선형대수 연산에만 집중하고 멀티칩 연산 패러다임을 단순화해 ‘프로그래밍 가능한 어셈블리 라인 아키텍처’를 구현했다.

가장 핵심적인 차이는 메모리 구조에 있다. GPU가 외부 HBM(고대역폭 메모리)에 의존해 약 8테라바이트/초의 대역폭을 제공하는 반면, LPU는 칩 내장 SRAM을 사용해 80테라바이트/초 이상의 메모리 대역폭을 구현한다. 이는 10배 이상의 속도 우위를 제공하며, 별도 메모리 칩에서 데이터를 가져오는 과정을 생략해 추가적인 성능 향상을 가져온다.

압도적 성능으로 시장 판도 흔들어

그로크의 기술력은 실제 성능에서도 입증되고 있다. 회사는 메타의 라마2-70B 모델을 초당 100토큰 이상의 속도로 실행하는 첫 번째 API 제공업체가 됐다. 14나노미터 공정으로 제작된 1세대 LPU는 25×29mm 크기에서 900MHz로 동작하며, 실리콘 1제곱밀리미터당 1테라플롭 이상의 연산 밀도를 자랑한다. 2세대 LPU는 삼성의 4나노미터 공정으로 제작될 예정이어서 성능이 더욱 향상될 전망이다.

그로크는 자사 기술이 ChatGPT를 13배 이상 빠르게 실행할 수 있다고 주장한다. 이런 성능은 LPU의 독특한 아키텍처 덕분이다. GPU가 동적 스케줄링과 런타임 중재를 사용해 비결정적 지연시간을 발생시키는 반면, LPU는 결정적 실행을 통해 일관된 성능을 보장한다. 또한 텐서 병렬 처리를 통해 단일 레이어를 여러 칩에 분산시켜 실시간 애플리케이션에 최적화됐다.

클라우드부터 온프레미스까지 확장

그로크는 개발자와 기업을 대상으로 다양한 형태의 서비스를 제공한다. 클라우드 서비스인 그로크클라우드(GroqCloud)를 통해서는 메타, 딥시크, 콴, 미스트랄, 구글, 오픈AI 등의 오픈소스 모델을 실행할 수 있다. 온프레미스 솔루션인 그로크랙(GroqRack)은 8개의 컴퓨트 노드와 1개의 예비 노드로 구성된 서버 랙으로, 단일 랙 기준 종단간 지연시간이 1.6마이크로초에 불과하다.

그로크는 현재 200만 명 이상의 개발자에게 서비스를 제공하고 있다. 이는 1년 전 35만6천 명에서 대폭 늘어난 수치로, 시장에서의 빠른 확산을 보여준다. 회사는 북미, 유럽, 중동에 데이터센터를 운영 중이며, 최근에는 핀란드 헬싱키에 유럽 데이터센터를 새로 개설했다. 또한 사우디아라비아로부터 15억 달러의 추가 투자를 확보했고, 벨 캐나다와 국가 AI 인프라 확장 계약을 체결하는 등 글로벌 확장에 박차를 가하고 있다.

구글 출신 창업자의 AI 칩 도전기

그로크 창립자 조나단 로스는 “추론이 현재 AI 시대를 정의하고 있으며, 우리는 고속·저비용으로 이를 제공하는 미국의 인프라를 구축하고 있다”고 말했다. 로스는 구글에서 머신러닝 전용 프로세서인 텐서 처리 유닛(TPU) 칩 개발의 핵심 설계자로 활동한 경력이 있다. 2016년 그로크를 창립할 당시 구글이 TPU를 발표한 해이기도 해서, AI 전용 칩의 중요성을 일찍 간파한 선견지명을 보여준다.

회사는 2016년 창립 이후 꾸준히 성장해왔다. 2024년 2월 개발자 플랫폼인 그로크클라우드를 소프트 런칭했고, 3월에는 비즈니스 중심의 AI 솔루션 전문 스타트업 디피니티브 인텔리전스(Definitive Intelligence)를 인수해 클라우드 플랫폼을 강화했다.

디스럽티브는 팰런티어, 에어비앤비, 스포티파이, 쉴드 AI, 힘스, 데이터브릭스, 스트라이프, 슬랙 등 성공한 기업들에 투자한 이력이 있다. 이번에 그로크에 약 3억5천만 달러를 투자했다.

디스럽티브의 알렉스 데이비스 회장 겸 CEO는 “AI가 확장되면서 그 뒤의 인프라는 모델 자체만큼 중요해질 것”이라며 “그로크가 그 기반을 구축하고 있으며, 조나단과 그의 팀과 함께 폭발적 성장의 다음 장을 열어갈 수 있어 기쁘다”고 말했다.