추론 전용 칩 에치드, 7억 달러 유치…기업가치 210억 달러

프런티어 AI 모델을 쓸 수 있는 사람은 전 세계 1%가 채 되지 않는다. 모델은 매달 좋아지지만 그 모델을 실제로 돌리는 비용과 물량이 따라오지 못한다. 학습이 끝난 모델에 질문을 던져 답을 받는 추론 단계는 이제 AI 산업의 병목이 됐고, 학습용으로 설계된 범용 GPU가 그 일을 계속 맡는 것이 맞느냐는 질문이 따라붙는다.

에치드의 답은 처음부터 명확했다. 트랜스포머 구조를 실리콘에 통째로 새긴 전용 칩을 만든다는 것이다. 범용성을 버리는 대가로 속도와 전력 효율을 얻는 방식이다.

랙 하나가 만든 변화

에치드는 7억 달러 규모의 시리즈D 투자를 유치했다고 발표했다. 기업가치는 210억 달러로 평가받았다. 지난달 103억 달러 가치에 3억 달러를 조달한 지 한 달도 안 돼 두 배가 됐다. 올해 1월 50억 달러 가치에 5억 달러를 받았을 때와 비교하면 일곱 달 만에 네 배다.

이번 라운드를 이끈 곳은 벤처캐피탈이 아니라 고객이다. 퀀트 트레이딩 회사 제인스트리트는 에치드의 하드웨어를 직접 시험한 뒤 투자를 결정했다. 회사는 칩을 테스트해 초기 결과에 만족했으며, 에치드의 추론 접근 방식이 가장 까다로운 워크로드에 필요한 정밀도를 제공한다고 밝혔다. 자사 데이터센터에 랙을 들여놓게 된 것을 기대한다고도 했다.

에치드가 첫 랙을 출하한 곳이 바로 제인스트리트다. 회사가 이번 발표에 ‘제로에서 원으로’라는 제목을 붙인 이유다. 제인스트리트는 이전 라운드에도 참여했던 기존 투자자로, 구글 TPU 설계자들이 세운 맷엑스에도 투자한 바 있다. 금융권 자기자본이 AI 추론 하드웨어에 직접 들어오는 흐름을 보여준다.

클라이너퍼킨스, 세쿼이아캐피탈, 앤드리슨호로위츠, 피터 틸, 타이거글로벌, 베인캐피탈벤처스, 네오, 스트라이프스, 프라이머리, 포지티브섬, 디퓨전, 아르고, 블랙스톤이 함께 참여했다. 지난달 시리즈C에는 SK하이닉스도 이름을 올렸다.

프리필과 디코드를 쪼갰다

에치드가 파는 것은 칩 단품이 아니라 ‘프런티어 추론 클러스터’라 부르는 시스템 전체다. 추론 과정을 두 단계로 나눠 각각에 다른 하드웨어를 붙였다.

질문의 맥락을 읽어들이는 프리필 단계에는 낮은 전압에서 동작하는 전용 칩을 썼다. 전압을 낮추면 발열 한계에 걸리지 않고 트랜지스터를 더 촘촘히 넣을 수 있다. 고성능 칩의 집적도를 가로막는 것이 결국 열이라는 점을 우회한 설계다. 답을 한 글자씩 생성하는 디코드 단계에는 회사가 ‘클러스터 스케일 메모리’라 부르는 자체 메모리·인터커넥트 기술을 넣었다. 여러 칩이 하나의 메모리 풀을 낮은 지연으로 공유하는 구조다.

제조는 TSMC의 N4P 공정을 쓴다. 첫 칩이 첫 시도에 동작했는데, 이 규모의 신생 반도체 기업에서는 흔한 일이 아니다.

주목할 변화가 하나 있다. 초기 에치드는 특정 모델에 맞춰 칩을 굽는 방식이었고, 대표 제품 이름도 트랜스포머 전용 칩 ‘소후’였다. 2년 스텔스를 끝내고 실물 칩과 10억 달러 규모 고객 계약을 공개했을 때까지가 그 단계였다. 지금은 어떤 프런티어 모델이든 돌아가도록 범위를 넓혔다. 단일 모델에 실리콘을 고정하는 위험을 스스로 덜어낸 셈이다. 수주 잔고는 6월 기준 10억 달러를 넘겼다.

하버드를 떠난 세 사람

에치드는 2022년 개빈 우버티와 크리스 주, 로버트 워첸이 하버드대를 그만두고 세웠다. 세 사람 모두 틸 펠로십을 받았고, 본사는 캘리포니아 새너제이에 있다.

이들이 학교를 떠나며 걸었던 베팅은 단순했다. GPT와 클로드, 제미나이를 비롯한 거의 모든 상용 AI가 올라선 트랜스포머 구조가 앞으로도 계속 지배할 것이라는 판단이었다. 구조가 고정된다면 그 구조만을 위한 칩이 범용 칩을 이길 수 있다는 논리다. 아키텍처가 바뀌면 회사가 통째로 무의미해지는 위험을 안은 선택이었고, 4년이 지난 지금까지는 베팅이 맞았다.

회사는 앞으로 기가와트급으로 규모를 올리며 공장 신설과 글로벌 공급망, 플릿 소프트웨어, 커널을 스스로 개선하는 에이전트 같은 과제를 마주하게 된다고 밝혔다.

경쟁 구도

추론 전용 칩은 올해 투자가 가장 몰린 분야다. 다만 접근 방식이 갈린다.

정면 승부를 택한 곳들이 있다. 세레브라스는 접시 크기의 웨이퍼 스케일 칩으로 나스닥에 상장해 55억 달러를 조달했고 첫날 주가가 108% 뛰었다. 삼바노바는 110억 달러 밸류에 10억 달러를 유치했고, 디매트릭스는 20억 달러 가치에 2억7,500만 달러를 받았다. 포지트론 AI는 엔비디아 전력의 3분의 1로 같은 성능을 낸다며 유니콘에 올랐다. 에치드와 가장 비슷한 길을 걷는 맷엑스는 LLM 전용 칩으로 5억 달러를 조달했다.

반대로 하드웨어에서 물러난 곳도 있다. 그록은 엔비디아와 200억 달러 규모 기술 라이선스 계약을 맺은 뒤 칩을 접고 추론 클라우드로 전환했고, 이달 3억5천만 달러 시리즈A로 다시 출발했다. 자체 칩을 만들어 파는 것과 남의 칩으로 서비스를 파는 것 사이에서 답이 갈리고 있다는 뜻이다.

더 큰 압력은 빅테크의 자체 칩이다. 구글은 8세대 TPU를 학습용과 추론용으로 쪼개 내놨고, 오픈AI는 브로드컴과 9개월 만에 첫 자체 추론 칩 ‘할라페뇨’를 완성했다. 물량을 가장 많이 쓰는 사업자들이 직접 칩을 설계하기 시작하면 전용 칩 스타트업의 고객 풀은 그만큼 줄어든다. 에치드가 금융권에서 첫 고객을 찾은 것은 이 지점에서 읽을 만하다.

국내에서는 리벨리온과 퓨리오사AI가 NPU로 같은 시장을 겨냥한다. 리벨리온은 과기정통부 혁신제품 지정으로 공공 조달 경로를 열었고, 퓨리오사AI는 유럽 데이터센터와 브로드컴 협력으로 해외 상용화를 밀고 있다. 두 회사 모두 소버린 AI 수요를 발판으로 삼는다는 점에서 에치드와는 다른 진입 전략이다.

추론 칩 시장의 전체 구도는 여기를 참고하시길.

주요 AI 기업들의 투자 관계망에 대한 자세한 내용은 여기를 참고하시길.