제너럴 컴퓨트, 1,500만 달러 시드 투자 유치… “추론 특화 네오클라우드로 AI 인프라 판도 바꾼다”

AI 추론(inference) 시장이 뜨겁다. 대형 언어모델을 훈련시키는 것과 실제로 작동시키는 것은 전혀 다른 게임이다. 훈련에는 막대한 연산이 필요하지만, 추론은 속도와 효율이 핵심이다. 문제는 지금까지 이 두 가지를 모두 GPU가 담당해왔다는 점이다. AI 에이전트가 에이전트와 대화하고, 코딩 에이전트가 수십 분 만에 복잡한 작업을 끝내야 하는 시대가 오면서 GPU의 한계가 드러나기 시작했다.

여기에 베팅한 스타트업이 있다. 제너럴 컴퓨트(General Compute)는 AI 추론에 특화된 ‘네오클라우드’다. 네오클라우드란 GPU 연산 자원을 임대하는 클라우드 서비스를 말하는데, 제너럴 컴퓨트는 훈련이 아닌 추론 단계에 집중한다. 이 회사가 FUSE VC 주도로 카야 벤처 파트너스(Carya Venture Partners), 빌리지 글로벌 벤처스(Village Global Ventures) 등이 참여한 시드 라운드에서 1,500만 달러를 유치했다. 포스트머니 기업가치는 6,000만 달러다.

삼바노바 칩에 건 승부수, 그리고 데이터센터 전략

제너럴 컴퓨트의 차별점은 칩 선택에 있다. CEO 핀 푸클로우스키(Finn Puklowski)와 CTO 제이슨 구디슨(Jason Goodison)은 엔비디아(NVIDIA) GPU 대신 삼바노바(SambaNova)의 추론 특화 칩을 택했다. 삼바노바는 인텔(Intel)이 투자한 칩메이커로, 실리콘밸리에서 한동안 주목받지 못했다. 하지만 올해 출시 예정인 신형 SN50 칩이 판도를 바꿀 수 있다는 게 제너럴 컴퓨트의 판단이다.

삼바노바에 따르면 SN50은 초당 600~700개 토큰을 처리한다. GPU의 약 250개 토큰과 비교하면 두 배 이상 빠르다. 추론 전용 칩을 만드는 그록(Groq)이나 세레브라스(Cerebras)보다도 성능이 뛰어나다는 주장이다. 제너럴 컴퓨트는 SN50 칩 3억 달러어치를 선주문했으며, 이 칩을 처음 배포하는 네오클라우드가 될 예정이다.

칩 선택은 데이터센터 문제도 해결해준다. SN50은 수냉식이 아닌 공랭식이고 전력 소비도 적다. 기존 데이터센터 시설에 추가 인프라 투자 없이 설치할 수 있다는 뜻이다. 푸클로우스키는 데이터센터 사업자뿐 아니라 암호화폐 채굴업자들과도 협력을 추진 중이다. 비트코인 채굴 비용이 시세를 웃돌면서 유휴 인프라가 늘어난 덕분이다.

제너럴 컴퓨트는 지난주 클라우드 서비스를 정식 출시했다. 강력한 오픈소스 LLM인 MiniMax 2.7을 가장 빠르게 구동하는 네오클라우드라고 주장한다. 이 회사에 투자한 에버크레스트 캐피털 파트너스(Evercrest Capital Partners)의 조 해슬만(Joe Hasselmann)은 그록에 2021년 초기 투자한 경력이 있다. 그는 삼바노바와 제너럴 컴퓨트의 관계가 코어위브(CoreWeave)와 엔비디아의 협력 구조와 닮았다고 본다. “제너럴 컴퓨트가 삼바노바에 베팅하는 만큼, 삼바노바도 제너럴 컴퓨트에 베팅하는 것”이라고 그는 설명했다.

에이전트 시대가 요구하는 새로운 인프라

추론 클라우드 시장의 성장은 단일 AI 모델이 지배하지 않는 미래를 전제한다. 다양한 모델과 에이전트가 상호작용하는 세상에서 추론 속도와 비용이 핵심 경쟁력이 된다. 이번 주 오픈라우터(OpenRouter)가 1억1,300만 달러 시리즈B를 유치한 것도 같은 맥락이다. 고객들이 여러 모델에 접근해 토큰 비용을 최적화하려는 수요가 커지고 있다.

푸클로우스키는 코딩 에이전트의 작업 시간을 한 시간에서 5~10분으로 줄이고, 고객 서비스용 음성 에이전트의 경제성을 높이겠다는 목표를 밝혔다. “ChatGPT가 초당 50개 토큰을 내놓으면 우리가 읽기엔 충분히 빠르다”고 그는 말했다. “하지만 에이전트가 우리 대신 읽고 데이터베이스를 호출하는 시대가 되면, 훨씬 더 빨라야 한다.”

추론 전용 칩 시장은 빠르게 달아오르고 있다. 엔비디아가 지난 12월 그록을 200억 달러에 인수했고, 세레브라스는 지난주 기업가치 570억 달러로 IPO에 성공했다. 에치드(Etched), 포지트론 AI(Positron AI), 맷엑스(MatX) 등도 추론 특화 칩으로 주목받고 있다. 네오클라우드 영역에서는 베이스텐(Baseten), 모달랩스(Modal Labs) 등이 경쟁하고 있다.

제너럴 컴퓨트가 삼바노바라는 비주류 칩에 베팅한 결과가 어떻게 나올지는 두고 볼 일이다. 하지만 AI 인프라 시장에서 GPU 일변도의 시대가 끝나가고 있다는 신호는 분명하다.

추론 인프라에 대한 자세한 내용은 여기를 참고하시길.