AI 추론 최적화 시장에서 이제는 익숙한 패턴이 하나 있다. 인기 오픈소스 프로젝트가 수억 달러짜리 스타트업으로 독립하는 것이다. 최신 주인공은 래딕스아크(RadixArk)다.

테크크런치 보도에 따르면 래딕스아크는 엑셀(Accel) 주도 투자로 약 4억 달러의 기업가치를 인정받았다. 지난 8월 정식 출범한 지 불과 몇 개월 만이다. 구체적인 투자 규모는 공개되지 않았지만, 인텔 CEO 립부 탄(Lip-Bu Tan) 등 엔젤 투자자들도 참여한 것으로 알려졌다.

래딕스아크의 뿌리는 데이터브릭스(Databricks) 공동창업자 아이온 스토이카(Ion Stoica)가 이끄는 UC버클리 연구실이다. 2023년 이곳에서 시작된 오픈소스 프로젝트 SGLang이 상업화 기업으로 분사한 것이다. SGLang의 핵심 개발자였던 잉 셍(Ying Sheng)은 일론 머스크의 xAI를 떠나 지난해 말 래딕스아크 공동창업자 겸 CEO가 됐다. 그는 그 전에는 데이터브릭스 연구 과학자로 일했다.

SGLang과 래딕스아크가 받는 관심엔 이유가 있다. 같은 하드웨어에서 AI 모델을 더 빠르고 효율적으로 돌리는 기술을 만들기 때문이다. AI 서비스에서 모델 학습과 추론은 서버 비용의 상당 부분을 먹는다. 이걸 최적화하면 당장 비용이 확 줄어든다.

실제로 SGLang은 이미 xAI, 커서(Cursor) 같은 회사들이 AI 모델 학습 가속화에 쓰고 있다. 프로덕션 환경에서 매일 수조 개의 토큰을 처리하고, 전 세계 40만 개 이상의 GPU에서 돌아간다. xAI, AMD, 엔비디아, 인텔, 링크드인, 오라클 클라우드, 구글 클라우드, 마이크로소프트 애저, AWS 등 주요 테크 기업들이 다 쓰고 있다.

래딕스아크는 SGLang을 오픈소스로 계속 개발하는 동시에, 강화학습용 프레임워크 마일스(Miles)도 만들고 있다. 대부분 도구는 무료지만, 호스팅 서비스는 유료로 전환하기 시작했다.

래딕스아크만 이런 길을 걷는 건 아니다. 더 먼저 나온 추론 최적화 프로젝트 vLLM도 오픈소스에서 상업 스타트업으로 넘어갔다. 포브스에 따르면 vLLM은 최근 약 10억 달러 기업가치로 1억 6000만 달러 이상을 유치하는 협상을 진행 중이다. 앤드리슨 호로위츠(Andreessen Horowitz)가 투자를 주도하고 있다. vLLM 공동창업자 사이먼 모(Simon Mo)는 이번 라운드 정보가 “사실과 다르다”고 했지만, 어느 부분이 틀렸는지는 밝히지 않았다.

흥미로운 건 SGLang과 vLLM 모두 스토이카의 UC버클리 연구실에서 나왔다는 점이다. UC버클리 컴퓨터공학과 교수인 아이온 스토이카(Ion Stoica)는 데이터브릭스 외에도 여러 스타트업을 공동창업한 인물이다. 그의 스카이 컴퓨팅 랩(Sky Computing Lab)은 vLLM, SGLang, Ray/애니스케일(Anyscale) 등 AI 인프라 히트작을 줄줄이 배출했다.

CRV의 제너럴 파트너 브리태니 워커(Brittany Walker)는 테크크런치에 “여러 대형 테크 기업이 이미 vLLM로 추론 워크로드를 돌리고 있고, SGLang도 최근 6개월간 인기가 크게 올랐다”고 말했다.

래딕스아크와 vLLM은 오픈소스 추론 엔진을 만든다. 기업들이 자체 인프라에 설치해 쓰는 소프트웨어 레이어다. 하지만 래딕스아크가 호스팅 서비스를 시작하면서 이들은 이제 한층 위 시장으로 올라가고 있다.

그 위 시장엔 이미 강자들이 포진해 있다. 베이스텐(Baseten)은 얼마 전에 엔비디아가 1억 5000만 달러를 투자한 3억 달러 규모 라운드로 50억 달러 밸류에이션을 기록했다. 투게더AI(Together AI)는 작년 2월 제너럴 카탈리스트(General Catalyst)와 프로스페리티7(Prosperity7) 주도로 3억 500만 달러를 유치하며 33억 달러 기업가치를 인정받았다. 파이어웍스AI(Fireworks AI)는 작년 10월 2억 5000만 달러를 40억 달러 밸류에이션으로 조달했다.

이 회사들은 모두 ‘관리형 AI 추론 플랫폼’을 제공한다. 개발자들이 복잡한 GPU 인프라 관리 없이 API만으로 모델을 배포하고 스케일링할 수 있게 해준다. 래딕스아크나 vLLM 같은 오픈소스 엔진을 내부적으로 쓸 수도 있지만, 그 위에 오토스케일링, 모니터링, 멀티클라우드 관리 같은 부가가치를 더해 훨씬 비싼 값에 판다.

래딕스아크가 호스팅 서비스를 시작한 건 바로 이 시장을 겨냥한 것이다. 아래 레이어(오픈소스 엔진)에서 시작해 위 레이어(관리형 플랫폼)로 올라가는 전략이다. 이미 검증된 오픈소스 기술력에 상업 서비스를 얹는 방식이다.

AI 추론 시장은 지금 폭발적으로 커지고 있다. 기업들이 AI를 실험실에서 꺼내 실제 서비스에 올리기 시작하면서, 빠르고 저렴한 추론 인프라 수요가 치솟고 있다. UC버클리 연구실에서 시작된 오픈소스 프로젝트들이 수억~수십억 달러짜리 기업으로 커지는 건, 이 시장의 핵심 가치가 어디에 있는지 보여준다.