베이스텐(Baseten)이 시리즈 D 투자라운드에서 1억 5천만 달러를 유치하며 기업가치 21억 5천만 달러로 평가받았다고 9월 5일 발표했다. 이번 투자는 본드(BOND)가 주도했으며, 캐피털G(CapitalG), 프렘지(Premji), 케빈 & 엘리자베스 웨일(Kevin and Elizabeth Weil of Scribble) 등이 신규 투자자로 참여했다. 기존 투자자인 컨빅션(Conviction), 01a, IVP, 스파크(Spark), 그레이록(Greylock)도 후속 투자에 참여했다. 이번 투자로 베이스텐의 총 누적 투자금액은 2억 8천 5백만 달러를 넘어섰다.

이번 투자는 베이스텐이 불과 6개월 전 시리즈 C에서 7천 5백만 달러를 조달한 이후 기업가치가 거의 3배 증가한 것으로, AI 추론 인프라에 대한 폭발적인 수요를 반영한다. 베이스텐은 AI 모델이 실제 애플리케이션에서 구동되는 과정인 ‘추론(inference)’에 특화된 플랫폼을 제공하는 기업이다. 추론은 AI가 사용자와 만나는 지점으로, 예측을 생성하고 의사결정을 지원하며 실질적인 가치를 창출하는 핵심 단계다.

베이스텐의 공동창업자 겸 CEO인 투힌 스리바스타바(Tuhin Srivastava)는 “클라우드가 지난 세대 위대한 기술 기업들의 토대였다면, 추론은 다음 세대의 토대가 될 것”이라며 “모든 성공적인 AI 애플리케이션은 빠르고 안정적이며 비용 효율적인 추론에 의존한다. 베이스텐이 바로 이를 가능하게 한다. 스트라이프(Stripe)가 인터넷 경제의 지표가 된 것처럼, 베이스텐은 AI 경제의 지표가 될 것”이라고 말했다.

베이스텐의 플랫폼은 추론을 위해 특별히 설계되어 현대 AI 애플리케이션이 요구하는 성능, 비용 효율성, 확장성을 제공한다. 회사는 응용 AI 연구, 유연한 인프라, 직관적인 개발자 도구를 결합하여 기업들이 실험에서 프로덕션으로 빠르고 안전하게 이전할 수 있도록 지원한다. 베이스텐의 가장 큰 강점은 자체 개발한 ‘베이스텐 추론 스택(Baseten Inference Stack)’으로, 이 기술은 모든 모델의 속도, 안정성, 비용 효율성을 보장하는 핵심 엔진이다. 대규모 언어모델(LLM)부터 텍스트-음성 변환, 임베딩까지 다양한 AI 모델을 지원한다.

회사는 엔비디아(NVIDIA)와의 파트너십을 통해 TensorRT-LLM과 트리톤 추론 서버(Triton Inference Server)를 활용, 고객들에게 2배 향상된 처리량과 50% 빠른 첫 토큰 생성 시간(TTFT)을 제공한다. 특히 베이스텐의 임베딩 추론(BEI)은 시장의 다른 솔루션 대비 2배 이상 높은 처리량과 10% 낮은 지연시간을 자랑한다. 베이스텐의 플랫폼은 멀티 클라우드 환경에서 작동하며, 10개의 서로 다른 클라우드 제공업체를 통해 서비스를 제공한다. 트래픽이 증가할 때 자동으로 가장 적합한 플랫폼에서 추가 GPU를 프로비저닝하고, 한 클라우드에서 기술적 문제가 발생하면 자동으로 다른 클라우드로 전환한다. 또한 콜드 스타트 시간을 기존 5분에서 5-10초로 단축시켜 30-60배의 성능 향상을 달성했다.

베이스텐은 최근 베이스텐 모델 API와 베이스텐 트레이닝 서비스를 출시하며 추론을 넘어 AI 모델 훈련까지 사업 영역을 확장했다. 이를 통해 기업들은 새로운 AI 모델을 구축하고 훈련 과정에서 모델을 주기적으로 백업할 수 있다. 베이스텐은 지난 1년간 어브리지(Abridge), 캡션스(Captions), 클레이(Clay), 오픈에비던스(OpenEvidence), 라이터(Writer) 등의 고객사를 지원했다. 이들 기업은 베이스텐의 인프라를 활용해 수십억 달러 규모의 매출을 창출하고 있다.

의료 분야에 특화된 AI 솔루션을 제공하는 어브리지의 CEO 시브 라오(Dr. Shiv Rao) 박사는 “의료진 대화를 실시간으로 임상적으로 유용하고 청구 가능한 문서로 변환하는 우리의 미션 수행에는 빠르고 신뢰할 수 있는 추론이 필수적”이라며 “베이스텐은 의료 시스템 전반에서 안전하게 확장 가능한 인프라를 지원하며, 매주 100만 건 이상의 임상 노트를 생성하는 데 신뢰받는 기술 스택의 중요한 구성 요소”라고 평가했다. AI 기반 GTM 플랫폼 클레이의 공동창업자 겸 CEO 카림 아민(Kareem Amin)은 “클레이는 베이스텐을 통해 필요한 속도, 규모, 안정성을 확보했다”며 “이는 혁신적인 변화를 가져왔다. 더 빠르고 높은 품질로 새로운 AI 기능을 출시할 수 있으며, 고객들에게 제대로 작동할 것이라는 확신을 갖게 되었다”고 말했다.

의료 정보 플랫폼 오픈에비던스의 공동창업자 겸 CTO 재커리 지글러(Zachary Ziegler)는 “베이스텐은 매주 수십억 건의 맞춤형 파인튜닝된 LLM 호출을 지원하며, 전국 주요 의료시설의 의료진에게 고위험 의료 정보를 제공한다”며 “베이스텐의 안정성에 대한 헌신과 대규모 지원은 때로는 문자 그대로 생사가 걸린 이 미션을 수행하는 데 적합함이 입증되었다”고 평가했다. 이번 투자를 주도한 본드의 제네럴 파트너 제이 사이먼스(Jay Simons)는 “추론은 주요 병목 지점이며, 이를 해결하는 것이 AI의 모든 잠재력을 발휘하는 핵심”이라며 “베이스텐은 이미 오늘 이를 수행하고 있다. 나는 아틀라시안(Atlassian)에서 끊임없는 제품 회사가 스타트업에서 표준으로 확장되는 것을 직접 목격했다. 베이스텐도 비슷한 궤적에 있으며, 제품과 도입 측면에서 수년 앞서 있다”고 평가했다.

신규 투자자로 참여한 캐피털G의 파트너 질 체이스(Jill Chase)는 “베이스텐은 단순히 AI 혁신을 지원하는 것이 아니라 가속화한다”며 “베이스텐의 인프라는 가장 야심찬 AI 팀들이 개념을 시장을 변화시키는 제품으로 빠르게 전환할 수 있게 한다”고 말했다. 베이스텐은 이번 투자 자금을 팀 확장과 핵심 영역에 대한 투자 심화에 활용할 계획이다. 특히 모델 성능 연구 지속, 더 큰 워크로드를 지원하기 위한 인프라 구축, 모델 배포 및 관리를 더욱 원활하게 만드는 개발자 도구 개선에 집중할 예정이다. 또한 고객 지원팀을 확대하여 점점 복잡해지는 AI 배포 환경을 탐색하는 데 필요한 지원과 가이던스를 제공할 계획이다.

1000억 달러 규모의 추론 시장은 역사상 가장 크고 빠르게 성장하는 시장 중 하나로 평가받고 있다. 베이스텐은 이 시장에서 AI 경제의 지표 역할을 하며, 클라우드가 지난 15년간 기술 기업들의 토대 역할을 했던 것처럼 AI 시대의 핵심 인프라로 자리매김하겠다는 비전을 제시하고 있다.