모듈러(Modular)가 AI 통합 컴퓨팅 계층 구축을 가속화하기 위해 3차 투자 라운드에서 2억5000만 달러(약 3342억원)를 유치했다고 24일 발표했다. 이번 투자로 회사의 기업가치는 16억 달러(약 2조1400억원)로 평가돼 직전 투자 대비 거의 3배 상승했다.

이번 투자는 토머스 털(Thomas Tull)의 미국혁신기술펀드(US Innovative Technology Fund)가 주도했으며, DFJ 그로스(DFJ Growth)가 신규 참여했다. 기존 투자자인 GV(구글벤처스), 제너럴 카탈리스트(General Catalyst), 그레이락벤처스(Greylock Ventures)도 모두 참여해 모듈러의 총 투자 유치 금액은 3억8000만 달러에 달했다.

AI 개발의 가장 큰 문제, 하드웨어 호환성

현재 AI 개발자들이 직면한 가장 큰 문제는 하드웨어 호환성이다. AI 모델을 훈련하고 실행하려면 강력한 컴퓨팅 파워가 필요한데, 각 하드웨어 제조사마다 서로 다른 프로그래밍 방식을 사용한다. 엔비디아 GPU는 CUDA라는 언어를, AMD GPU는 ROCm이라는 도구를 사용한다. 이는 마치 같은 일을 하는데 삼성 스마트폰용 앱과 아이폰용 앱을 따로 만들어야 하는 것과 같다.

예를 들어, 어떤 AI 회사가 엔비디아 GPU로 개발한 AI 모델을 AMD GPU에서 실행하려면 코드를 거의 새로 작성해야 한다. 이는 개발 시간과 비용을 크게 증가시킬 뿐만 아니라, 특정 하드웨어 벤더에 종속되는 문제를 야기한다. 전 세계 AI 컴퓨팅 용량의 상당 부분이 이런 파편화 때문에 제대로 활용되지 못하고 있는 실정이다.

모듈러의 해법: ‘AI계의 윈도우즈’ 역할

모듈러가 제공하는 솔루션은 쉽게 말해 ‘AI계의 윈도우즈’와 같은 역할을 한다. 윈도우즈 운영체제가 다양한 하드웨어에서 동일한 프로그램을 실행할 수 있게 해주는 것처럼, 모듈러 플랫폼은 하나의 AI 코드로 엔비디아, AMD, 인텔 등 다양한 하드웨어에서 동일하게 작동할 수 있게 해준다.

모듈러 플랫폼의 핵심은 세 가지 구성요소로 이뤄져 있다. 먼저 매머드(Mammoth)는 대규모 AI 서비스를 관리하는 ‘교통정리’ 역할을 한다. 수많은 AI 요청이 동시에 들어왔을 때 어떤 서버로 보낼지, 어떻게 효율적으로 처리할지를 결정한다. 마치 대형 쇼핑몰의 안내 데스크가 고객을 적절한 매장으로 안내하는 것과 비슷하다.

맥스(MAX)는 실제로 AI 모델을 빠르게 실행시키는 엔진 역할을 한다. 기존 AI 프레임워크들이 각각의 하드웨어에 최적화되지 않은 반면, 맥스는 어떤 하드웨어든 최고 성능을 낼 수 있도록 자동으로 최적화한다. 예를 들어, ChatGPT 같은 AI가 질문에 답할 때 다음 단어를 미리 예측해서 더 빨리 답변을 생성하는 ‘추측적 디코딩’ 같은 첨단 기법을 자동으로 적용한다.

모조(Mojo)는 개발자들이 사용하는 새로운 프로그래밍 언어다. 기존에 많이 사용하는 파이썬 언어와 비슷해서 배우기 쉽지만, C언어처럼 빠르게 실행되고 러스트 언어처럼 안전하다. 개발자들이 하나의 언어로 모든 종류의 하드웨어에서 최고 성능의 AI 프로그램을 만들 수 있게 해준다.

검증된 성과: 최대 80% 비용 절감

모듀러의 솔루션 효과는 이미 여러 고객사에서 입증됐다. AI 캐릭터 플랫폼 인월드(Inworld)는 모듈러 플랫폼을 도입한 후 AI 응답 속도를 70% 향상시키고 운영 비용을 80% 절감했다. 이는 같은 품질의 AI 서비스를 5분의 1 비용으로 제공할 수 있게 됐다는 의미다.

GPU 클라우드 마켓플레이스 샌프란시스코 컴퓨트(SF Compute)도 모듈러와 협력해 대용량 AI 처리에서 최대 80% 비용을 절감했다. 이런 성과 때문에 오라클(Oracle), 아마존웹서비스(AWS), 람다랩스(Lambda Labs) 등 주요 클라우드 서비스 업체들이 모듈러와 파트너십을 맺고 있다.

하드웨어 제조사들도 적극 협력하고 있다. AMD와 엔비디아는 모듈러 플랫폼이 자사 하드웨어의 성능을 최대한 끌어낼 수 있도록 기술 지원을 제공하고 있다. 최신 버전에서는 엔비디아의 차세대 B200 GPU와 AMD의 MI355 GPU에서 기존 최고 성능 도구들보다 20-50% 더 빠른 속도를 달성했다.

LLVM 창시자가 이끄는 차세대 AI 인프라

모듈러를 이끄는 크리스 래트너(Chris Lattner) CEO는 현대 소프트웨어 개발의 기반이 되는 LLVM 컴파일러 인프라를 만든 전설적인 개발자다. 애플의 스위프트(Swift) 프로그래밍 언어도 그의 작품이다. 아이폰 앱 개발에 사용되는 스위프트는 전 세계 수백만 개발자가 사용하고 있다.

래트너는 애플에서 12년간 개발자 도구 팀을 이끌었으며, 이후 테슬라, 구글, SiFive에서 핵심 AI 및 시스템 구축 경험을 쌓았다. 2022년 구글 브레인 출신인 팀 데이비스(Tim Davis)와 함께 모듈러를 공동 창립했다.

2022년 창립 이후 3년간 AI 통합 컴퓨팅 인프라 구축에 집중해온 모듈러는 현재 샌프란시스코 베이에어리어 본사와 함께 북미, 영국, 유럽에 130여명의 글로벌 인력을 보유하고 있다. 회사는 월 다운로드 수만 건을 기록하며 월 75% 성장률을 달성하고 있으며, 깃허브에서 2만4000개 이상의 스타를 받고 있다. 현재 매월 수조 개의 토큰을 처리하며 100여개국 10만명 이상의 개발자가 활용하는 플랫폼으로 성장했다.

글로벌 AI 생태계 확장 계획

모듈러는 이번 투자 자금으로 클라우드에서 모듈러 플랫폼의 네이티브 확장, 클라우드와 엣지 하드웨어 플랫폼 지원 확대를 통해 처리량, 레이턴시, 비용, 정확도 면에서 업계 최고 수준을 달성할 계획이다. 회사는 현재 북미와 유럽에서 광범위한 직종의 인재를 적극 채용하고 있으며, 추론 분야에서 AI 학습 영역으로도 사업을 확대할 예정이다.

오픈소스 코드 60만 라인 이상을 공개하며 전 세계 개발자들로부터 수천 건의 기여를 받고 있는 모듈러는 개방형 AI 하드웨어 생태계 구축을 위한 협력을 지속 강화하고 있다. 래트너 CEO는 “모듈러를 창립할 때 세상에는 AI를 위한 통합 플랫폼이 필요하다고 믿었으며, 오늘날 그 비전은 그 어느 때보다 중요하다”며 “이번 자금 조달로 전 세계 개발자, 기업, 하드웨어 회사를 위해 그 비전을 실현할 수 있게 됐다”고 말했다.

한편 이번 투자를 주도한 미국혁신기술펀드는 토머스 털 회장이 설립한 50억 달러 규모의 기술 투자 펀드로, 양자컴퓨팅, 인공지능, 사이버보안, 위성, 생명공학, 우주 분야에 집중 투자하고 있다. 털 회장은 “전략적 AI 구현은 오늘날 경제에서 가장 중요한 경쟁 요소”라며 “모듈러는 이러한 새로운 다양한 AI 인프라 시대의 근간이 되고 있다”고 평가했다.