음성이해 AI 모듈레이트(Modulate), 2,500만 달러 투자유치

목소리를 얼마나 진짜처럼 “만들어내느냐”에 쏠려 있던 음성 AI 투자가, 이제는 목소리를 얼마나 정확히 “알아듣느냐” 쪽으로도 번지고 있다. 이달 초 뉘앙스랩스(Nuance Labs)가 표정과 어조를 읽는 대화형 AI로 5,000만 달러를 유치한 데 이어, 모듈레이트(Modulate)가 2,500만 달러를 새로 확보했다.

모듈레이트는 특정 업종에 묶이지 않는 범용 음성 이해 엔진을 지향한다. 대표 제품 벨마(Velma)는 오디오를 텍스트로 바꾸기 전에, 소리 자체에서 감정·톤·의도·강조·합성 음성 여부·대화 패턴 같은 신호를 곧바로 읽어낸다. 이 신호들을 조합하면 사기 시도부터 AI 상담원의 응대 실패, 괴롭힘, 고객 불만, 정책 위반까지 훨씬 상위 단계의 사건을 포착할 수 있고, 통화가 끝나기 전에 개입하는 것도 가능하다. 그 밑을 받치는 건 ‘앙상블 리스닝 모델(ELM)’이라는 구조다. 거대 모델 하나에 모든 걸 맡기는 대신 100개 넘는 특화 모델을 상황에 맞게 골라 조합하는 방식인데, 회사 설명으로는 이 덕분에 단일 대형 모델보다 최대 1,000배 효율적으로 돌아간다. 지금은 매달 1,000만 시간어치 오디오를 분석하고, 누적으로는 6억 시간을 넘겼다. 전사(transcription) 성능은 허깅페이스(Hugging Face) 오픈 ASR 리더보드 1위, 딥페이크 탐지는 같은 플랫폼 벤치마크 1위이자 정확도 98.9%를 기록 중이다.

이 기술이 실제로 쓰이는 곳은 생각보다 넓다. 병원을 겨냥한 딥페이크 사기를 막고, 상담 AI가 고객 감정을 읽어 더 공감가는 응대를 하도록 돕고, SNS의 극단주의·괴롭힘 발언을 걸러내고, AI 에이전트가 제대로 일하고 있는지 감시하고, 아동을 노리는 그루밍 대화를 잡아내고, 위험 지역에서 활동하는 요원의 목소리를 변조해 신원을 지키는 일까지 — 사기 탐지는 그중 하나일 뿐, 회사가 말하는 활용처는 훨씬 다양하다.

창업자는 2017년 매사추세츠공대(MIT)에서 만난 카터 허프먼과 마이크 파파스다. 복도 화이트보드에서 허프먼이 풀던 물리 문제를 파파스가 대신 풀어준 게 계기였고, 둘은 암흑물질과 우주팽창을 연구하던 틈틈이 창업을 구상했다. 최고경영자(CEO)인 허프먼은 MIT 졸업 후 NASA 제트추진연구소(JPL)에서 우주선용 머신러닝 모델을 만들었고, 고교 시절엔 암흑물질 후보 이론을 시뮬레이션한 연구로 미국 대표로 과학경진대회에 나간 이력도 있다. 지금 회장을 맡고 있는 파파스는 브리지워터 어소시에이츠에서 클라우드 보안 업무를 했었고, 요즘은 오픈AI·메타·마이크로소프트 관계자들과 함께 워싱턴 의회에서 AI 정책을 논의하는 자리에 정기적으로 선다. 이번 라운드를 전후해 허프먼이 최고경영자로, 파파스가 회장으로 자리를 바꾸는 리더십 개편도 있었다.

이번 2,500만 달러는 퓨처벤처스(Future Ventures)가 주도했고, 하이퍼플레인(Hyperplane)과 레이크스타(Lakestar)가 함께했다. 레이크스타는 2022년 3,000만 달러 규모 시리즈A도 이끈 기존 투자자다. 테크크런치는 이번 라운드로 모듈레이트의 누적 투자액이 6,000만 달러에 이르렀다고 전했다. 자금은 AI·머신러닝 연구와 제품·엔지니어링, 개발자 관계, 파트너십 확대에 투입된다. 허프먼 CEO는 개발자가 새 음성 서비스를 만들 때마다 오디오 이해 레이어를 처음부터 다시 짤 필요는 없어야 한다며, 이번 투자로 그 인프라를 더 빠르게 제공하겠다고 했다. 퓨처벤처스 공동창업자 스티브 저베슨(Steve Jurvetson)은 모듈레이트가 가장 까다로운 음성 환경에서 이미 실력을 증명했고, 이제 AI 에이전트·보안·고객경험 등으로 시장이 빠르게 넓어지고 있다고 평가했다.

경쟁사

경쟁 구도를 좁게 보면 놓치는 게, 오디오를 통째로 삼키는 거대 범용 모델들이다. 오픈AI의 GPT-4o 리얼타임(Realtime API)은 웃음소리 같은 비언어적 신호까지 알아듣고 다섯 가지 감정을 넣어 답할 수 있고, 구글의 제미나이(Gemini) 네이티브 오디오는 ‘어펙티브 다이얼로그(Affective Dialog)’ 기능으로 사용자 어조에 맞춰 응대를 조절한다. 모듈레이트가 “거대 모델 하나보다 특화 모델 100개를 조합하는 쪽이 최대 1,000배 효율적”이라고 강조하는 것도, 결국 이런 범용 모델을 향한 반론에 가깝다.

목소리의 표현을 읽고 반응한다는 지향점 자체가 겹치는 곳으로는 뉘앙스랩스(Nuance Labs)가 있다. 표정·시선·어조까지 하나의 시스템으로 읽어내는 파운데이션 모델을 만들며 이달 5,000만 달러를 유치했다. 감정 인식에 특화했던 흄AI(Hume AI)도 자주 함께 언급되는데, 올해 1월 구글 딥마인드가 창업자 앨런 코웬을 포함한 핵심 엔지니어링팀을 통째로 데려가면서 독자 경쟁사로서의 입지는 흔들린 상태다.

전사(轉寫)·오디오 인텔리전스 인프라 쪽에서는 딥그램(Deepgram)이 가장 직접적인 경쟁자다. 요약·화제 감지·감정·의도 분석을 묶은 자체 ‘오디오 인텔리전스’ 제품을 팔고 있고, 올해 1월 1억 3,000만 달러 시리즈C를 밸류 13억 달러에 유치해 유니콘에 올랐다 — 모듈레이트보다 몸집이 훨씬 크다. 그럼에도 모듈레이트는 자사 발표에서 허깅페이스 전사 벤치마크 정확도 1위를 딥그램보다 앞선 자리에서 지켰고, 가격도 시간당 2.5~6센트로 딥그램(31~55센트)의 7분의 1 수준이라고 주장한다.

시장의 자금은 사실 ‘이해’보다 ‘생성’ 쪽에 훨씬 많이 몰려 있다. 일레븐랩스(ElevenLabs)는 연매출 5억 달러를 넘겼고, 올해 2월엔 밸류 110억 달러에 5억 달러 시리즈D를 유치했다. 카테고리는 다르지만, 음성이 AI의 다음 인터페이스로 떠오르고 있다는 같은 흐름을 타고 있다는 점에서 모듈레이트가 놓인 시장 배경이기도 하다.

사기·딥페이크 탐지처럼 더 좁은 영역에는 핀드롭(Pindrop) 같은 버티컬 강자도 있다. 콜센터 음성 인증에 특화한 회사로, 2024년 벤처 부채로 1억 달러를 조달했다는 보도가 있었다.