음성 AI ‘피시 오디오’, 5,200만 달러 시드 유치

생성형 AI의 인터페이스가 텍스트에서 음성으로 확장되면서 자연스러운 발화와 낮은 지연시간, 다국어 지원을 갖춘 음성 모델을 둘러싼 경쟁이 치열해지고 있다. 콘텐츠 제작용 음성합성을 넘어 고객 상담과 음성 에이전트, 실시간 통역 등 기업용 시장까지 활용 범위가 넓어지는 추세다.

실시간 음성합성·음성 복제 플랫폼 피시 오디오(Fish Audio)가 5,200만 달러 규모의 시드 투자를 유치했다고 발표했다. 코어라인 벤처스(Coreline Ventures)와 캐피털 투데이(Capital Today)가 투자를 공동 주도했고, 359 캐피털, 플레이 타임, HF0, 645 벤처스, 패러블, 카리아 벤처 파트너스, 알파리스트 파트너스와 엔젤투자자들이 참여했다.

피시 오디오는 창업 1년 만에 연간반복매출(ARR) 2,100만 달러를 기록했으며 크리에이터와 개발자, 기업을 합쳐 이용자 800만 명을 확보했다고 밝혔다. 초기 단계 기업이 5,200만 달러에 달하는 대규모 시드 투자를 유치한 배경에는 오픈소스 프로젝트를 기반으로 개발자 생태계를 먼저 확보한 성장 전략이 자리 잡고 있다.

게임용 GPU 한 대에서 시작한 오픈소스 음성 모델

피시 오디오는 엔비디아에서 영상 분야 연구원으로 일했던 시자 랴오(Shijia Liao)가 개발한 오픈소스 음성합성 프로젝트 피시 스피치(Fish Speech)에서 출발했다. 랴오는 기존 합성음이 단조롭고 기계적으로 들린다는 문제를 해결하기 위해 개인용 게임 GPU 한 대로 모델 학습을 시작했다.

피시 스피치는 이후 깃허브에서 별 3만1천 개 이상을 받은 음성 AI 프로젝트로 성장했다. 독립 개발자와 게임 제작자, 콘텐츠 크리에이터들이 캐릭터 음성과 다국어 콘텐츠 제작에 활용하면서 상용 플랫폼인 피시 오디오로 확장됐다.

공동 창업자 리사 차오(Rissa Cao)가 이끄는 피시 오디오는 소규모 크리에이터부터 대기업까지 동일한 음성 모델을 활용할 수 있도록 API와 자체 호스팅 환경을 함께 제공하고 있다.

5초 음성으로 목소리 복제…83개 언어 지원

피시 오디오의 플랫폼은 실시간 텍스트 음성변환(TTS), 음성 복제, 음성 에이전트 개발 기능을 제공한다. 회사 측에 따르면 약 5초 분량의 음성을 입력하면 15초 안팎에 해당 목소리를 복제할 수 있다. 최신 모델 ‘S2.1 프로’는 한국어를 포함한 83개 언어와 1만5천 개 이상의 자연어 음성 제어 명령을 지원한다.

사용자는 단어 단위로 웃음과 속삭임, 강조, 흥분, 분노 등 발화 방식과 감정을 지정할 수 있다. 별도 감정 프리셋을 선택하는 방식이 아니라 문장 안에 자연어 지시를 넣어 억양과 전달 방식을 조절하는 구조다.

피시 오디오가 공개한 S2 기술보고서에 따르면 S2 모델은 다중 화자와 다중 턴 음성 생성, 자연어 기반 발화 제어를 지원한다. 스트리밍 추론에서는 첫 음성 생성까지 걸리는 시간을 100밀리초 미만으로 줄였다고 설명했다.

후속 모델인 S2.1 프로는 첫 음성 생성시간을 약 70~90밀리초로 단축하고 처리량을 이전 세대보다 두 배 이상 높였다. 회사 자체 블라인드 테스트에서는 응답자의 약 67%가 주요 경쟁사 모델보다 S2.1 프로의 음성을 선호한 것으로 나타났다. 다만 이는 회사가 실시한 자체 평가 결과다.

피시 오디오는 규제 산업과 보안 요구가 높은 기업을 위해 온프레미스 배포와 데이터 미보관 정책, HIPAA 준수 구성을 제공한다. 헤이젠, 리텔, 라이브킷, 오픈아트, 텔닉스, 사나스 등이 고객사로 소개됐다.

텍스트 음성변환 넘어 오디오 네이티브 모델로

피시 오디오는 투자금을 텍스트 음성변환을 넘어 음성 네이티브 대규모언어모델과 음성 간 변환, 실시간 음성 에이전트 등 오디오 기술 전반으로 제품군을 확대하는 데 사용할 계획이다.

기업 영업조직과 개발자 도구도 확충한다. 특히 실시간 음성·영상 인프라 기업 라이브킷과 음성 에이전트 플랫폼 리텔 등 외부 서비스와의 연동을 강화해 개발자가 음성 모델부터 통신 인프라까지 직접 조합할 수 있도록 할 방침이다.

S2.1 프로 API는 오는 8월 말까지 개발자에게 무료로 제공된다. 무료 버전은 서비스 수준 협약이나 지연시간 보장이 없는 개발·실험용이며, 일부 상업적 사용에는 제한이 적용될 수 있다.

음성 AI 시장 경쟁도 격화

음성 AI 시장의 선두주자는 일레븐랩스(ElevenLabs)다. 일레븐랩스는 지난 2월 기업가치 110억 달러에 5억 달러를 유치했으며, 5월에는 ARR 5억 달러 돌파를 발표했다. 음성합성과 복제에서 출발해 더빙, 음향효과, 음악, 음성 에이전트까지 사업 영역을 넓히고 있다.

프랑스 음성 AI 기업 그라디움(Gradium)은 큐타이 연구소에서 분사해 낮은 지연시간의 실시간 음성 모델을 개발하고 있다. 그라디움은 최근 엔비디아가 추가로 참여하면서 시드 라운드를 1억 달러 이상으로 확대했다.

실시간 음성 인식과 합성 API를 제공하는 딥그램(Deepgram)은 지난 1월 1억3천만 달러를 유치하며 유니콘에 등극했다. 개발자가 음성 인식부터 합성, 음성 에이전트까지 하나의 플랫폼에서 구성하도록 지원한다.

음성 에이전트 인프라 기업 바피(Vapi)도 지난 5월 5천만 달러 규모의 시리즈B 투자를 유치했다. 피시 오디오가 음성 생성 모델에 집중한다면 바피와 라이브킷은 모델과 통신·에이전트 시스템을 연결하는 인프라 계층에 가깝다.

피시 오디오의 강점은 오픈소스 연구 프로젝트에서 출발한 개발자 기반과 다국어·감정 제어 기능이다. 이번 투자를 계기로 기업용 보안과 상용 지원 역량을 강화하면서 일레븐랩스와 딥그램이 주도하는 음성 AI 시장에서 얼마나 빠르게 입지를 넓힐지가 관건이다.

음성·영상·이미지·음악 생성 AI 기업에 대한 자세한 내용은 생성 AI 서비스 시장 지형도를 참고하시길.