영국 기반 AI 오디오 전문기업 일레븐랩스(ElevenLabs)가 한국 시장 진출을 공식 선언했다.

마티 스타니셰프스키(Mati Staniszewski) 일레븐랩스 공동 창업자 겸 CEO는 21일 JW메리어트호텔에서 기자간담회를 열고 ‘AI 오디오의 현재와 미래’를 주제로 회사 소개와 기술력, 한국 시장 진출 전략을 발표했다.

스타니셰프스키 CEO는 “일레븐랩스는 기술에 목소리를 부여하고, 세상의 지식과 이야기, 그리고 에이전트에 생명을 불어넣는 음성 AI 크리에이티브 기업”이라고 소개했다. 그는 현재 5000만명 이상의 월간 활성 사용자를 확보했으며, 기업 가치는 66억 달러로 평가받고 있다고 밝혔다. 이스트소프트, 크래프톤, 네이버 등 국내 고객을 포함해 포춘 500대 기업 중 75%가 일레븐랩스의 활성 고객사다.

일레븐랩스의 기반 모델은 음성 합성, 오디오, 제어 가능성, 인간과 유사한 상호작용에 대한 최첨단 연구를 바탕으로 개발됐다. TTS, STT, AI 더빙, 보이스 클로닝, 사운드 효과, 음성 분리, 일레븐 뮤직, 에이전트 오케스트레이션 등이 핵심 기술이다.

스타니셰프스키 CEO는 이날 세 가지 서비스 모델을 소개했다. 연구 성과를 누구나 접근 가능한 API 레이어로 제공하는 ‘API 파운데이션’, AI 기반 통합 협업형 ‘크리에이티브 플랫폼’, 실시간 자연스러운 음성과 깊이 있는 추론을 구현한 ‘AI 에이전트 플랫폼’이다.

특히 AI 에이전트 플랫폼은 0.5초 미만의 지연 속도로 인간 수준의 자연스러움을 구현한다. 7000개 이상의 보이스와 32개 언어를 지원하며, CRM, 고객지원, 결제, 전화 시스템 등 다양한 워크플로우를 연결해 전환율 향상과 매출 창출을 돕는다. 실시간 분석과 모니터링 기능을 갖추고 있으며, 엔터프라이즈급 보안 및 안정성도 확보했다.

실제로 일레븐랩스의 AI 에이전트 플랫폼을 도입한 한 대형 디지털은행은 에이전트 처리 시간이 85% 단축됐고, 신용카드 관련 문의의 50%를 AI가 처리하게 됐다. 기획부터 전면 런칭까지 2개월 미만으로 진행되는 성과를 냈다.

스타니셰프스키 CEO는 “타사의 Speech-to-Speech 방식은 감사 및 관측이 어렵고 엔터프라이즈 요구사항을 충족하는 데 한계가 있다”며 “일레븐랩스는 모델 고도화로 스트리밍 ASR/TTS의 지연시간을 크게 줄였고 LLM 추론 속도도 대폭 향상시켜 지연시간 개선효과가 뚜렷하다”고 설명했다.

그는 “웨어러블에서부터 자동차에 이르기까지, 모든 디바이스가 우리가 무엇을 말하는지, 어떻게 말하는지를 이해할 수 있는 것이 AI 오디오의 미래”라며 “이는 일레븐랩스의 보안성 높은 클라우드 기반 보이스 인텔리전스로 구현된다”고 강조했다.

스타니셰프스키 CEO는 “궁극적으로 AI 오디오의 미래는 언어의 장벽을 완전히 허물어, 모든 음성과 콘텐츠가 실시간 번역과 완벽한 더빙을 통해 전 세계 어디서나 접근 가능하게 만들 것”이라고 전망했다. 또한 “미래는 오디오를 넘어 이미지와 영상까지 아우르는 완전한 옴니 크리에이티브 경험이 제공될 것이고, 맥락을 이해하고 감정에 반응하는 에이전트가 모든 접점에서 일관되고 매끄러운 상호작용을 가능하게 할 것”이라 예측했다.

이어진 홍상원 일레븐랩스 한국지사장의 발표는 한국 시장의 매력에 집중됐다. 홍 지사장은 “대기업의 65.1%가 이미 AI를 도입했고, 근로자의 63.5%가 생성형 AI를 일상적으로 활용한다. 이는 글로벌 평균의 2배가 넘는 수치”라고 설명했다. 정부가 2026년 AI 분야에 10조 1천억원이라는 전례 없는 예산을 편성하며 AI 3대 강국 도약을 선언한 점, 99.98%의 모바일 인터넷 보급률, 세계 1위 5G 인프라 등이 일레븐랩스가 한국시장에 주목하는 이유다.

홍 지사장은 “무엇보다 한국은 혁신을 가장 빠르게 수용하는 시장”이라며 “23%의 얼리어답터 비율, K-Pop과 K-Drama로 입증된 글로벌 콘텐츠 파워, 세계에서 가장 까다로운 서비스 기준이 한국 시장을 최적의 시장으로 만들고 있다”고 강조했다. 그는 “한국에서의 성공은 곧 글로벌 성공의 지표”라며 “일레븐랩스는 한국을 아시아 진출의 핵심 거점으로 선택했다”고 밝혔다.

홍상원 지사장은 한국 시장에서 집중할 두 가지 핵심 영역으로 ‘K-콘텐츠의 진정한 글로벌화’와 ‘고객 경험의 완전한 재창조’를 제시했다.

K-콘텐츠 글로벌화와 관련해 그는 “K-콘텐츠가 세계를 사로잡았지만, 언어 장벽은 여전했다”며 “우리의 Eleven v3는 이 장벽을 완전히 제거한다”고 말했다. Eleven v3는 70개 이상 언어를 지원하면서도 원작의 감정과 뉘앙스를 거의 완벽히 재현한다. 단순 번역이 아니라 웃음, 한숨, 감탄사, 숨소리까지 그대로 전달한다는 설명이다. 화자 자동 분리, 타임라인 편집, API를 통한 대량 처리로 더빙 시간도 극적으로 단축할 수 있다.

고객 경험의 재창조와 관련해서는 “500밀리초 이하 응답속도의 초저지연 음성 에이전트가 24시간 다국어로 응대한다”며 “이는 단순 대체가 아닌, 인간과 AI의 시너지”라고 설명했다. AI가 반복 문의의 70%를 처리하는 동안, 상담사는 진짜 공감과 창의성이 필요한 복잡한 케이스에 집중할 수 있다는 것이다.

일레븐랩스는 딥페이크 악용, 저작권 침해, 출처 불명, 불공정 이용 등의 우려를 방지하기 위해 3C 프레임워크도 공개했다. Consent(동의), Control(통제), Compensation(보상)으로 구성된 이 프레임워크는 시작부터 철저한 검증을 거치고, 완벽한 추적과 차단 시스템을 갖추며, 공정한 수익 창출 생태계를 구축하는 것을 목표로 한다.

홍 지사장은 MBC C&I, 이스트소프트, SBS 등의 국내 고객 사례를 소개하며 “한국이 단순히 시장이 아닌, 아시아 보이스 AI의 허브가 되는 그날까지 일레븐랩스가 한국 고객들과 함께하겠다”는 포부를 밝혔다.