표정 읽는 대화형 AI 뉘앙스랩스, 5천만 달러 투자유치

음성 AI는 흠이 있어도 이전 기술보다는 쓸모가 있었기에 여기까지 컸다. 그런데 얼굴을 마주 보는 아바타형 AI는 같은 길을 가지 못했다. 만드는 방식 자체가 달랐기 때문이다. 지금까지는 음성을 텍스트로 옮기고, 거대언어모델이 할 말을 정하고, 그 텍스트를 다시 음성으로 읽고, 얼굴을 거기에 맞춰 움직이는 식으로 여러 시스템을 이어 붙였다. 이렇게 단계를 넘길 때마다 사람 사이 대화 특유의 미묘함이 하나씩 빠지고 지연과 끊김만 쌓인다. 그 결과가 사용자가 말하는 동안 멍하니 굳어 있거나, 말을 끊거나, 속도를 못 따라가는 아바타다 — 이른바 ‘불쾌한 골짜기(uncanny valley)’다.

라이트스피드 벤처 파트너스는 시드 투자 직후 낸 블로그 글에서 이 골짜기의 정체를 이렇게 짚었다. 거대언어모델이 보편화되며 지능지수(IQ)는 빠르게 상품화되고 있고, 그 대신 감성지능(EQ)이 AI의 새로운 격전지로 떠올랐다는 것이다. 아바타가 로봇처럼 느껴지는 건 화질이 나빠서가 아니라 사람 얼굴을 매력적으로 만드는 미묘한 정서 표현이 빠져 있고 반응 속도마저 실시간에 못 미치기 때문이라는 진단이다. 이 투자사는 거대언어모델이 다음 단어를 예측하며 의미를 학습했듯, AI도 사람의 감정과 행동을 예측하는 법을 배우면 감정을 이해할 수 있다고 본다.

미국 시애틀의 뉘앙스랩스(Nuance Labs)는 이 통찰을 하나의 모델로 구현하고 있다. 부품을 잘 이어 붙이는 대신, 인식과 반응을 통째로 한 모델 안에 넣었다. 단어와 어조는 물론 시선·몸짓·타이밍까지 사람이 소통에 쓰는 신호 전체를 실시간으로 읽고 표정과 목소리로 답한다. 지각과 생성을 동시에 흘려보내는 ‘풀듀플렉스(full-duplex)’ 구조라, 사용자가 말을 마치기도 전에 AI가 알아듣고 있다는 신호를 이미 보낼 수 있다.

이 모델이 여는 활용은 두 갈래로 나뉜다. 하나는 감정을 실시간으로 만들어내는 쪽이다. 표정·억양·몸짓을 조율해 상황에 맞는 정서적 반응을 보이는 아바타를 말하는데, 상대의 감정 상태에 맞춰 신중하게 뜸을 들이고 격려하는 표정을 짓는 AI 심리상담사가 대표적인 예다. 다른 하나는 감정을 실시간으로 읽어내는 쪽이다. 발표 도중 자신감이 흔들리는 순간을 포착하는 라이브 코칭 시스템이나, 지원자가 ‘무엇을’ 말했는지뿐 아니라 ‘어떻게’ 말했는지까지 함께 파악하는 면접 AI가 여기 해당한다.

창업자들은 애플에서 사람을 인식하고 재현하는 연구를 오래 해온 인물들이다. 팡창 마(Fangchang Ma) CEO와 에드워드 장(Edward Zhang)은 애플에서 비전 프로(Vision Pro)의 디지털 페르소나 시스템을 함께 만들며 만났다. 컴퓨터그래픽스·로보틱스·머신러닝을 넘나드는 이들의 전문성은 수천 건의 학술 논문 인용으로도 뒷받침된다. 여기에 MIT에서 오디오·비주얼 합성을 연구한 뒤 애플 시애틀 연구팀에 몸담았던 캐런 양(Karren Yang)이 합류해 뉘앙스랩스를 창업했다. 애플에서 일하며 이들이 확인한 건, 기계가 사람을 이해하는 일이 생각보다 훨씬 어렵다는 사실이었다. 화상으로 사람을 그럴듯하게 재현하는 것조차 쉽지 않았는데, 실시간 대화에서 오가는 언어·비언어 신호를 함께 따라가는 건 그보다 몇 단계 더 어려운 과제였다. 그래서 이들은 전사·언어·음성·애니메이션을 따로 만들어 이어 붙이는 대신, 음성·영상 신호에서 사람의 대화와 표현을 이해하고 만들어내는 문제 전체를 하나의 모델로 풀기로 했다. 회사는 지난해 9월 액셀(Accel)과 라이트스피드 주도로 1천만 달러 시드 투자를 받으며 이 방향에 처음 베팅을 받았다.

이번엔 시리즈A로 5천만 달러를 조달했다. 기존 투자자인 라이트스피드 벤처 파트너스가 라운드를 이끌었고, 역시 기존 투자자인 액셀·사우스파크커먼스(South Park Commons)에 엔비디아(NVIDIA)와 디파인 벤처스(Define Ventures)가 신규로 합류했다. 디지털 헬스케어에 집중해온 디파인 벤처스가 이름을 올린 점은 눈여겨볼 만하다 — 표정·어조 같은 미묘한 신호를 읽는 기술이 상담이나 코칭처럼 사람 간 신뢰가 중요한 헬스케어 영역에서도 쓰일 수 있다는 신호로 읽힌다. 회사는 올해 안에 모델의 리서치 프리뷰를 일반에 공개할 계획이다.

팡창 마 CEO는 AI와 아바타가 사람을 멍하니 바라보거나 계속 말을 끊는 한 그 잠재력은 영영 실현되지 않는다고 잘라 말했다. 지금까지는 기계에 맞춰 사람이 소통 방식을 억지로 비틀어왔기 때문에 자연스럽게 느껴진 적이 없었다는 것이다. 그는 가장 생산적인 협업은 친구나 가까운 동료와 대화하듯 말·어조·몸짓·표정으로 자유롭게 자신을 표현하고, 그 주고받음 속의 뉘앙스가 대화를 이해로 바꿔줄 때 나온다며, 뉘앙스랩스가 만드는 것이 바로 그런 AI라고 설명했다.

라이트스피드의 남디 이레굴렘(Nnamdi Iregbulem) 파트너는 사람들이 AI 도구와 상호작용하는 방식을 바로잡을 기회가 크다고 짚었다. 뉘앙스랩스가 사람을 사람처럼 보고 반응하는 인터페이스를 만들고 있고, 창업팀은 기술력과 실행력을 함께 갖춘 드문 조합이라고 평가했다. 그는 이 기술이 AI 제품 전반의 기반 계층이 될 수 있다고 내다봤다.

이번 투자금은 모델 개발과 리서치팀 확충, 첫 공개 리서치 프리뷰 준비에 쓰인다.

경쟁사는

표정과 감정까지 읽는 대화형 AI 경쟁은 이미 뜨겁다. 오큘러스 공동창업자 브렌던 이리베(Brendan Iribe)가 만든 세서미(Sesame)는 지난해 시리즈B로 2억5000만 달러를 유치하며 대화의 리듬과 감정을 실제 목소리로 직접 생성하는 기술을 앞세웠다. 다만 세서미는 착용형 스마트 안경을 겨냥한 음성 중심 인터페이스라, 얼굴 표정이나 시선 같은 시각적 신호까지는 다루지 않는다. 오픈AI 전 CTO 미라 무라티(Mira Murati)가 이끄는 씽킹머신즈랩(Thinking Machines Lab)도 음성·영상·텍스트를 동시에 처리해 사용자가 말하는 도중에 끼어들 수 있는 ‘인터랙션 모델’을 내놨는데, 이쪽은 특정 제품이라기보다 범용 연구 모델에 가깝다.

시각적 아바타 쪽에서는 테이버스(Tavus)가 10종 넘는 감정 상태를 표현하는 영상 아바타와 134밀리초 응답 속도를 앞세워 얼굴을 마주하는 AI 에이전트 시장을 공략하고 있고, 디아이디(D-ID)도 최근 내놓은 ‘익스프레시브 비주얼 에이전트’로 0.5초 이하 지연에 4K 화질의 실시간 대화형 아바타를 구현했다고 밝혔다. 음성 쪽에서는 흄 AI(Hume AI)가 목소리의 톤·리듬·운율에서 감정을 읽어 반응하는 ‘공감형 음성 인터페이스(EVI)’로 시리즈B 5000만 달러를 유치한 바 있다.

이들 대부분은 음성이나 영상 중 한쪽에 특화돼 있거나, 인식과 생성을 여러 모델로 나눠 처리한다. 뉘앙스랩스는 음성·영상·언어·비언어 신호를 하나의 풀듀플렉스 모델에 통합해 인식과 반응을 동시에 처리한다는 점에서 이들과 차별화를 꾀하고 있다.