“데모에서는 완벽했는데, 실제 서비스에 적용하니 엉망이 됐다.” AI를 도입하려는 기업들이 가장 많이 겪는 좌절이다. MIT NANDA 연구에 따르면 기업 AI 파일럿 프로젝트의 95%가 실제 비즈니스 성과를 내지 못한 채 사장된다. 문제는 AI 모델의 성능이 아니라, 실제 업무 환경에서 안정적으로 작동하게 만드는 것이 너무 어렵다는 점이다.

엠프롬프투(Empromptu)는 바로 이 문제를 정면으로 겨냥한다. 기존 SaaS 제품에 AI를 덧붙이는 게 아니라, AI가 스스로 학습하고 개선하면서 실제 서비스 환경에서 안정적으로 작동하는 ‘프로덕션급 AI 앱’을 만들어주는 플랫폼이다. 회사는 200만 달러 규모의 프리시드 투자를 유치했다고 밝혔다. 예정 금액을 초과해 마감됐으며, 프리커서 벤처스(Precursor Ventures)가 리드하고 알럼나이 벤처스(Alumni Ventures), 파운더스 엣지(Founders Edge), 로그 위민 VC(Rogue Women VC), 사우스 루프(South Loop), 질 캐피탈(Zeal Capital)이 참여했다. 피처 관리 플랫폼 런치다클리(LaunchDarkly) 공동창업자 에디스 하바우(Edith Harbaugh)도 엔젤 투자자로 이름을 올렸다.

엠프롬프투의 핵심은 ‘셀프 매니징 컨텍스트 엔진(Self-Managing Context Engine)’이다. 쉽게 말해, AI가 실제 서비스 환경에서 스스로 맥락을 파악하고, 무엇이 중요한지 판단하며, 시간이 지날수록 똑똑해지는 시스템이다. 기존 AI 도구들은 개발자가 프롬프트를 짜고, 검증하고, 배포한 뒤 문제가 생기면 다시 수동으로 고쳐야 했다. 1990년대 소프트웨어 배포 방식과 다를 바 없다. 엠프롬프투는 이 과정을 자동화해, AI가 오류 패턴을 스스로 인식하고 수정하도록 만든다.

샤니아 레븐(Shanea Leven) CEO는 “기존 SaaS 앱을 AI로 업그레이드하려면 처음부터 다시 만들어야 한다는 게 업계 통념이었다”며 “우리는 복잡한 연동 코드 없이, 기존 시스템 위에서 바로 AI 기능을 추가하고 스스로 개선되게 만들 수 있다는 걸 증명하고 있다”고 설명했다. 그는 “지금 모든 기업이 AI 전략을 고민하지만, 정작 안전하고 예측 가능하게 AI를 운영할 인프라가 없다. 우리가 그 빈틈을 메우려 한다”고 덧붙였다.

레븐 CEO는 연쇄 창업가다. 코드 시각화 플랫폼 코드시(CodeSee)를 창업해 2024년 깃크라켄(GitKraken)에 매각했고, 이전에는 도커(Docker), 클라우드플레어(Cloudflare), 구글(Google)에서 제품 담당으로 일했다. 화려한 데모와 실제 서비스 사이의 간극을 몸소 체험한 셈이다.

공동창업자 션 로빈슨(Sean Robinson) 박사는 기술의 핵심을 만든 인물이다. 워싱턴대학교에서 박사 학위를 받고 NASA의 페르미 감마선 우주망원경용 알고리즘을 개발했으며, 태평양북서국립연구소에서 12년간 머신러닝을 연구했다. 그가 개발한 AI 최적화 기술은 98%의 정확도를 달성한다. 업계 평균이 60~70%인 점을 감안하면 획기적인 수치다.

로빈슨 박사의 핵심 통찰은 이렇다. “인간의 지능은 뇌의 연산 능력에서 오지 않는다. 무엇이 중요한지 파악하고, 언제 집중하고 언제 시야를 넓힐지 아는 능력에서 온다.” 많은 AI 기업이 모델 크기를 키우는 데 몰두하지만, 엠프롬프투는 ‘맥락 관리’에 집중한다. AI가 스스로 어떤 정보가 중요한지 판단하고, 자신의 한계를 인식하며, 경험을 통해 개선되는 시스템을 만드는 것이다.

구체적으로 어떻게 작동할까? 엠프롬프투 플랫폼은 세 가지 핵심 기능을 제공한다.

첫째, ‘무한 메모리(Infinite Memory)’다. 일반적인 RAG(검색 증강 생성) 시스템은 참조 문서가 20~30개를 넘어가면 정확도가 떨어진다. 엠프롬프투는 250개 이상의 문서, 정책 매뉴얼, 과거 상담 기록 등을 동시에 처리하면서도 일관된 답변을 내놓는다. 예를 들어 사이버보안 회사가 300개 이상의 컴플라이언스 문서를 시스템에 넣으면, 고객이 GDPR 관련 질문을 했을 때 해당 문서 하나만 인용하는 게 아니라 전체 컴플라이언스 라이브러리, 회사 정책, 과거 지원 티켓까지 종합해 정확한 답변을 생성한다.

둘째, ‘적응형 컨텍스트 엔진(Adaptive Context Engine)’이다. 숙련된 컨설턴트처럼 작동한다. 각 질문에 대해 어떤 정보가 관련 있는지 파악하고, 여러 분야의 지식을 연결하며, 불필요한 정보는 걸러낸다. 정적인 프롬프트가 아니라 상황에 따라 동적으로 맥락을 조절하는 것이다.

셋째, ‘커스텀 데이터 모델(Custom Data Models)’이다. ChatGPT 같은 범용 AI는 일반적인 지식으로 답변한다. 하지만 특정 산업이나 기업에 특화된 질문에는 엉뚱한 답을 내놓기 일쑤다. 엠프롬프투는 기업의 고유한 문서, 프로세스, 용어를 학습해 해당 비즈니스에 맞춤화된 AI를 만들어준다.

이 세 가지가 합쳐지면 AI 앱이 ‘스스로 관리’된다. 개발자가 매번 프롬프트를 수정하고 재배포할 필요 없이, AI가 실제 사용 패턴을 보면서 스스로 최적화된다. 정확도가 떨어지는 것(accuracy drift)을 자동 감지하고 수정하는 것도 가능하다.

현재 SaaS, 사이버보안, 이커머스, 교육, 헬스케어, HR 등 다양한 분야의 2,000개 이상 기업이 엠프롬프투를 도입하고 있다. 시애틀의 음악 교육 기관 프랙티싱 뮤지션(Practicing Musician)은 학생, 교사, 학부모를 위한 AI 교육 앱을 엠프롬프투로 구축해 98%의 정확도를 달성했다. 전문 영역에서도 신뢰할 수 있는 AI 서비스가 가능하다는 증거다.

기존 AI 앱 빌더들과 무엇이 다를까? 러버블(Lovable), 레플릿(Replit), 볼트(Bolt) 같은 도구들은 프로토타이핑을 쉽게 만들었다. 자연어로 “이런 앱 만들어줘”라고 하면 몇 분 만에 그럴듯한 결과물이 나온다. 문제는 이 앱들이 실제 서비스에 적용되면 무너진다는 것이다. 단순한 시연용으로는 좋지만, 실제 고객을 상대하려면 처음부터 다시 만들어야 한다. 엠프롬프투는 처음부터 프로덕션 환경을 전제로 설계됐다. 평가, 최적화, 모니터링 기능이 처음부터 내장돼 있어 ‘데모용’이 아닌 ‘실서비스용’ AI 앱을 만들 수 있다.

랭스미스(LangSmith), 랭퓨즈(Langfuse), 웨이츠앤바이어시스(Weights & Biases) 같은 LLMOps 도구들은 주로 AI 시스템을 ‘모니터링’하는 데 초점을 맞춘다. 개발자가 직접 문제를 발견하고 수정해야 한다. 엠프롬프투는 한 발 더 나아가 AI가 스스로 문제를 감지하고 고치는 ‘자가 관리’ 시스템을 지향한다.

프리커서 벤처스의 찰스 허드슨(Charles Hudson) 대표는 “다음 세대 AI는 더 큰 모델에서 나오지 않는다”고 말했다. “언제 집중하고 언제 넓게 볼지 스스로 판단하는 시스템이 핵심이다. 정해진 프롬프트를 따르는 게 아니라 실제로 ‘학습’하는 소프트웨어로 가는 길이다. 엠프롬프투는 혁신적이면서도 당장 비즈니스에 쓸모 있는 방식으로 이 문제를 풀고 있다.”