AI 코딩 도구의 실질적인 투자 효과를 측정하는 기업용 플랫폼 마일스톤(Milestone)이 1000만 달러 규모의 시드 투자를 유치했다. 샌프란시스코의 헤비빗(Heavybit)과 이스라엘 하나코 벤처스(Hanaco Ventures)가 공동으로 투자를 주도했고, 아틀라시안 벤처스(Atlassian Ventures)도 함께했다. AT&T 전 CEO 존 도노반(John Donovan), 깃허브 공동창업자 톰 프레스턴-워너(Tom Preston-Werner), 액센츄어 전 CTO 폴 도허티(Paul Daugherty), 데이터독 전 사장 아미트 아그라왈(Amit Agrawal) 등 굵직한 업계 인사들이 엔젤 투자자로 이름을 올렸다.

개발자 10명 중 8명이 AI 코딩 도구를 쓰고, 구글 코드의 30% 이상이 AI로 작성되는 시대다. 하지만 기업들은 정작 이 도구들이 실제로 얼마나 효과가 있는지 알기 어렵다는 게 문제였다. 마일스톤은 바로 이 지점을 파고든다. 소스 관리부터 프로젝트 관리, 인사 시스템, AI 코딩 어시스턴트까지 개발 스택 전체를 연결해서 AI 도구 사용 패턴을 추적하고, 이를 코드 품질, 기능 출시 속도, 유지보수성 같은 실제 성과 지표와 연결한다.

마일스톤 CEO 리아드 엘리단(Liad Elidan)은 “생성형 AI가 소프트웨어 개발 방식을 바꾸고 있지만, 대부분 기업은 결과를 추측만 할 뿐”이라며 “팀이 AI가 실제 업무에 어떤 영향을 주는지 눈으로 확인할 수 있어야 신뢰가 생기고, 그 신뢰가 회사 전체로 번져나간다”고 말했다. 단순히 AI를 실험하는 게 아니라 진짜 AI 문화를 만들려면 개발자와 팀, 관리자 모두가 워크플로우에서 AI의 가치를 이해하고, 같은 측정 지표로 얘기하며, 데이터를 바탕으로 개발 방식을 계속 개선해야 한다는 것이다.

마일스톤은 깃허브, 오그먼트 코드(Augment Code), 코도(Qodo), 컨티뉴(Continue), 아틀라시안과 파트너십을 맺었다. 커서(Cursor), 윈드서프(Windsurf), 클로드 코드(Claude Code) 같은 주요 AI 코딩 플랫폼과도 통합돼서 엔지니어링 리더들이 개발 과정 전체에서 AI 도구가 어떻게 쓰이는지 한눈에 볼 수 있게 해준다.

깃허브 COO 카일 데이글(Kyle Daigle)은 “개발자에게 AI 역량을 키워주는 것만큼이나 AI 도구의 영향을 제대로 파악하는 것도 중요하다”며 “마일스톤과 함께 일하면서 AI 기반 엔지니어링이 실제 환경에서 어떻게 확장되고, 이를 측정 가능한 가치로 만드는 법을 새롭게 보고 있다”고 평가했다.

실제로 마일스톤이 주요 기업의 수천 명 엔지니어를 분석한 결과가 흥미롭다. AI가 개발자를 대체하는 게 아니라 증폭시킨다는 점이 명확히 드러났다. 특히 자율 에이전트가 풍부한 프로젝트와 아키텍처 정보에 연결되면 개발자 처리량이 최대 270% 늘고 코드 정확도는 60%나 올랐다. 결국 맥락(context)이 핵심이라는 얘기다. AI를 쓰는 환경의 맥락을 측정하고 개선하는 게 성숙한 AI 문화를 만드는 열쇠라는 점을 보여준다.

마일스톤 CTO 스티븐 배럿(Stephen Barrett) 교수는 “인간이 모든 코드를 짜던 시대에서 인간과 에이전트가 함께 코드를 만드는 시대로 넘어가고 있다”며 “AI 혁신 속도는 정말 빠르지만, 기업 입장에선 쏟아지는 알고리즘과 모델, 도구의 발전을 따라잡기가 쉽지 않다”고 말했다. 그는 “마일스톤은 리더들이 팀의 AI 사용 현황을 명확히 파악할 수 있게 해서, 시장과 AI 도구가 계속 바뀌어도 최고의 코드를 최고의 속도로 만들어낼 수 있도록 돕는다”고 덧붙였다.

마일스톤이 집중하는 AI 코딩 도구 효과 측정 시장엔 이미 여러 플레이어가 있다. 가장 잘 알려진 곳은 DORA와 SPACE 프레임워크 창시자들이 만든 DX다. DX는 정성적·정량적 지표를 결합해 개발자 생산성을 측정하는 플랫폼으로, 드롭박스나 앰플리튜드 같은 대형 고객사를 확보했다. 최근엔 AI 측정 프레임워크를 공개하며 AI 시대에 맞춘 측정 방법론을 제시하고 있다.

페로스 AI(Faros AI)는 2023년 6월 로비 캐피털(Lobby Capital) 주도로 2000만 달러 시리즈 A를 유치했다. 세일즈포스 아인슈타인 팀 출신들이 창업한 이 회사는 엔지니어링 데이터를 통합해 생산성과 배포, 품질에 대한 인사이트를 제공한다. 깃허브 코파일럿용 확장 기능을 통해 개발자 IDE 내에서 실시간 답변을 제공하는 게 특징이다.

리니어비(LinearB)와 웨이데브(Waydev)도 엔지니어링 생산성 측정 플랫폼을 운영 중이다. 리니어비는 개발 파이프라인 모니터링에 강점이 있고, 웨이데브는 와이콤비네이터 출신으로 깃허브·깃랩 등의 코드베이스 분석에 집중한다. 이들은 주로 DORA 메트릭이나 사이클 타임 같은 전통적인 엔지니어링 지표 측정에 초점을 맞춘다.

마일스톤의 차별점은 AI 코딩 도구에만 특화됐다는 점이다. 경쟁사들이 전반적인 엔지니어링 생산성을 다루는 반면, 마일스톤은 깃허브 코파일럿이나 커서, 클로드 코드 같은 AI 도구가 실제 개발 성과에 미치는 영향을 추적하는 데 집중한다. 개발 스택 전체를 연결해 ‘생성형 AI 데이터 레이크’를 만들고, 이를 코드 품질과 배포 속도 같은 핵심 지표와 직접 연관시킨다는 점에서 시장 내 독특한 포지셔닝을 확보했다.

엘리단과 배럿의 만남은 좀 특별하다. 더블린 트리니티 칼리지에서 배럿이 컴퓨터 과학을 가르치고 소프트웨어 엔지니어링 메트릭을 연구할 때, 엘리단은 그의 학생이었다. 교수와 제자로 시작한 관계가 엔지니어링 생산성 측정에 대한 수년간의 공동 연구로 이어졌고, 이게 지금 마일스톤의 생성형 AI 분석 엔진 기반이 됐다. 재미있는 건 두 사람이 투자 유치를 시작할 때까지 한 번도 직접 만난 적이 없다는 점이다. 마일스톤 팀 대부분은 이스라엘에 있고, 배럿은 여전히 아일랜드에서 대학 강의를 하고 있다.

헤비빗 파트너 조셉 루시오(Joseph Ruscio)는 “지속적 AI 시대가 오면서 소프트웨어를 만드는 방식 자체가 바뀌고 있다”며 “최고의 엔지니어링 팀들은 개발자 생산성을 끌어올리려면 전체 엔지니어링 데이터 스택에 대한 깊은 이해가 필요하다는 걸 안다”고 말했다. 그는 “마일스톤이 엔지니어링 툴체인 전체에 걸쳐 안전한 엔터프라이즈급 통합을 구축한 게 강점”이라고 평가했다.

마일스톤은 사피엔스(Sapiens), 먼데이닷컴(Monday.com), 카약(Kayak) 같은 기업들을 고객으로 두고 있다. 처음부터 엔터프라이즈 시장에만 집중했고, 작은 기업의 요청은 거절했다. 엘리단은 “정말 힘든 결정이었지만, 덕분에 엔터프라이즈급 기능과 보안을 제대로 만드는 데 집중할 수 있었다”고 설명했다. 앞으로도 AI 코딩 측정에만 집중하고 마케팅 같은 다른 영역으로는 확장하지 않을 계획이다.

AI 코딩 도구 시장은 빠르게 커지고 있다. 시장조사 기관들은 2023년 48억 달러였던 글로벌 AI 코드 도구 시장이 2032년엔 270억 달러까지 성장할 거라고 본다. 깃허브 코파일럿 사용자가 2000만 명을 넘었지만, 정작 기업들은 이런 도구가 생산성에 실제로 얼마나 도움이 되는지 명확히 파악하기 어렵다. 마일스톤이 노리는 기회가 바로 여기다.

이런 흐름 속에서 AI 코딩 도구의 ‘측정’에 집중한 마일스톤의 포지셔닝은 시의적절하다. 기업들이 수억 달러를 AI 코딩 도구에 쏟아붓고 있지만, 실제 효과를 제대로 측정할 방법이 없다는 게 문제였다. 깃허브 조사에 따르면 개발자의 97%가 이미 AI 코딩 도구를 쓰고 있지만, 기업 74%는 AI 이니셔티브에서 실질적 가치를 얻지 못하고 있다는 조사 결과도 있다.

회사는 코드베이스, 프로젝트 관리 플랫폼, 팀 구조, 코드 생성 도구라는 네 가지 축을 바탕으로 ‘생성형 AI 데이터 레이크’를 만든다. 이를 통해 관리자들은 어떤 팀이 AI를 얼마나 자주 쓰는지, 코드 품질과 버그율에 어떤 영향을 주는지, 기능 출시가 얼마나 빨라졌는지 같은 걸 구체적으로 알 수 있다. 엘리단은 “마일스톤을 써본 고객 중에 ‘생성형 AI가 소용없으니 라이선스를 다 취소하겠다’고 말한 곳은 단 한 곳도 없다”며 “오히려 정반대”라고 강조했다.

마일스톤은 이번 투자금으로 개발팀과 제품팀을 늘릴 예정이다. 지금은 이스라엘과 미국에 25명 정도 있는데, 앞으로 몇 달 안에 팀을 더 키운다는 계획이다. 기업들의 AI 투자 효과를 제대로 측정해주는 핵심 문제를 풀어냄으로써, 마일스톤은 AI ROI 논의의 중심에 서게 됐다.