웹 크롤링 기술로 AI와 웹 사이의 다리 역할을 하는 스타트업 파이어크롤(Firecrawl)이 넥서스 벤처 파트너스 주도로 1,450만 달러 규모의 시리즈A 투자를 유치했다고 20일 발표했다.

2023년 설립된 파이어크롤은 복잡한 웹 데이터를 AI가 쉽게 활용할 수 있도록 정제해주는 서비스를 제공한다. 웹사이트의 텍스트, 이미지, 문서 등을 자동으로 수집하고 구조화해서 API를 통해 제공하는 방식이다. 현재 35만 명 이상의 개발자가 이용하고 있으며, 깃허브 오픈소스 프로젝트는 4만8천 개 이상의 스타를 기록했다.

특히 주요 기업들의 활용 사례가 눈에 띈다. 자동화 플랫폼 자피어(Zapier)는 파이어크롤을 단 하루 만에 자사 시스템에 통합했다. 이를 통해 자피어의 챗봇은 고객사 웹사이트를 자동으로 분석해 FAQ 답변을 생성하고 잠재 고객 정보를 수집할 수 있게 됐다. 온라인 코딩 플랫폼 레플릿(Replit)은 개발 문서를 자동으로 수집하고 정리하는 데 활용하고 있으며, 일부 대형 헤지펀드는 시장 동향 분석을 위해 파이어크롤을 이용한다고 회사 측은 밝혔다.

이 밖에도 리드 발굴 도구, 경쟁사 정보 수집 시스템, 가격 모니터링, 리서치 에이전트 등 다양한 AI 애플리케이션들이 파이어크롤의 웹 데이터 추출 기능을 활용하고 있다.

파이어크롤의 창업 배경은 흥미롭다. 창업자들은 처음에 스냅챗, 몽고DB, 도어대시 등이 사용하는 AI 채팅 솔루션 ‘멘더블’을 운영했다. 하지만 고객들이 공통적으로 겪는 문제를 발견했다. AI 서비스를 만들려면 웹에서 데이터를 긁어와야 하는데, 자바스크립트 처리, 속도 제한 관리, 복잡한 HTML 파싱 등 기술적 난제들이 산적해 있었다. 수천 명의 개발자가 각자 다른 방식으로 똑같은 문제를 해결하고 있는 상황이었다.

칼렙 페퍼(Caleb Peffer) CEO는 “모든 AI 앱이 동일한 인프라를 따로따로 구축하고 있었다”며 “우리는 이 인프라를 한 번만 완벽하게 만들어서 간단한 API로 제공하면 된다는 걸 깨달았다”고 설명했다.

이 판단은 적중했다. 회사는 지난 1년간 15배 성장을 기록했고 이미 수익성도 확보했다. 파이어크롤의 독자 기술인 ‘파이어엔진’은 기존 솔루션 대비 33% 빠른 속도와 40% 높은 성공률을 자랑한다.

투자 유치 과정에서는 재미있는 일화도 있었다. 페퍼 CEO는 샌프란시스코 사우스파크의 블루보틀 카페에서 넥서스 벤처 파트너스의 아비셰크 샤르마와 미팅을 가졌다. 회사의 미래 비전을 열정적으로 설명하던 중 몸짓이 과해져 의자에서 넘어질 뻔했는데, 샤르마가 재빠르게 의자와 그를 잡아줬다. 페퍼 CEO는 “그 순간 이분이 우리의 올바른 파트너라는 확신이 들었다”고 회상했다.

쇼피파이의 토비아스 뤼트케 CEO를 투자자로 영입한 과정도 흥미롭다. 파이어크롤 팀은 뤼트케가 자사 서비스에 가입한 것을 발견하고 환영 이메일을 보냈지만 답장이 없었다. 2개월 후 쇼피파이 직원들이 기업용 계약을 문의해오자, 페퍼 CEO는 다시 한 번 뤼트케에게 투자 참여를 제안하는 이메일을 보냈다. 이번엔 제품에 대한 칭찬과 함께 긍정적인 답변이 돌아왔다.

파이어크롤은 이번 투자금으로 세 가지 영역에 집중할 계획이다. 먼저 전 세계 어디서든 1초 미만의 응답 시간을 보장하는 인프라 구축에 나선다. 또한 최근 출시한 v2 버전을 바탕으로 더욱 스마트한 데이터 추출 기능, 대량 데이터 수집, 변화 모니터링 등의 기능을 추가할 예정이다.

특히 주목할 만한 것은 지속가능한 콘텐츠 생태계 구축 노력이다. 파이어크롤은 AI가 웹 콘텐츠를 사용할 때 원 제작자가 정당한 보상을 받을 수 있는 marketplace 구축을 추진하고 있다. 페퍼 CEO는 “우리는 이미 데이터를 수집하는 쪽의 시장을 확보했다”며 “이제 이를 웹사이트 소유자, 퍼블리셔들과 연결하는 것이 목표”라고 말했다.

한편 파이어크롤은 몇 달 전 Y컴비네이터 구인게시판에 “AI 에이전트 직원 모집“이라는 파격적인 공고를 올려 화제를 모았다. 연봉 1만5천 달러로 시작했지만 적합한 지원자를 찾지 못해 예산을 100만 달러까지 늘렸다. 하지만 여전히 채용에는 이르지 못했다. 페퍼 CEO는 “AI 에이전트 직원을 평가하고 관리하는 것 자체가 새로운 업무영역이라는 걸 깨달았다”며 “현재는 AI 비서실장을 찾고 있다”고 밝혔다.

이번 투자 라운드에는 넥서스 벤처 파트너스 외에도 Y컴비네이터, 자피어, 그리고 쇼피파이 토비아스 뤼트케 CEO, 포스트맨 아비나브 아스타나 CEO, 먹스 창업자 매트 맥클루어 등이 참여했다. 넥서스의 아비셰크 샤르마는 “깨끗하고 포괄적인 웹 데이터는 차세대 AI에 필수적”이라며 “파이어크롤은 이를 간단하고 안정적으로, 그리고 대규모로 제공하는 개발자 중심 플랫폼”이라고 평가했다.