AI 지식 라이브러리 파이어크롤, 7500만 달러 시리즈B 투자유치

AI 에이전트는 공개 웹은 알아서 검색할 수 있지만, 정작 쓸모 있는 정보의 상당수는 공개 웹 바깥에 있다. 한 기업을 조사하는 에이전트가 홈페이지는 읽을 수 있어도, 재무 데이터·공시·전문 데이터셋은 저마다 다른 API와 가격 체계 뒤에 따로 숨어 있다. 개발자가 이 연동을 일일이 만들고 유지하거나, 아니면 그 소스를 그냥 포기해야 한다는 뜻이다.

파이어크롤(Firecrawl)은 회사 내부 데이터가 아니라 공개 웹과, 돈을 주고 접근권을 산 외부 데이터를 다루는 서비스다. 사내 슬랙·드라이브·위키를 뒤지는 ‘사내 검색’과는 대상 자체가 다르다. 웹사이트 주소(URL)를 넣으면 광고·내비게이션 메뉴·자바스크립트로 그려지는 동적 콘텐츠처럼 AI가 소화하기 힘든 요소를 걸러내고, 페이지 한 장부터 사이트 전체까지 AI가 바로 읽을 수 있는 마크다운이나 JSON 형식으로 정돈해 돌려주는 API가 핵심 제품이다. 사람이 브라우저로 훑어보는 검색 결과가 아니라, AI 에이전트가 API로 곧바로 호출해 쓰도록 설계됐다는 게 특징이다.

고객층은 크게 두 갈래다. 하나는 자사 제품에 AI 기능을 얹는 소프트웨어 회사들이다. 자동화 플랫폼 자피어(Zapier)는 이 API를 하루 만에 도입해, 챗봇이 고객사 웹사이트를 자동 분석하고 FAQ 답변을 생성하게 만들었다. 코딩 플랫폼 레플릿(Replit)은 개발 문서를 자동으로 수집·정리하는 데 쓴다. 다른 하나는 자체 업무에 직접 활용하는 일반 기업들이다. 쇼피파이(Shopify)를 비롯해 대형 헤지펀드 여럿이 리드 발굴, 경쟁사 정보 수집, 가격 모니터링, 시장 동향 리서치에 파이어크롤을 쓰고 있다고 회사 측은 밝혔다.

이번에 내놓은 ‘알렉산드리아(Alexandria)’는 여기서 한 걸음 더 나아간다. 지금까지 파이어크롤이 “아무 URL이나 던지면 깨끗하게 긁어다 준다”는 역할이었다면, 알렉산드리아는 애초에 어디서 정보를 가져올지부터 대신 판단해주는 라우터에 가깝다. 위키미디어 엔터프라이즈(Wikimedia Enterprise) 같은 공식 데이터 제공사와 돈을 주고 맺은 계약(현재 매달 수백만 건의 위키피디아 요청이 이 경로로 처리된다), 파이어크롤이 직접 구축한 ‘리서치 인덱스'(과학 논문 초록 수천만 건), ‘개발자 인덱스'(문서·README·이슈·머지된 PR 수천만 건), ‘거버먼트 인덱스'(법률·규정·조례), 그리고 필요하면 실시간 웹 검색·스크래핑까지 — 에이전트가 질문 하나만 던지면 알렉산드리아가 이 중 가장 적합한 곳에서 답을 찾아 가져다준다. 회사의 자체 평가에 따르면 알렉산드리아를 쓰는 에이전트는 기본 내장 웹 도구를 쓸 때보다 답변 품질이 21% 높았다.

파이어크롤은 2023년 칼렙 페퍼(Caleb Peffer) CEO와 에릭 시아를라(Eric Ciarla), 니콜라스 실버스틴 카마라(Nicolas Silberstein Camara)가 창업했다. 세 사람은 앞서 ‘멘더블(Mendable)’이라는 문서 기반 AI 챗봇 서비스를 만들어 스냅챗·코인베이스·몽고DB 같은 고객사에 공급했는데, 이 과정에서 고객마다 웹 데이터를 긁어오는 인프라를 똑같이 새로 만들고 있다는 공통 문제를 발견해 파이어크롤을 분사시켰다. 현재 150만 명 이상의 개발자가 파이어크롤로 서비스를 만들고 있다.

파이어크롤은 7500만 달러 규모 시리즈B 투자를 유치했다고 밝혔다. 스매시캐피탈(Smash Capital)이 투자를 이끌었고, 알토스벤처스(Altos Ventures), 넥서스벤처파트너스(Nexus Venture Partners), 와이콤비네이터(Y Combinator), 프리스타일(Freestyle), 오프라인벤처스(Offline Ventures)가 참여했다. 지난해 8월 1450만 달러 시리즈A를 유치한 이후 약 1년 만에 이어진 후속 투자다. 조달한 자금은 알렉산드리아의 데이터 범위를 넓히고, 여기에 기여하는 연구자·퍼블리셔·데이터 제공사에게 지급할 비용에 쓰인다.

칼렙 페퍼 CEO는 “우리는 세상의 지식을 위한 도서관을 짓고 있다”며 “그동안 학습용으로 데이터를 라이선스하는 곳은 있었지만, AI 에이전트가 실제로 그 지식을 쓸 때 정작 원소유자에게 돈이 돌아가는 경우는 거의 없었다. 사람과 조직이 자신이 가진 데이터로 수익을 낼 수 있게 하면서, 동시에 AI 에이전트가 예전엔 풀 수 없던 문제를 풀도록 돕고 싶다”고 말했다. 회사는 조만간 개인·창작자·기관이 직접 지식을 등록하고 에이전트 수요에 따라 보상받는 셀프서비스 시스템을 열 계획이다. 스매시캐피탈의 브래드 트와이그(Brad Twohig) 창업자 겸 파트너는 “150만 명 넘는 사용자가 파이어크롤로 서비스를 만드는 건, AI를 다루는 모두가 부딪히는 문제를 이 회사가 풀어냈기 때문”이라며 “칼렙과 팀은 다음에 뭐가 필요한지 알아보는 남다른 감각이 있고, 그래서 알렉산드리아를 만드는 이들에게 베팅했다”고 말했다.

두 갈래로 갈리는 경쟁 구도

파이어크롤의 경쟁은 두 층에서 벌어진다. 하나는 에이전트에게 웹 콘텐츠를 찾아다 주는 검색·추출 인프라 경쟁이다. AI 전용 검색엔진을 표방하는 엑사(Exa)는 시리즈C에서 2억5000만 달러를 유치하며 기업가치 22억 달러를 인정받았다. 엑사는 5000억 개 이상의 URL을 추적하는 자체 크롤러와 전용 임베딩 모델을 밑바닥부터 구축해 검색 품질 자체로 승부하는 반면, 파이어크롤은 ‘알아서 찾아준다’기보다 ‘어디서 가져올지 고르고 정돈해준다’는 쪽에 방점을 찍는다는 점에서 결이 다르다.

다른 하나는 알렉산드리아가 새로 뛰어든 시장, 즉 AI가 콘텐츠를 가져다 쓸 때 원저작자에게 대가를 지불하게 만드는 ‘데이터 라이선싱’ 경쟁이다. 톨빗(TollBit)은 퍼블리셔가 수익 전액을 가져가는 대신 AI 기업에 스크래핑 건당 수수료를 물리는 방식을 쓰고, 프로라타(ProRata.ai)는 라이선스받은 퍼블리셔 콘텐츠만으로 만든 자체 답변엔진의 구독·광고 수익을 노출 빈도에 따라 퍼블리셔와 나눈다. 휴먼네이티브(Human Native AI)도 같은 시장을 노리다 최근 클라우드플레어(Cloudflare)에 인수됐다. 파이어크롤은 이미 150만 명 넘는 개발자가 쓰는 API 배포망을 갖고 있다는 점이, 이제 막 라이선싱 시장에 뛰어든 신생 플레이어들과 비교했을 때 가장 큰 무기다.