‘곱셈 없는’ AI 칩 만드는 YC 스타트업 바우드… 학습 비용 정조준

프런티어 AI 모델을 하나 만드는 일은 지독하게 돈이 많이 든다. 엔비디아(NVIDIA)가 공개한 네모트론(Nemotron) 학습 기록만 봐도, H100 GPU 6,144개를 약 3개월간 돌리며 4.3메가와트(MW)의 전기를 썼다. 바우드는 이를 대여 기준 4,400만 달러, 직접 장비 구매 기준 2억4,500만 달러로 추산한다. 이 정도 비용을 감당할 수 있는 팀이 지구상에 몇 안 되는 탓에, AI의 최전선은 극소수 기업이 틀어쥐고 있다.

와이콤비네이터(Y Combinator·YC) 2026년 여름 배치에 합류한 바우드(Baud)는 이 비용 구조를 근본부터 흔들겠다고 나섰다. 신경망을 표현하는 방식 자체를 새로 짜서, 학습과 추론 모두에서 ‘곱셈’을 아예 없애고 가중치는 10배 넘게 압축한 뒤, 그 방식에 딱 맞춘 칩을 처음부터 다시 설계했다는 것이다.

칩이 아니라 ‘수학’을 바꿨다

이 회사가 무엇을 다르게 하는지 이해하려면, AI 계산의 바닥을 먼저 봐야 한다. AI 모델은 결국 수많은 숫자(가중치)의 덩어리이고, 모델을 돌린다는 건 이 숫자들을 끝없이 ‘곱하고 더하는’ 일이다. GPU가 사실상 거대한 곱셈 기계인 이유다.

엔비디아에 맞서는 칩 스타트업 대부분은 이 곱셈을 ‘더 빠르고 싸게’ 처리하는 하드웨어를 만드는 데 집중한다. 예컨대 에치드(Etched)는 ‘모델은 늘 트랜스포머’라고 가정하고 칩 전체를 트랜스포머 연산에만 특화시켰다. 하지만 트랜스포머 역시 결국 가중치를 곱하고 더하는 계산이고, 에치드는 그 곱셈을 그대로 둔 채 칩만 특화했을 뿐이다. 그래서 이런 칩들은 라마·GPT처럼 이미 학습을 마친 모델을 가져와 ‘실행’하는 추론에 주로 쓰인다. 세레브라스(Cerebras)나 그록(Groq), 디매트릭스(d-Matrix)도 접근법은 비슷하다.

지금까지 업계에서 ‘곱셈’은 건드릴 수 없는 전제였다. 파운데이션 모델을 만드는 쪽은 곱셈 기반으로 모델을 학습하고, 칩을 만드는 쪽은 그 곱셈을 빠르게 처리하는 하드웨어를 만든다. 양쪽 모두 “곱셈은 당연히 해야 하는 것”으로 깔고 갔다.

바우드는 바로 이 전제를 버렸다. ‘이미 학습된 모델을 그대로 돌려야 한다’는 제약을 포기하는 대신, 곱셈 없이도 같은 신경망 계산을 해내는 새로운 수학 표현을 만들고 칩도 곱셈기 회로 없이 설계했다. 즉 모델의 계산 방식과 하드웨어를 한 세트로 함께 설계한 것이다. 곱셈기가 없으니 칩의 연산 코어는 GPU의 텐서 코어나 TPU 연산 유닛보다 훨씬 작고 단순해진다. 덕분에 같은 면적에 연산 장치와 메모리(SRAM)를 더 촘촘히 넣고, 전력은 덜 쓰며, 값비싼 특수 장비 대신 흔한 상용 서버·D램·공랭 설비만으로 돌릴 수 있다는 게 회사의 설명이다.

대신 분명한 대가가 있다. 이 방식의 이점을 누리려면 모델을 처음부터 바우드의 표현으로 학습하거나, 그렇게 만들어진 모델에서 출발해야 한다. 이미 학습을 끝낸 남의 모델을 가져와 그대로 돌릴 수는 없다는 뜻이다. 단, 트랜스포머 같은 모델 구조 자체를 갈아엎는 것은 아니다. GLM·큐원(Qwen)·젬마(Gemma)·딥시크(DeepSeek) 같은 기존 아키텍처는 그대로 받아들이되, 그 아래에서 숫자를 계산하는 방식만 바꾼 것이다. 이 때문에 바우드는 남의 모델을 실행하는 추론이 아니라, 모델을 새로 빚어내는 ‘학습’ 시장을 정조준한다. 칩만 파는 게 아니라 컴파일러와 분산 학습 스택까지 함께 내놓는 이유이기도 하다.

연내 테이프아웃, FPGA로 이미 가동 중

바우드의 첫 칩은 글로벌파운드리(GlobalFoundries)의 12나노 공정에서 검증을 마쳤고, 연내 테이프아웃(양산 직전 설계 확정)을 목표로 하고 있다. 아직 실물 칩이 나오기 전이지만, 회사는 칩 구조를 FPGA로 에뮬레이션한 클러스터 위에서 학습·추론 서비스를 이미 가동 중이다. 파이토치(PyTorch)로 짠 모델을 그대로 올릴 수 있는 컴파일러와 분산 학습 스택도 갖췄다. 현재는 시스템을 시험하고 개발 경험을 다듬어줄 디자인 파트너를 모집하는 단계다.

회사를 이끄는 두 창업자는 소프트웨어와 하드웨어 양쪽에 걸쳐 있다. 사랑 잠바레(Sarang Zambare)는 딥러닝·AI 하드웨어 분야에서 7년 넘게 일한 다수 창업 경험자로, 펠로톤 가이드(Peloton Guide)의 ML 리드로 10만 대 이상 출하를 이끌었고 인스타카트에 인수된 캐퍼(Caper)의 창업 엔지니어였다. 에릭 테일러(Eric Taylor)는 엔비디아 출신의 칩 설계 베테랑으로, 최신 공정에서 4번의 테이프아웃을 경험했고 프리스케일/NXP·아르테리스·엔파브리카 등을 거쳤다.

‘학습’을 겨눈 드문 도전자

추론 칩 시장은 이미 세레브라스·그록·에치드 등으로 붐비지만, 학습 단계까지 정조준하는 곳은 드물다. 학습은 엔비디아가 사실상 독점하는 영역이자 AI 비용의 가장 큰 덩어리이기 때문이다. 바우드의 시도가 통한다면 ‘지능을 빌려 쓰는’ 대신 ‘직접 소유하는’ 문턱을 크게 낮출 수 있다. 다만 세상 모든 모델과 가중치가 이미 ‘곱셈 표현’으로 만들어져 있는 상황에서, 굳이 자사 표현으로 새로 학습하게 만들 수 있느냐가 이 회사가 넘어야 할 진짜 관문이다.

AI 인프라 칩 경쟁에 대한 자세한 내용은 여기를 참고하시길.