AI 클러스터가 커질수록 칩보다 먼저 한계에 부딪히는 것이 있다. 수천 개 GPU를 잇는 네트워크 스위치다. 기존 전기 신호 기반 스위치는 데이터를 잘게 쪼개 목적지를 분석한 뒤 다시 조립해 내보내는 과정에서 처리 지연이 생기고, 전력 소비도 상당하다. 데이터센터 전체 전력 중 네트워킹 장비가 차지하는 비중이 10~20%에 달하며, 클러스터 규모가 커질수록 이 비중은 더 올라간다.

문제는 AI 워크로드의 특성이다. 분산 학습에서 GPU들이 동시에 서로 데이터를 주고받는 AllReduce, 추론 과정에서 대량으로 이동하는 KV 캐시 — 이런 트래픽은 규모가 크고, 반복적이며, 어느 정도 예측 가능하다. 굳이 매번 라우팅 결정을 내릴 필요가 없다. 아예 전용 광 회선을 미리 깔아두면 더 빠르고 전력도 덜 든다. 이 아이디어가 광 회로 스위치(Optical Circuit Switch, OCS)다.

엔아이(nEye.ai)는 서터힐 벤처스(Sutter Hill Ventures) 주도로 8천만 달러 규모의 시리즈C 투자를 유치했다고 발표했다. 기존 투자자인 알파벳(Alphabet)의 독립 성장펀드 캐피탈G(CapitalG), 마이크로소프트(Microsoft)의 벤처펀드 M12, 소크라틱 파트너스(Socratic Partners), 마이크론 테크놀로지(Micron Technology)가 함께했다. 누적 투자금은 1억 5,200만 달러다.

OCS는 어디서, 어떻게 작동하는가

AI 데이터센터에서 데이터가 흐르는 경로는 물리적 거리에 따라 나뉜다. 한 랙 안의 GPU끼리 통신하는 구간이 ‘스케일업(scale-up)’, 랙과 랙·클러스터와 클러스터를 잇는 구간이 ‘스케일아웃(scale-out)’이다. OCS가 실전에서 효과를 발휘하는 주 무대는 스케일아웃이다. 구글이 TPU 클러스터에 OCS를 대규모 적용한 것도 이 구간이다.

패킷 스위치가 “신호등이 있는 교차로”라면, OCS는 “미리 예약된 전용 차선”에 가깝다. 빛의 경로를 물리적으로 바꿔 직통 회선을 만들어주는 방식으로, 중간에 패킷 처리도, 버퍼도, 전기 신호 변환도 없다. 지연이 없고, 전력도 쓰지 않는다.

다만 OCS가 패킷 스위치를 완전히 대체하는 기술은 아니다. 랜덤하고 예측 불가능한 일반 트래픽은 여전히 패킷 스위치가 처리한다. OCS는 AI 특유의 대량·반복·패턴화 트래픽만 따로 받아서 처리하는 우회로다. 실제 데이터센터에서는 기존 이더넷 패킷 네트워크 위에 OCS 패브릭 레이어를 얹는 하이브리드 구조로 운영된다.

그렇다면 랙 간 OCS 회선을 언제 열고 닫을지는 누가 판단하는가. SDN(소프트웨어 정의 네트워킹) 방식의 중앙 컨트롤러다. 각 스위치·NIC·서버의 트래픽 패턴을 실시간으로 수집해 “이 트래픽은 크고 반복적이니 OCS 전용 회선을 열겠다”고 결정한다. AI 학습의 경우 Kubernetes나 Slurm 같은 워크로드 스케줄러가 “지금부터 AllReduce 시작”이라는 신호를 컨트롤러에 미리 알려주기도 한다. 사후 감지가 아니라 사전 예약이 가능한 셈이다. 컨트롤러가 OCS 칩에 명령을 내리면 MEMS 기반 광 스위치는 마이크로초~밀리초 단위로 회선을 전환한다. 트래픽이 끝나면 회선을 해제하고 해당 포트를 다른 연결에 재할당한다. 구글이 OCS를 효과적으로 운용할 수 있었던 배경 중 하나도 자체 네트워크 제어 스택(Jupiter 제어 레이어)을 갖추고 있었기 때문이다. 현재 엔아이는 하드웨어에 집중하고, 제어 레이어는 하이퍼스케일러 고객이나 파트너가 담당하는 구조다.

현재 주 전장은 스케일아웃이지만, 엔아이는 여기서 더 나아가 CPU·GPU·메모리를 데이터센터 전반에서 소프트웨어로 유연하게 재구성하는 ‘스케일어크로스(scale-across)’까지 확장을 노린다. AI 워크로드가 바뀌면 인프라가 즉시 따라가는 ‘컴포저블 인프라(composable infrastructure)’다.

UC 버클리 연구실 출신 광학 전문가 삼인방

엔아이는 2020년 UC 버클리 밍 우(Ming C. Wu) 교수 연구실에서 출발했다. 창업팀은 광학 네트워킹·실리콘 포토닉스·MEMS 분야의 전문성을 결집한 세 명으로 이뤄졌다.

아시쉬 벵사르카르(Ashish Vengsarkar) CEO는 구글(Google)에서 광학 네트워크를 구축한 30여 년 경력자다. 벨 랩스(Bell Labs) 출신으로, 광학 네트워킹 스타트업 포튜리스(Photuris)와 니스티카(Nistica)를 창업해 1억 달러 이상을 조달하고 성공적으로 엑시트한 연쇄 창업가이기도 하다. 공동창업자 밍 우 교수는 실리콘 포토닉스·MEMS 분야 선구자로, 버클리 라이츠(Berkeley Lights)를 나스닥에 상장시키고 옵티컬 마이크로머신스(Optical Micro-Machines)를 창업한 연쇄 창업가다. CTO 석태준(Tae Joon Seok)은 GIST(광주과학기술원)와 UC 버클리에서 연구 경력을 쌓은 통합 포토닉스 전문가로, 40편 이상의 논문을 발표하고 광학 분야 권위 있는 팅예 리 혁신상(Tingye Li Innovation Prize)을 수상했다.

기계 없이, 파운드리로

엔아이의 핵심 기술은 ‘OCS-on-a-chip’이다. 기존 OCS는 거울을 물리적으로 움직이는 기계식 MEMS 구조로, 부피가 크고 비용이 높아 데이터센터 도입에 걸림돌이 됐다. 엔아이는 실리콘 포토닉스·MEMS·CMOS를 하나의 칩에 통합해 풋프린트를 대폭 줄이고, 기존 반도체 파운드리 공정과 호환되도록 설계했다. 칩 하나를 대량생산하듯 OCS를 찍어낼 수 있다는 의미다.

서터힐의 스테판 다이커호프(Stefan Dyckerhoff) 매니징 디렉터는 “기계식 조립 방식에서 파운드리 호환 웨이퍼 스케일 공정으로의 전환을 통해 스케일업·스케일아웃·스케일어크로스 모든 응용에서 가장 비용 효율적인 솔루션을 제공할 수 있게 됐다”고 평가했다. 캐피탈G의 제임스 루오(James Luo) 제너럴 파트너는 “OCS-on-a-chip 접근법이 현대 하이퍼스케일 데이터센터의 극단적 밀도와 전력 제약을 충족하는 독보적인 경로”라고 밝혔다. 다이커호프는 이번 투자와 함께 엔아이 이사회에 합류했다.

조달한 자금은 OCS 양산 가속화와 하이퍼스케일러 고객들이 요구하는 성능 기준 충족에 집중 투입된다.

구글이 증명했고, 이제 시장이 열렸다

OCS를 데이터센터에 도입한 선례를 만든 것은 구글이다. 구글은 자체 TPU 기반 AI 클러스터에 OCS를 대규모 배포해 성능과 비용 두 측면에서 성과를 검증했다. 구글이 이 기술을 외부에 판매하지는 않지만, 그 성과가 알려지면서 업계 전반의 관심이 집중됐다. 시장조사기관 시그널 AI(Cignal AI)는 2026년 OCS 시장 규모가 기존 전망 대비 3배 수준으로 커질 것으로 수정 전망했다. 2029년에는 25억 달러를 넘어설 것으로 예상된다.

표준화 움직임도 빠르다. OCP(오픈 컴퓨트 프로젝트)는 2025년 OCS 서브프로젝트를 출범시켰다. 구글, 마이크로소프트, 엔비디아, 루멘텀, 엔아이 등이 참여해 규격 표준화 작업을 진행 중이다.

경쟁자들은 이미 각자의 기술 방식으로 시장에 뛰어들었다. 루멘텀(Lumentum)은 MEMS 기반 OCS로 2026년 말까지 분기당 약 1억 달러의 OCS 매출을 가이던스로 제시했다. 코히런트(Coherent)는 디지털 액정(digital liquid crystal) 방식으로 2025년부터 양산 출하를 시작했다. 텔레센트(Telescent)는 로봇이 광섬유를 직접 재연결하는 방식으로 차별화를 꾀하고 있으며, 아이프로닉스(iPronics)와 살리언스 랩스(Salience Labs)는 실리콘 포토닉스 기반으로 접근하고 있다.

엔아이는 AMD와 엔비디아를 기존 투자자로, 마이크론을 이번 라운드 투자자로 두고 있다는 점이 차별점이다. 주요 칩 기업들이 직접 지분을 쥔 만큼, 하이퍼스케일러 고객 입장에서 신뢰할 수 있는 공급망이 이미 형성돼 있다.벵사르카르 CEO는 “기술 검증이라는 이정표를 넘어, 이제 파운드리 기반 양산과 고객 성능 기준 충족에 집중할 것”이라고 말했다. AI 데이터센터 인프라의 경쟁 구도 전반은 여기에서 확인할 수 있다.