AI 스타트업 트릴리온랩스(Trillion Labs)가 과학기술정보통신부 산하 정보통신산업진흥원(NIPA)의 고성능 컴퓨팅 지원사업을 통해 국내 최초로 ‘확산 기반 트랜스포머(Diffusion Transformer) 아키텍처’를 적용한 대규모 언어 모델 ‘Trida-7B’ 개발에 성공했다고 29일 밝혔다.

이번 성과는 기존 자기회귀(Autoregressive) 모델의 구조적 한계를 넘어, 구글(Google)의 제미나이 등 글로벌 빅테크들이 이제 막 시도하기 시작한 차세대 디퓨전 모델 아키텍처를 국내 스타트업이 독자적으로 구현해냈다는 점에서 큰 의미를 갖는다. 트릴리온랩스는 단어를 순차적으로 생성하는 방식 대신, 문장 전체를 병렬로 생성하는 확산 기술을 트랜스포머 아키텍처에 성공적으로 이식하여 추론 속도와 효율성을 획기적으로 개선했다.

특히 이번 개발 과정에서 NIPA가 지원한 H200 80장 규모의 고성능 연산 자원은 스타트업이 직면한 가장 큰 애로사항인 ‘컴퓨팅 파워 부족’을 해결하는 결정적 동력이 되었다. 막대한 자본이 소요되는 하드웨어 인프라를 정부로부터 적시에 지원받음으로써, 기술적 난제였던 블록 디퓨전(Block Diffusion) 효율 학습 전략과 독자적 전이 학습(Transfer Learning) 기법을 단기간에 완성할 수 있었다. 이는 정부의 전략적 인프라 지원이 스타트업의 파괴적 혁신을 이끌어낸 민관 협력의 선도적 성공 사례로 평가받는다.

‘Trida-7B’는 주요 한국어 성능 평가 지표에서 디퓨전 LLM 글로벌 선행 모델들을 압도하며 기술적 완성도를 입증했다. 복잡한 수리적 사고를 요하는 ko_gsm8k(수학)에서 61.26점을 기록하며 NVIDIA의 ‘Fast dLLM'(56.94점) 등 기존 글로벌 모델들을 유의미한 차이로 앞서며 독보적인 1위를 차지했다.

또한 사용자의 복잡한 명령어를 얼마나 정확하게 수행하는지 측정하는 koifeval(한국어 지시 이행 능력)에서도 53.42점을 획득하여 경쟁 모델 대비 압도적인 성능 우위를 증명했다. 한국어 지식 이해 능력을 측정하는 kmmlu(한국어 상식)에서는 46.35점으로 최고점을 획득했다. Trida-7B가 국내는 물론 글로벌 표준의 한국어 환경에서도 가장 최적화된 성능을 발휘하는 ‘한국어 특화 AI’임을 입증하는 결과다.

이는 ▲실시간 통번역 ▲고성능 AI 챗봇 ▲게임 내 실시간 NPC 대화 ▲대규모 금융·법률 문서 자동 생성 등 즉각적인 반응 속도가 생명인 산업 현장에서 게임 체인저(Game Changer)가 될 것으로 기대된다.

트릴리온랩스는 이번 과제의 결과물인 모델 가중치와 추론 코드를 전면 공개해 국내 AI 생태계의 동반 성장을 견인할 계획이다.

신재민 트릴리온랩스 대표는 “스타트업이 감당하기 힘든 막대한 연산 자원 확보 문제를 NIPA의 지원을 통해 해결하면서 연구 개발에만 매진할 수 있었다”며, “확산 기반 트랜스포머라는 차세대 아키텍처 선점을 통해 대한민국이 글로벌 AI 기술 경쟁에서 주도권을 확보하는 데 기여하겠다”고 밝혔다.

한편 트릴리온랩스는 프론티어급 대형 모델(LLM) 및 멀티모달(VLM)을 파인튜닝 없이 바닥부터 직접 개발(From-scratch)하는 국내 유일의 ‘풀스택 파운데이션 모델’ 스타트업이다. 설립 1년 만에 Tri-7B, 21B, 70B 모델을 출시하며 한국 기업 최초의 프론티어급 모델 구축 및 전 세계 최초 학습 체크포인트 공개라는 기록을 세웠다.

이러한 독보적 기술력을 인정받아 정부의 국가전략기술 보유 기업으로 선정됐으며 현재 과학기술정보통신부 주관 ‘AI 특화 파운데이션 모델 프로젝트’를 통해 미국의 ‘제네시스 미션’보다 앞선 세계 최초의 의과학 특화 파운데이션 모델을 개발 중이다. 자체 알고리즘 XLDA와 고효율 학습 구조를 통해 글로벌 AI 시장의 기술 표준을 정립하고 있다.