구글, 텍스트 생성 4배 빠른 오픈소스 AI ‘디퓨전젬마(DiffusionGemma)’ 공개

AI 언어 모델이 텍스트를 생성하는 방식이 근본적으로 달라질 수 있다. 구글(Google)이 기존 자동회귀(Autoregressive) 방식 대신 확산(Diffusion) 방식으로 텍스트를 생성하는 오픈소스 AI 모델 ‘디퓨전젬마(DiffusionGemma)’를 공개했다. 단어를 하나씩 순차적으로 출력하는 것이 아니라, 256토큰 블록 단위로 동시에 생성해 최대 4배 빠른 추론 속도를 달성했다고 밝혔다.

자동회귀 대신 확산: 무엇이 다른가

현재 대부분의 대형언어모델(LLM)은 자동회귀 방식을 사용한다. GPT-4, 라마(Llama), 클로드(Claude) 등이 모두 이 방식이다. 이전 토큰을 보고 다음 토큰을 예측하는 방식으로, 응답이 길어질수록 생성 시간도 선형으로 늘어난다는 근본적인 한계가 있다.

확산 모델은 원래 이미지 생성 AI에서 주로 사용되던 방식이다. 랜덤 노이즈에서 시작해 반복적으로 노이즈를 제거하며 최종 출력을 만든다. 디퓨전젬마(DiffusionGemma)는 이 원리를 텍스트에 적용했다. 256토큰 블록 전체를 동시에 디노이징(Denoising)하는 방식으로, 각 블록 내 토큰들이 병렬로 생성된다.

구글 딥마인드(Google DeepMind)에 따르면 디퓨전젬마는 이 병렬 처리 덕분에 같은 크기의 젬마(Gemma) 자동회귀 모델 대비 최대 4배 빠른 처리 속도를 기록했다. 특히 긴 텍스트를 생성할 때 속도 차이가 극대화된다.

젬마4 대비 달라진 점

지난 4월 공개된 젬마4(Gemma 4)가 멀티모달 지원과 128K 컨텍스트 윈도우를 앞세운 성능 업그레이드에 집중했다면, 디퓨전젬마(DiffusionGemma)는 전혀 다른 방향을 탐색한다. 젬마4는 여전히 자동회귀 방식을 유지하며 이미지·동영상 입력을 지원하는 멀티모달 모델이지만, 디퓨전젬마는 텍스트 전용이면서 생성 아키텍처 자체를 바꿨다.

현재 디퓨전젬마는 20억(2B) 파라미터 규모로 공개됐으며, 구글은 이를 “실험적(Experimental)” 연구 공개로 분류했다. 실제 서비스 배포보다는 새로운 생성 패러다임의 가능성을 탐색하는 단계다. 모델 가중치와 코드는 허깅페이스(HuggingFace)를 통해 공개됐다.

오픈소스 LLM 경쟁 구도 속 차별화

오픈소스 LLM 시장은 현재 메타(Meta)의 라마4(Llama 4), 중국 딥시크(DeepSeek)의 R2, 알리바바(Alibaba)의 큰(Qwen) 시리즈, 미스트랄(Mistral), 칭화대의 GLM 등이 치열하게 경쟁 중이다. 대부분은 자동회귀 방식을 유지하면서 파라미터 효율성과 추론 능력을 높이는 방향으로 발전하고 있다.

이런 상황에서 디퓨전젬마(DiffusionGemma)의 확산 방식은 아직 주류가 아니다. 텍스트 확산 모델은 MDLM, SEDD 등의 연구를 통해 학계에서 논의되어 왔으나 대규모 실용화 사례가 없었다. 구글이 이를 젬마 계열로 공개한 것은 텍스트 생성의 대안적 경로를 공개적으로 탐색하겠다는 신호로 읽힌다.

속도 외에도 확산 방식은 전통적인 자동회귀 모델과 다른 특성을 가진다. 토큰 간 양방향 맥락(Bidirectional Context)을 활용할 수 있어 이론적으로는 더 일관된 장문 생성이 가능하다. 반면 아직 지시 이행(Instruction Following)이나 정확한 수식 처리 등에서는 자동회귀 모델 대비 약점이 있다는 평가도 있다.

실험적 공개, 향후 방향은

구글은 디퓨전젬마(DiffusionGemma)를 아파치(Apache) 2.0 라이선스로 공개해 상업적 활용도 허용했다. 다만 현재 2B 파라미터 단일 버전만 공개된 상태이며, 멀티모달 기능이나 대규모 파라미터 버전은 포함되지 않았다.

구글은 공식 블로그를 통해 “디퓨전젬마는 텍스트 생성의 새로운 가능성을 탐구하는 실험”이라며 “커뮤니티 피드백을 바탕으로 발전 방향을 결정할 것”이라고 밝혔다. AI 추론 비용 절감이 산업 전반의 핵심 과제로 부상한 가운데, 병렬 처리로 속도를 높이는 확산 방식이 실용적인 대안으로 자리 잡을 수 있을지 주목된다.