구글이 물리적 세계를 시뮬레이션할 수 있는 AI 모델 개발을 위해 새로운 팀을 구성한다. 이 팀은 OpenAI의 비디오 생성기 ‘소라(Sora)’ 공동 개발자 중 한 명인 팀 브룩스(Tim Brooks)가 이끌게 된다. 브룩스는 지난 10월 구글의 AI 연구소인 ‘Google DeepMind’로 이직한 후, X(구 트위터)를 통해 새로운 팀을 구성 중이라고 발표했다. 이 팀은 Google DeepMind의 일부로 운영될 예정이다.

브룩스는 “DeepMind는 세계를 시뮬레이션하는 대규모 생성형 모델을 만들기 위한 야심찬 계획을 가지고 있다”며 “이를 실현할 새로운 팀을 구성 중”이라고 밝혔다. 구글의 AI 모델 ‘제미나이(Gemini)‘, 비디오 생성 모델 ‘베오(Veo)‘, 그리고 실시간 게임 및 3D 환경을 시뮬레이션할 수 있는 ‘지니(Genie)‘ 팀과의 협력을 통해 “중요한 새로운 문제”를 해결하고, 모델을 “최고 수준의 컴퓨팅 성능으로 확장”할 계획이다.

특히, 지니는 실시간으로 다양한 3D 세계를 생성할 수 있는 AI 모델로, 구글이 지난 12월 공개한 최신 버전은 다양한 플레이 가능한 3D 환경을 생성할 수 있다. 구글은 “비디오 및 멀티모달 데이터를 활용한 AI 훈련의 확장이 인공 일반 지능(AGI) 달성의 핵심”이라고 강조하며, 세계 모델이 시각적 추론, 시뮬레이션, 로봇 훈련 환경 등 다양한 분야에서 활용될 것이라고 전망했다.

브룩스의 신규 팀은 구축한 모델 위에 “실시간 인터랙티브 생성” 도구를 개발하고, 이를 제미나이와 같은 기존 멀티모달 모델과 통합하는 방법을 연구할 예정이다. 이와 관련해 구글은 YouTube 동영상을 활용해 모델을 훈련하고 있다고 밝혔으나, 구체적인 동영상 출처는 공개하지 않았다.

Fei-Fei Lee’s World Labs, Decart, Odyssey 등 세계 모델 개발 경쟁 가열

세계 모델 기술을 개발 중인 스타트업과 연구소들도 활발히 움직이고 있다. 스탠포드 대학의 Fei-Fei Lee 교수가 이끄는 World Labs는 컴퓨터 비전과 딥러닝을 결합해 현실 세계의 복잡한 환경을 모델링하는 데 주력하고 있다. 이 연구소는 AI가 물리적 세계를 이해하고 시뮬레이션할 수 있는 기술을 개발하며, 자율주행차, 로봇 공학, 의료 등 다양한 분야에 적용할 수 있는 가능성을 탐구하고 있다.

이스라엘의 신생 AI 기업 Decart는 실시간 3D 환경 생성 및 시뮬레이션 기술을 개발 중이다. 이 회사는 특히 자율주행차와 로봇 공학 분야에서 활용될 수 있는 고급 세계 모델을 연구하며, 복잡한 물리적 환경을 정확하게 재현하는 데 초점을 맞추고 있다.

한편, Odyssey는 인터랙티브 미디어와 게임 개발에 특화된 AI 스타트업으로, 창작자들과의 협력을 강조하며 AI 기술을 활용해 새로운 형태의 콘텐츠를 제작하는 데 주력하고 있다. Odyssey는 AI가 창작자들을 대체하기보다는 그들의 작업을 보조하는 도구로 사용될 수 있도록 하는 데 초점을 맞추고 있다. 이 회사는 AI를 통해 비디오 게임, 영화, 가상 현실(VR) 콘텐츠를 더욱 풍부하게 만들 수 있는 가능성을 탐구 중이다.

창작자들의 우려와 저작권 문제

그러나 이러한 기술 발전은 창작자들에게 복잡한 감정을 불러일으키고 있다. 최근 와이어드(Wired) 조사에 따르면, 게임 스튜디오인 액티비전 블리자드(Activision Blizzard)와 같은 기업들이 AI를 활용해 생산성을 높이면서 직원 수를 줄이고 있다. 또한, 할리우드 애니메이터 및 만화가들을 대표하는 협회인 애니메이션 길드(The Animation Guild)가 의뢰한 2024년 연구에 따르면, 2026년까지 미국 영화, TV, 애니메이션 업계에서 10만 개 이상의 일자리가 AI로 인해 영향을 받을 것으로 추정된다.

AI 기술이 창작자들의 일자리를 위협할 수 있다는 우려 속에서도, Odyssey와 같은 스타트업은 AI가 창작자들을 대체하지 않고 협력할 수 있는 도구로 발전해야 한다는 입장을 강조하고 있다. 구글이 이러한 방향으로 나아갈지 여부는 아직 불분명하다.

또한, 세계 모델 훈련에 사용된 비디오 게임 플레이 영상의 저작권 문제도 해결되지 않은 과제로 남아 있다. 일부 세계 모델은 비디오 게임 플레이 영상을 훈련 데이터로 사용하고 있는데, 이 영상들이 무단으로 사용된 경우 법적 분쟁의 소지가 있다. 구글은 YouTube 동영상을 훈련 데이터로 사용할 권한이 있다고 주장하지만, 구체적인 동영상 출처를 공개하지 않아 논란이 될 수 있다.

구글의 새로운 AI 팀은 물리적 세계를 시뮬레이션할 수 있는 기술 개발을 통해 AGI(인공 일반 지능) 달성에 한 걸음 더 다가서고 있다. 그러나 이 기술이 창작자들의 일자리와 저작권 문제에 미칠 영향에 대한 논의도 함께 이루어져야 할 것이다. Fei-Fei Lee’s World Labs, Decart, Odyssey와 같은 기업들과의 경쟁 속에서 구글이 어떤 방향으로 나아갈지 주목된다.

한편, 엔비디아의 젠슨 황 CEO는 CES 2025 키노트를 통해 엔비디아의 월드 모델인 코스모스를 발표한 바 있다. 최근에 아주 뜨거운 분야다. 

월드 모델에 대해서는 아래도 참고하시길. 

• AI startup Odyssey’s new tool can generate photorealistic 3D worlds | TechCrunch
• What are AI ‘world models,’ and why do they matter? | TechCrunch
• World Labs’ AI can generate interactive 3D scenes from a single photo | TechCrunch