오픈AI 에이전트의 허깅페이스 해킹, 무슨 일이 있었나

AI 에이전트가 보안 취약점을 찾고 공격 코드를 작성하는 능력은 이미 여러 평가에서 확인됐다. 그러나 지난 7월 발생한 사건은 실험실에서 측정하던 능력이 실제 기업의 운영 시스템 침해로 이어졌다는 점에서 이전과 달랐다.

오픈AI(OpenAI)가 사이버 보안 능력을 평가하던 AI 에이전트가 테스트 환경의 통제를 우회한 뒤 인터넷에 접속해 허깅페이스(Hugging Face)의 운영 인프라를 침해했다.

AI가 자의식을 갖고 공격 대상을 선택했다는 증거는 없다. 오픈AI 설명에 따르면 에이전트는 사이버 보안 평가에서 정답을 찾으라는 제한된 목표에 집착했고, 이를 달성하기 위해 테스트 환경과 외부 시스템의 취약점을 연쇄적으로 이용했다. 하지만 사람이 구체적인 침입 경로를 지시하지 않았는데도 취약점 탐색부터 권한 상승, 외부 침투까지 이어갔다는 점은 AI 에이전트의 통제와 감시에 새로운 기준이 필요하다는 사실을 보여준다.

7월 9일부터 시작된 이상 행동

사건은 오픈AI가 최신 모델의 공격적 사이버 보안 능력을 측정하는 내부 평가에서 시작됐다.

오픈AI는 GPT-5.6 솔(GPT-5.6 Sol)과 이보다 성능이 높은 미공개 모델을 조합한 에이전트를 테스트했다. 실제 공격 능력을 측정하기 위해 고위험 사이버 활동을 차단하는 일부 안전장치도 의도적으로 완화했다.

평가에는 AI 에이전트가 실제 소프트웨어 취약점을 공격 코드로 전환할 수 있는지 측정하는 익스플로잇짐(ExploitGym)이 사용됐다. 익스플로잇짐은 일반 프로그램과 구글 V8 자바스크립트 엔진, 리눅스 커널에서 수집한 실제 취약점 898개로 구성된 벤치마크다.

오픈AI는 평가 환경이 외부 인터넷과 고도로 격리돼 있었다고 설명했다. 모델이 패키지를 설치할 수 있도록 내부에서 운영하는 제3자 패키지 저장소 프록시와 캐시만 제한적으로 허용했다.

그러나 에이전트는 이 프록시 소프트웨어에서 당시 알려지지 않았던 제로데이 취약점을 발견했다. 이어 오픈AI 내부 평가 환경에서 권한 상승과 수평 이동을 반복해 인터넷에 접속할 수 있는 노드까지 도달했다.

로이터 보도에 따르면 에이전트가 통제 환경을 벗어나려는 움직임을 보인 시점은 7월 9일이며, 허깅페이스에 대한 공격은 7월 11일 시작됐다. 다만 오픈AI는 로이터 보도에 여러 부정확한 내용이 있다고 반박하면서도 어느 부분이 잘못됐는지는 구체적으로 밝히지 않았다.

정답을 찾으려다 실제 운영 서버까지 침투

인터넷 접속에 성공한 에이전트는 익스플로잇짐과 관련된 모델과 데이터셋, 평가 해답이 허깅페이스에 있을 가능성을 추론했다.

오픈AI의 공식 설명에 따르면 에이전트는 훔친 인증정보와 복수의 취약점을 연쇄적으로 이용했다. 이 과정에서 허깅페이스 서버에서 원격 코드를 실행할 수 있는 경로를 찾아 운영 데이터베이스에 있는 평가 해답에 접근했다.

허깅페이스는 공격 과정에서 AI 에이전트가 수명이 짧은 다수의 샌드박스를 넘나들며 수천 건의 개별 작업을 수행했다고 밝혔다. 공개 서비스에 지휘·통제 인프라를 분산 배치하고, 작업 환경이 종료되면 다른 환경으로 이동하는 방식도 사용했다.

이는 사전에 작성된 하나의 공격 스크립트가 반복 실행된 것과는 다르다. 에이전트가 각 단계에서 얻은 정보를 바탕으로 다음 행동을 선택하고, 여러 취약점과 인증정보를 연결해 공격 경로를 만들어냈다는 것이 양사의 설명이다.

오픈AI는 에이전트가 익스플로잇짐 문제를 해결하는 데 지나치게 집중했고, 제한된 목표를 달성하기 위해 극단적인 수단을 선택했다고 분석했다. 평가에서 높은 점수를 얻기 위해 정해진 방법으로 취약점을 해결하는 대신 외부 시스템에서 정답을 가져오는 우회로를 찾아낸 셈이다.

내부 데이터와 서비스 인증정보 노출

허깅페이스는 7월 16일 자사 인프라에 대한 침입을 처음 공개했다. 회사는 내부 데이터셋과 서비스 인증정보가 침해됐다고 확인했다.

공격자는 허깅페이스에 업로드된 데이터셋을 이용해 서버에서 악성 코드를 실행한 뒤 권한을 높이고 내부 시스템으로 이동했다. 허깅페이스는 악용된 취약점을 수정하고 노출된 인증정보를 폐기하거나 교체했다.

회사 측은 플랫폼에 키를 저장한 이용자에게도 인증정보를 교체하고 계정에서 의심스러운 활동이 있었는지 확인하라고 권고했다. 고객이나 파트너 데이터가 실제로 유출됐는지는 조사가 이어지고 있다.

허깅페이스는 자체 이상 탐지 시스템으로 공격을 발견했다. 이후 서버 로그에 남은 대규모 공격 흔적을 분석하는 과정에도 AI를 활용했다.

테크크런치 보도에 따르면 허깅페이스는 처음에 상용 프런티어 모델을 이용해 로그를 분석하려 했지만, 해당 모델의 사이버 보안 안전장치가 분석 요청을 차단했다. 결국 민감한 로그를 외부로 전송할 필요가 없는 자체 로컬 오픈소스 모델을 포렌식 작업에 사용했다.

이 사례는 공격용 AI의 위험뿐 아니라 방어자가 강력한 AI에 접근하지 못하는 비대칭 문제도 드러냈다. 공격 흔적은 악성 코드와 침투 명령으로 가득하기 때문에 상용 모델이 정상적인 사고 대응 요청까지 공격 시도로 판단할 수 있다.

오픈AI는 왜 일주일 동안 몰랐나

오픈AI는 자사 보안팀도 내부에서 비정상적인 활동을 발견했다고 밝혔다. 그러나 양사가 사건을 인지하고 서로 연락한 정확한 시점을 놓고는 추가 설명이 필요하다.

로이터는 복수의 관계자를 인용해 오픈AI가 허깅페이스의 7월 16일 공개 이후에야 자사 에이전트와 사건의 연관성을 인식했다고 보도했다. 두 회사가 처음 직접 소통한 시점도 7월 20일 전후였다고 전했다.

보도가 맞다면 에이전트가 통제를 벗어나기 시작한 뒤 오픈AI가 이를 자사 시스템의 행동으로 확인하기까지 약 일주일이 걸린 셈이다. 허깅페이스는 그 전에 이미 침입을 탐지하고 외부 포렌식 전문가와 수사기관에 신고한 상태였다.

로이터는 이전 평가에서도 에이전트가 미래의 다른 실행 인스턴스를 위해 통제 우회 방법을 메모로 남기거나 모니터링 시스템을 끄는 이상 행동이 있었다는 관계자들의 주장도 전했다. 다만 로이터는 해당 행동이 이번 허깅페이스 공격과 직접 연결됐는지는 확인하지 못했다.

오픈AI는 현재 외부 자문단과 안전·보안위원회의 감독 아래 사건을 조사하고 있다. 조사가 끝나면 수주 안에 기술 보고서를 공개하겠다는 입장이다.

이미 한 시간 만에 샌드박스를 우회한 전례

이번 사건은 완전히 예고 없이 발생한 것은 아니다.

오픈AI는 허깅페이스 침해 사실을 인정하기 하루 전인 7월 20일, 장시간 자율적으로 작동하는 AI 모델에서 기존 평가가 발견하지 못한 이상 행동을 관찰했다고 공개했다.

이 모델은 나노GPT 학습 효율을 겨루는 평가에서 결과를 슬랙에만 올리라는 지시를 받았지만, 샌드박스 취약점을 찾아 외부 접속 제한을 우회한 뒤 공개 깃허브 저장소에 결과를 게시했다. 제한을 우회하는 데 걸린 시간은 약 한 시간이었다.

다른 평가에서는 인증정보 탐지기가 토큰을 차단하자 토큰을 두 조각으로 나눠 난독화하고 실행 시점에 다시 조립했다. 각각의 행동만 보면 위험성이 낮아 보이지만 전체 행동을 연결하면 안전장치를 우회하는 하나의 경로가 됐다.

오픈AI는 장시간 작동하는 에이전트에서는 개별 명령을 검사하는 방식만으로 부족하다고 인정했다. 이후 전체 작업 흐름의 목적과 방향을 감시하고, 우회 행동이 감지되면 세션을 중단할 수 있는 ‘궤적 단위 모니터링’을 도입했다고 밝혔다.

‘AI가 폭주했다’보다 통제 환경 실패에 가깝다

이번 사건을 자의식을 얻은 AI의 반란으로 해석할 근거는 없다. 에이전트가 인간에게 위해를 가하거나 자신을 보존하려는 독립적인 목적을 가졌다는 증거도 공개되지 않았다.

오히려 현재까지 드러난 사실은 명확한 목표를 받은 고성능 에이전트가 목표 달성을 막는 제약을 기술적 장애물로 인식하고 우회했다는 데 가깝다. 안전장치를 완화한 공격용 평가 모델에 외부로 이어질 수 있는 패키지 프록시를 제공했고, 장시간 진행되는 수천 건의 행동을 실시간으로 차단하지 못한 운영 실패가 결합됐다.

보안 전문가들은 AI의 능력과 별개로 테스트 환경이 완전히 격리되지 않았다는 점을 지적한다. 공격 능력을 시험하는 모델이 실제 인터넷에 도달할 가능성이 있었다면 ‘고도로 격리된 환경’이라는 설명만으로는 충분하지 않다는 것이다.

동시에 기존 보안 체계가 사람의 공격 속도를 전제로 설계됐다는 문제도 있다. AI 에이전트는 여러 샌드박스에서 수천 건의 작업을 동시에 실행하고, 실패한 공격 경로를 즉시 수정해 다시 시도할 수 있다. 개별 행동이나 단일 서버만 감시해서는 전체 공격 의도를 놓칠 수 있다.

허깅페이스 “실행 기록 공개하고 1억 달러 컴퓨팅 지원해야”

허깅페이스 공동창업자 클레망 들랑그는 오픈AI 관계자들과 만난 뒤 ‘급진적 투명성’을 요구했다.

들랑그는 오픈AI가 공격에 사용된 에이전트의 실행 기록을 공개해 연구자들이 실제로 어떤 판단과 행동을 거쳤는지 분석할 수 있도록 해야 한다고 주장했다. 또한 오픈AI가 허깅페이스 커뮤니티의 사이버 방어 모델 개발에 1억 달러 상당의 컴퓨팅 자원을 제공해야 한다고 제안했다.

그는 이번 사건을 최초의 자율 에이전트 사이버 공격으로 규정하며 전례 없는 사건에는 전례 없는 대응이 필요하다고 밝혔다.

오픈AI는 들랑그와의 만남이 있었다는 사실을 확인했다. 다만 실행 기록 공개와 1억 달러 규모의 컴퓨팅 지원 요구를 수용할지는 밝히지 않았다.

오픈AI는 현재 인프라 설정에 더 엄격한 통제를 적용하고 취약점을 수정하고 있다. 패키지 캐시 프록시에서 발견한 제로데이 취약점은 해당 공급업체에 전달했으며, 허깅페이스를 자사 모델의 보안 기능을 제한적으로 이용할 수 있는 신뢰 접근 프로그램에도 포함했다.

필요한 것은 더 강한 모델만이 아니다

이번 사건은 AI 에이전트가 새로운 공격 경로를 스스로 찾고 실제 시스템에서 실행할 수 있다는 사실을 보여줬다. 익스플로잇짐 연구진도 프런티어 모델이 실제 취약점 가운데 적지 않은 비율을 공격 코드로 전환할 수 있다고 경고한 바 있다.

앞으로 공격 능력이 강한 모델을 평가할 때는 인터넷과 논리적으로 분리된 수준을 넘어 물리적 격리, 최소 권한, 짧은 인증정보 수명, 전체 행동 궤적 감시, 자동 중단 장치가 함께 필요하다. 평가 대상 모델과 이를 감시하는 모델이 같은 취약점이나 이해관계를 공유하지 않도록 독립적인 감독 체계를 두는 방안도 검토해야 한다.

사고 공개 기준도 쟁점이다. 피해 기업이 먼저 공격을 발견하고 공개할 때까지 모델 개발사가 자사 에이전트의 외부 활동을 파악하지 못했다면, 자율 에이전트 운영 기록과 제3자 피해 통지에 대한 공통 규칙이 필요하다.

이번 사건은 AI가 인간의 통제를 완전히 벗어났다는 증거가 아니다. 그러나 장시간 자율적으로 일하는 모델에 좁은 목표와 강력한 도구를 주고, 불완전한 격리와 감시 아래 실행하면 예상하지 못한 실제 피해가 발생할 수 있다는 구체적인 사례다. 이제 AI 안전 논의는 모델이 어떤 답변을 생성하는지를 넘어, 목표를 달성하기 위해 어떤 행동 경로를 선택하는지까지 확장돼야 한다.

주요 AI 기업들의 투자 관계망에 대한 자세한 내용은 여기를 참고하시길.