팽그램, AI 글·이미지 탐지 모델 공개…법정 증거까지 적용 확대

생성형 AI가 글과 이미지 제작 비용을 사실상 제로에 가깝게 낮추면서 콘텐츠의 품질보다 출처를 확인하는 일이 더 어려워지고 있다. 사람이 직접 쓴 글인지, AI의 도움을 받아 수정한 글인지, 사진처럼 보이는 이미지가 실제 촬영물인지 판단해야 하는 수요가 교육과 출판을 넘어 뉴스, 광고, 보험, 채용, 법률 분야로 확산하고 있다.

AI 콘텐츠 탐지 기술을 개발하는 팽그램(Pangram)이 새로운 텍스트 탐지 모델 ‘팽그램 4’와 AI 이미지 탐지 모델의 연구용 프리뷰를 공개했다.

팽그램 4는 AI가 작성한 글뿐 아니라 사람이 AI로 일부를 수정한 혼합형 콘텐츠, AI 생성 문장을 사람처럼 바꿔주는 ‘휴머나이저’ 도구를 거친 글까지 탐지하는 데 초점을 맞췄다. 회사는 기존과 동일하게 0.01%, 즉 1만 건당 1건 수준의 오탐률을 유지했다고 밝혔다.

처음 공개한 이미지 탐지 모델은 회사 내부 평가에서 99.5%의 정확도를 기록했다. 다만 아직 연구용 프리뷰 단계이며 외부 기관이 동일한 조건에서 검증한 수치는 아니다.

AI가 쓰고 사람이 고친 글까지 구분

초기 AI 글 탐지기는 문장의 예측 가능성과 표현의 반복성 등 대규모언어모델 특유의 통계적 패턴을 찾는 데 집중했다. 하지만 AI가 생성한 초안을 사람이 수정하거나, 패러프레이징 도구로 문장 구조와 단어를 바꾸면 탐지 성능이 급격히 떨어지는 문제가 있었다.

팽그램 4는 글 전체가 AI로 생성됐는지를 판별하는 데서 나아가 사람과 AI가 함께 작성한 혼합형 콘텐츠를 구분하도록 설계됐다. AI 초안을 사람이 편집하거나, 사람이 쓴 글의 일부를 AI가 다시 작성한 경우가 대상이다.

AI 탐지를 회피하기 위해 문장을 재작성하는 휴머나이저에도 대응한다. 일부 서비스는 탐지기별 점수를 확인하면서 결과가 통과할 때까지 반복적으로 문장을 수정한다. 팽그램은 이런 변환 과정을 거친 문장을 학습 데이터에 포함해 모델을 훈련했다고 설명했다.

회사는 오탐률을 낮게 유지하면서 휴머나이저와 혼합형 글에 대한 정확도가 개선됐다고 밝혔지만, 모델별 세부 성능과 평가 데이터 전체는 이번 발표에서 공개하지 않았다.

이미지 일부만 AI인 경우도 탐지 목표

팽그램의 이미지 탐지 모델은 완전히 AI로 생성된 그림뿐 아니라 실제 사진과 생성형 이미지가 섞인 콘텐츠를 판별하는 것을 목표로 한다.

예를 들어 실제 거리에서 촬영한 사진 속 전광판 광고만 AI로 만들었거나, 제품 사진의 배경과 인물 일부를 생성형 AI로 바꾼 경우다. 이미지 전체가 AI 특유의 질감과 구조를 보이는 것보다 이런 혼합형 콘텐츠를 탐지하는 일이 훨씬 어렵다.

이미지는 크기 조절과 압축, 캡처, 필터 적용, 색상 보정, 소셜미디어 재업로드 과정에서 생성 흔적이 손상될 수 있다. AI로 만든 이미지를 출력한 뒤 다시 촬영하는 방식도 탐지를 어렵게 한다. 팽그램은 소셜미디어에서 유통되는 이미지부터 법정에 제출되는 사진 증거까지 폭넓게 처리하는 것을 목표로 연구용 모델을 공개했다.

회사가 밝힌 내부 정확도는 99.5%다. 그러나 어떤 이미지 생성 모델과 실제 사진 데이터, 편집·압축 조건으로 평가했는지에 따라 성능은 크게 달라질 수 있다. 연구용 프리뷰를 공개한 이유도 다양한 실제 환경에서 피드백과 실패 사례를 확보하기 위해서다.

교육기관, 처벌보다 추가 검토 신호로 활용

가장 먼저 떠오르는 적용처는 학교와 대학이다. 교사는 학생의 과제와 논문에 생성형 AI가 어느 정도 사용됐는지 확인할 수 있다. 전체 과제를 AI 작성으로 단정하기보다 특정 문단에서 작성 방식이 달라졌는지 살펴보고 학생에게 초안과 참고자료, 수정 이력을 요청하는 근거로 활용할 수 있다.

다만 AI 탐지 결과만으로 부정행위를 확정하는 것은 위험하다. 영어가 모국어가 아닌 학생의 정형화된 문장이나 짧은 글이 AI 콘텐츠로 잘못 분류될 수 있다는 연구가 있었으며, 일부 대학은 오탐과 형평성 문제를 이유로 AI 탐지기를 징계 증거로 사용하지 않는다.

팽그램이 주장하는 0.01%의 오탐률도 실제 교육 현장에서는 규모에 따라 의미가 달라진다. 과제 100만 건을 검사하면 이론상 사람이 쓴 글 약 100건이 AI 작성으로 잘못 표시될 수 있다. 따라서 탐지 결과는 처벌을 자동화하는 판정기가 아니라 사람이 추가로 확인할 대상을 좁히는 신호로 사용하는 것이 적절하다.

출판·플랫폼에서 대량 스팸 걸러내기

출판사와 미디어는 투고 원고와 외부 기고문, 프리랜서 콘텐츠가 계약 조건에 맞게 작성됐는지 확인할 수 있다. AI 사용 자체를 금지하지 않더라도 작성자가 어느 부분에 AI를 사용했는지 공개하도록 요구하고, 미공개 자동 생성 콘텐츠를 선별하는 데 활용할 수 있다.

검색과 커뮤니티 플랫폼에서는 대량으로 생성되는 스팸과 저품질 게시물을 탐지하는 용도로 적용할 수 있다. 팽그램의 탐지 기술은 서브스택(Substack)과 쿼라(Quora)에서 콘텐츠 검토에 사용되고 있다.

플랫폼의 핵심 문제는 개별 문서의 작성자를 처벌하는 것보다 수천 개 계정이 AI로 생성한 글을 반복 게시해 추천과 검색 결과를 오염시키는 행위다. 탐지 점수를 계정 생성 시점과 게시 속도, 유사 문서, 신고 이력과 결합하면 자동 콘텐츠 농장이나 여론 조작 네트워크를 찾는 데 활용할 수 있다.

전자상거래 플랫폼도 상품 설명과 사용자 후기, 판매자 이미지를 검사할 수 있다. AI로 대량 생성한 가짜 후기나 실제 제품과 다른 합성 사진을 찾아 소비자 피해를 줄이는 용도다.

언론·광고·보험·채용으로 적용 확대

언론사는 제보받은 문서와 사진, 소셜미디어 게시물의 진위를 확인하는 보조 도구로 사용할 수 있다. 이미지 탐지기는 우선 검증할 사진을 분류하고, 역이미지 검색과 촬영 장소 확인, 메타데이터 분석, 정보원 인터뷰가 필요한 콘텐츠를 선별할 수 있다.

그러나 탐지기가 ‘실제 사진’으로 판단했다고 해서 사진의 맥락까지 사실이라는 뜻은 아니다. 과거에 촬영된 실제 사진을 현재 사건처럼 재사용하거나, 사진은 진짜지만 설명이 거짓인 경우는 생성형 이미지 탐지로 잡을 수 없다. 언론 분야에서는 팽그램 같은 사후 탐지 기술과 함께 이미지 생성·편집 이력을 암호화해 기록하는 C2PA 콘텐츠 출처 표준, 원본 파일과 촬영기기 검증을 병행해야 한다.

광고 플랫폼은 AI로 만든 인물이나 제품 이미지가 실제 소비자를 오인하게 하는지 심사할 수 있다. 금융과 건강, 정치 광고처럼 규제가 엄격한 분야에서는 생성형 AI 사용 여부를 표시하거나 추가 검토 대상으로 보내는 정책을 자동화할 수 있다.

채용 분야에서는 지원자가 제출한 자기소개서와 과제, 포트폴리오의 AI 사용 여부를 확인할 수 있다. 다만 글쓰기 보조 도구가 보편화된 상황에서 AI 사용 자체를 부정행위로 간주하기보다 회사가 허용한 범위와 지원자의 실제 역량을 별도로 평가해야 한다.

보험사는 사고 사진과 청구서 설명의 조작 가능성을 선별할 수 있다. 실제 차량 사진에 손상 부위를 합성하거나 AI로 사고 현장 이미지를 만들고, 청구 내용을 자동 생성하는 사기에 대응하는 용도다. 금융기관의 고객확인과 대출 심사에서도 위조 증빙을 추가 검토 대상으로 보내는 데 활용할 수 있다.

법정 증거로 쓰려면 설명 가능성과 검증 필요

팽그램은 이미지 탐지 모델의 적용 사례로 법정에 제출되는 사진 증거를 언급했다. 수사기관과 로펌, 법원은 사진이나 문서가 생성형 AI로 만들어졌거나 수정됐을 가능성을 확인하는 데 탐지 모델을 활용할 수 있다.

하지만 탐지 결과가 법정 증거로 인정되려면 단순한 확률 점수만으로는 부족하다. 사용한 모델의 버전과 평가 데이터, 오류율, 분석 과정, 원본 파일 보존 여부가 기록돼야 한다. 상대방이 결과를 재현하고 반박할 수 있는 절차도 필요하다.

모델이 업데이트될 때 같은 이미지에 다른 결과가 나올 가능성, 압축과 편집이 정확도에 미치는 영향도 설명해야 한다. 현재 연구용 프리뷰 단계인 팽그램의 이미지 탐지기는 증거의 진위를 최종 확정하기보다 디지털 포렌식 전문가가 추가 분석할 대상을 선별하는 도구에 가깝다.

900만 달러 투자로 텍스트에서 이미지까지 확장

이번 제품 출시는 팽그램이 멘로벤처스(Menlo Ventures) 주도로 유치한 900만 달러 투자 이후 이뤄졌다. 헤이스택(Haystack), 스코프벤처캐피털(ScOp Venture Capital), 스크립트캐피털(Script Capital), 카덴자(Cadenza)가 투자에 참여했다.

팽그램은 투자금을 텍스트 탐지 정확도를 높이고 이미지부터 다른 콘텐츠 형식으로 탐지 범위를 넓히는 데 사용하고 있다. 장기적으로 음성과 영상 등 여러 미디어를 하나의 시스템에서 검사하는 방향으로 제품을 확장할 계획이다.

팽그램은 스탠퍼드대학교 동창들이 설립했다. 회사는 수천 개 기업과 교육기관, 콘텐츠 플랫폼, 언론사 등이 탐지 시스템을 사용하고 있다고 밝혔지만 구체적인 유료 고객 수와 매출은 공개하지 않았다.

GPT제로·코파일릭스·리얼리티 디펜더와 경쟁

텍스트 탐지 시장에서는 GPT제로(GPTZero), 오리지널리티AI(Originality.ai), 턴잇인(Turnitin), 코파일릭스(Copyleaks)가 경쟁한다.

GPT제로와 턴잇인은 교육기관과 학생 과제 검사에 강점을 갖고 있다. 오리지널리티AI는 출판사와 SEO 콘텐츠 운영자를 주요 고객으로 삼으며 표절 검사와 AI 탐지를 함께 제공한다. 코파일릭스는 텍스트에 이어 이미지 탐지 기능까지 추가해 팽그램과 직접 경쟁하는 제품군을 갖췄다.

이미지와 영상, 음성까지 포함하는 딥페이크 탐지 시장에서는 리얼리티 디펜더(Reality Defender), 겟리얼(GetReal Security), 하이브(Hive), 핀드롭(Pindrop) 등이 경쟁한다.

리얼리티 디펜더와 겟리얼은 기업과 정부기관을 대상으로 이미지·영상·음성 조작을 탐지한다. 하이브는 플랫폼이 대량의 콘텐츠를 실시간으로 분류하도록 API를 제공한다. 핀드롭은 콜센터와 금융기관을 위한 음성 딥페이크 및 사기 탐지에 집중한다.

팽그램의 차별점은 텍스트 탐지에서 낮은 오탐률을 내세우며 이미지로 확장한다는 데 있다. 반면 리얼리티 디펜더와 겟리얼은 영상과 음성을 포함한 멀티모달 탐지 경험이 앞서고, 턴잇인과 GPT제로는 교육기관의 유통망을 확보했다.

탐지기 하나로 진위를 확정해서는 안 돼

시카고대학교 연구진이 여러 상용·오픈소스 탐지기를 비교한 연구에서는 팽그램이 중간 길이 이상의 글과 휴머나이저를 거친 콘텐츠에서 낮은 오탐과 미탐을 기록했다. 그러나 모든 언어와 짧은 글, 최신 생성 모델, 반복 편집된 콘텐츠에서도 같은 성능이 유지된다는 의미는 아니다.

생성 모델이 개선될 때마다 탐지 모델도 다시 학습해야 하는 구조는 공격자와 탐지 업체 사이의 끝없는 경쟁을 만든다. 사진을 압축하거나 문장을 여러 번 번역하는 간단한 변형만으로 결과가 달라질 수 있다.

콘텐츠의 신뢰성을 확보하려면 AI 탐지 점수와 함께 원본 파일, 작성·편집 이력, 계정 행동, 콘텐츠 출처 정보, 사람의 검토를 결합해야 한다. 생성 단계에서 출처를 기록하는 워터마크와 C2PA 같은 기술도 사후 탐지를 보완할 수 있다.

팽그램이 교육용 AI 글 탐지를 넘어 플랫폼과 언론, 광고, 금융, 보험, 법률 분야의 콘텐츠 진위 인프라로 성장하려면 실제 환경에서 이미지 모델의 오탐률을 입증하고, 결과가 나온 이유를 이용자가 검증할 수 있도록 해야 한다.