‘독파모’ 2차 평가 세부 결과 공개…SKT 종합 1위-벤치마크는 모티프 1위

과학기술정보통신부가 추진하는 ‘독자 AI 파운데이션 모델‘ 프로젝트(이하 독파모)의 2차 단계평가 세부 결과가 27일 공개됐다.

모티프테크놀로지스(이하 모티프)가 입장문을 통해 세부 평가 결과 공개를 요청하고 다른 정예팀들이 동의하면서 전체 점수가 투명하게 공개됐다.

독파모 사업 측은 평가 결과 공개에 따른 기업들의 예기치 않은 피해를 최소화하는 한편 평가의 공정성과 투명성도 균형 있게 고려해 결과 공개 범위에 신중을 기해왔다고 설명했다. 지난 27일 모티프테크놀로지스(이하 모티프)가 입장문을 통해 세부 평가 결과 공개를 요청했고, 다른 정예팀들도 동의하면서 2차 단계평가 세부 점수를 공개하게 됐다고 밝혔다.

종합 점수는 SK텔레콤70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순으로 집계됐다. SK텔레콤이 종합 1위를 차지했지만, 벤치마크 평가에서는 모티프가 24.6점으로 가장 높은 점수를 기록하며 최고 성능을 입증했다.

독파모 사업 측은 평가 결과 공개에 따른 기업들의 예기치 않은 피해를 최소화하는 한편 평가의 공정성과 투명성도 균형 있게 고려해 결과 공개 범위에 신중을 기해왔다고 설명했다. 과학기술정보통신부는 빠르게 진화하는 AI 기술 상황을 고려해 6개월마다 AI모델 개발 목표치를 변경하는 ‘무빙타겟’ 방식으로 독파모를 운영하고 있으며, 단계평가 기준과 방식도 매 차수마다 정예팀과의 협의를 거쳐 마련하고 있다.

이번 2차 단계평가는 벤치마크 평가(AAII·NIA), 전문가 평가, 사용자 평가(AI 전문 사용자진·일반국민)를 병행해 진행됐다.

AAII(Artificial Analysis Intelligence Index) 벤치마크 평가는 AA(Artificial Analysis)가 지난 6월 말 공표한 기준으로 직접 도출한 결과를 25점 만점으로 환산해 반영했다. 모티프가 11.9점으로 1위, 업스테이지가 9.4점으로 2위, SK텔레콤이 8.8점으로 3위, LG AI연구원이 7.8점으로 4위를 기록했다.

한국지능정보사회진흥원(NIA) 벤치마크는 수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등 7개 분야 데이터셋으로 NIA가 평가 결과를 도출해 15점 만점으로 환산했다. SK텔레콤이 13.4점으로 1위, 업스테이지가 13.3점으로 2위, LG AI연구원이 12.8점으로 3위, 모티프가 12.7점으로 4위를 차지했다.

전문가 평가는 산업계 3명, 학계 5명, 연구계 2명으로 구성된 평가위원회가 정예팀 제출 서류를 바탕으로 약 5일간 서면평가와 QnA를 병행해 진행했다. 개발 전략 및 기술(10점), 개발 성과 및 계획(10점), 파급효과 및 기여계획(15점)을 기준으로 위원별 최고·최저 점수를 제외한 평균을 산출한 결과 LG AI연구원이 29.5점으로 1위, SK텔레콤이 29.3점으로 2위, 업스테이지가 29.1점으로 3위, 모티프가 27.1점으로 4위를 기록했다.

AI 전문 사용자진 평가는 AI 스타트업 대표 등 실제 AI 개발 과정에서 폭넓게 AI모델을 사용해본 전문가 50명 중 이해충돌 확인을 거친 49명이 참여했다. 각 팀의 AI 서비스를 1~5점으로 평가해 15점 만점으로 환산한 결과 SK텔레콤이 11.6점으로 1위, LG AI연구원이 11.3점으로 2위, 업스테이지가 10.8점으로 3위, 모티프가 8.4점으로 4위를 기록했다.

일반 국민 평가는 성별·연령별 쿼터를 적용해 무작위로 선정된 200명 중 185명이 참여했다. 1~5점 평가를 10점 만점으로 환산한 결과 LG AI연구원이 7.6점으로 1위, SK텔레콤이 7.5점으로 2위, 업스테이지가 7.3점으로 3위, 모티프가 5.7점으로 4위를 기록했다.

세부적으로 벤치마크 평가(AAII+NIA 합산)에서는 모티프가 24.6점으로 가장 높았고 업스테이지 22.7점, SK텔레콤 22.2점, LG AI연구원 20.6점 순이었다. 사용자 평가(전문 사용자진+일반국민 합산)에서는 SK텔레콤이 19.1점으로 가장 높았다.

독파모 사업 측은 이번 결과 공개 이후에도 참여 기업들이 단순한 점수나 순위로 평가받기보다 보유한 저력과 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하고, 국내 AI 생태계가 새롭고 경쟁력 있는 기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다고 밝혔다.

모티프는 앞서 26일 독파모 사업 2차 단계 선정 결과에 대해 이의 제기를 신청했으며, 지난 5월에는 나이스투자파트너스와 노틸러스인베스트먼트가 주도한 240억 원 규모 시리즈B 투자를 유치하며 AI 모델 개발에 박차를 가해왔다. 국내 AI 기업들은 정부 독파모 프로젝트를 통해 독자 AI 기술 확보에 나서고 있으며, GTGO가 글로벌 TIPS에 선정되고 뤼튼테크놀로지스가 1,000억 원 시리즈C를 유치하는 등 AI 산업 전반에서 활발한 투자와 기술 개발이 이어지고 있다.