AI All

미디어그룹사람과숲, 허깅페이스 ‘오픈 LLM 리더보드’서 1위

2023-12-29 < 1 min read

author:

미디어그룹사람과숲, 허깅페이스 ‘오픈 LLM 리더보드’서 1위

Reading Time: < 1 minute

미디어그룹사람과숲(이하 사람과숲)은 마커와 공동 개발한 모델이 전 세계 쟁쟁한 글로벌기업들이 경쟁하는 허깅페이스오픈 LLM 리더보드’에서 평균 74.4점을 획득하며 최고성능으로 1위를 차지했다고 29일 밝혔다.

‘오픈 LLM 리더보드’에서 1위를 차지한 사람과숲의 ‘Sakura-SOLAR-Instruct’ 모델은 ‘SOLAR-10.7b-Instruct-v1.0’과 ‘SauerkrautLM-SOLAR-Instruct’ 두 가지 SOLAR 기반 모델을 Merge(Slerp)하고 DPO(directly preference optmization)를 적용, 파인튜닝해 개발된 모델이다.

허깅페이스의 ‘오픈 LLM 리더보드’는 전 세계 수백개의 오픈소스 모델들이 추론과 상식능력, 언어 이해 종합능력 및 환각현상 방지 등 여러 지표의 평균점수로 평가해 순위를 매긴다. ‘Sakura-SOLAR-Instruct’ 모델이 획득한 점수는 74.4점으로, 이는 OpenAI가 개발한 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가점수 71.9점을 훌쩍 뛰어넘는 점수다.

사람과숲은 한국정보화진흥원(NIA)과 업스테이지가 주관하는 ‘오픈 Ko-LLM 리더보드’에서 올해 9월 리더보드 오픈 시부터 12월까지 1위 자리를 지킨 바 있다.

사람과숲 측은‘ “오픈 Ko-LLM 리더보드’ 개최 이후 대부분의 기간 동안 1위를 석권했던 한국형 LLM 모델 연구개발 경력이 큰 도움이 됐다”며 “특히 두 모델 간의 대답 분포도를 비교해 사용자가 원하는 대답으로 분포를 맞추는 DPO에 관련한 노하우가 원동력이 돼 ‘오픈 LLM 리더보드 1위’라는 값진 성과를 낳았다”고 밝혔다.

한윤기 사람과숲 대표는 “먼저 국내 1위에서 세계 1위까지 이어진 LLM 개발 여정에 밤낮으로 고생한 개발자들에게 이 영광을 돌린다”며 “사회적 가치 실현에 기업이 앞장서야 한다고 생각한다. AI와 같은 가장 앞선 기술의 수혜가 사회적 약자에게 돌아가는 구조가 만들어져 사회적 약자가 기술 개발에 적극적으로 참여하고, 그 열매를 다시 사회적 약자에게 돌려놓는 선순환 구조를 만들어 동반성장의 새로운 방향을 만들고 싶다”고 밝혔다.

[생성(Generative) AI 소식 전체보기]



스타트업 소식을 전하는 외우테일 편집장
Leave a comment

댓글 남기기