사이오닉에이아이, 한국어 검색 AI 공개 “글로벌 벤치마크 1위”

AI 기반 엔터프라이즈 솔루션 기업 사이오닉에이아이가 개발한 검색 임베딩 모델 ‘comsat-embed’가 한국어와 일본어 글로벌 검색 벤치마크에서 1위를 기록했다고 13일 밝혔다.

특정 평가 데이터의 성능만 끌어올린 것이 아니라 다양한 분야와 검색 환경으로 구성된 평가셋 전반에서 성능을 고르게 높였다는 점이 특징이다.

사이오닉에이아이의 한국어 검색 임베딩 모델 ‘comsat-embed-ko-8b-preview’는 MTEB 한국어 검색(Retrieval) 9개 데이터셋 평가에서 평균 NDCG@10 79.30을 기록하며 비교 모델 가운데 가장 높은 성능을 보였다. 알리바바의 ‘Qwen3-Embedding-8B’는 78.25점, 마이크로소프트의 27B 모델 ‘Harrier-OSS-v1-27B’는 76.69점을 기록했다. NDCG@10은 검색 결과 상위 10개가 실제 정답과 얼마나 관련성이 높고 적절한 순서로 배치됐는지를 평가하는 지표로, 100에 가까울수록 검색 성능이 높다.

일본어 모델에서도 높은 성능을 기록했다. 일본어 검색 성능을 측정하는 MTEB 일본어 검색(Retrieval)의 11개 데이터셋 평가에서 ‘comsat-embed-ja-8b-preview’는 평균 NDCG@10 81.33으로 비교 모델 가운데 가장 높은 성능을 기록했다. 3억 파라미터 규모의 경량 모델 ‘comsat-embed-ja-0.3b-preview’ 역시 77.85를 기록하며 4B 이하 비교 모델 가운데 1위를 차지했다.

사이오닉에이아이는 이런 결과의 배경으로 실제 검색 환경을 반영한 학습 데이터 구성을 꼽았다. 실제 검색에서는 사용자의 질문이 짧은 키워드일 수도, 여러 문단을 종합해야 하는 질문일 수도 있다. 검색 대상 문서 역시 짧은 문장부터 장문까지 다양하고, 정답이 문서 첫 부분이 아닌 중간이나 마지막에 위치할 수도 있다. 또 하나의 질문에 여러 문서가 답이 되거나, 하나의 문서가 여러 질문과 연결되는 경우도 존재한다.

이에 따라 사이오닉에이아이는 다양한 출처의 문서를 수집하고 문서에 맞는 여러 형태의 검색 질문을 합성했다. 정답이 등장하는 위치를 다양하게 구성하고, 질문과 문서의 관계 역시 기존의 단순한 1대1 방식이 아닌 1대다·다대1 구조로 학습시켰다. 여기에 정답과 의미적으로 비슷하지만 실제 정답은 아닌 문서를 찾아 학습하는 하드 네거티브 마이닝(Hard Negative Mining)과 성능이 높은 교사 모델의 검색 순위를 학습하는 지식 증류 방식(Knowledge Distillation)을 적용했다.

결과적으로 사이오닉에이아이가 목표로 한 것은 특정 벤치마크에서 높은 점수를 받는 모델이 아니라, 데이터의 언어나 분야, 질문 방식이 달라져도 필요한 문서를 정확하게 찾는 검색 모델이다. 공개 평가의 특정 데이터셋에서 얻은 큰 폭의 성능 향상으로 다른 데이터셋의 하락을 상쇄하는 대신, 평가셋 전체적으로 고른 개선을 확인했다는 점을 근거로 내세웠다.

사이오닉에이아이는 이를 ‘EUREKA(Extremely Universal Robust Embedding for Knowledge Access)’ 프로젝트의 일환으로 개발하고 있다. 언어와 도메인, 질문 형태가 달라져도 안정적으로 필요한 지식을 검색할 수 있는 범용 임베딩 모델을 만드는 것이 목표다. 한국어와 일본어 comsat-embed 모델은 현재 허깅페이스에 preview 버전으로 공개돼 있다.

사이오닉에이아이는 지난해 11월 250억원 규모의 시리즈A 투자를 유치하며 누적 투자금 300억원 이상을 달성한 바 있다. 회사는 AI 기반 엔터프라이즈 솔루션을 제공하며 다양한 언어와 도메인에서 안정적인 검색 성능을 목표로 기술 개발을 지속하고 있다.