AI All edutech

뤼이드, “점수예측 정확도 높을수록 참여도 향상” 효과 검증.. EDM 정식 논문 채택

2020-06-01 2 min read

뤼이드, “점수예측 정확도 높을수록 참여도 향상” 효과 검증.. EDM 정식 논문 채택

Reading Time: 2 minutes

에듀테크 스타트업인 뤼이드는 자사 AI 연구진이 제출한 딥러닝 기반 점수예측 모델의 학습 참여도 향상효과 검증에 대한 논문 (논문명: Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement)이 국제 최고 권위의 교육 인공지능 학회인 EDM에 정식 논문으로 채택됐다고 1일 밝혔다.

EDM(Educational Data Mining)은 효과적인 학습 환경을 제공하기 위한 머신러닝 및 데이터 과학 기반 연구를 선도하는 세계적 권위의 교육 인공지능 학회다. 올해 행사는 ‘학습자의 학습 성과 개선’이라는 주제로 오는 7월에 온라인으로 개최된다. 

뤼이드는 이번 논문을 통해 자사의 AI 토익 튜터 ‘산타’에서 두 가지 점수 예측 모델에 대한 AB테스트를 진행한 결과, 더 높은 정확도의 딥러닝 점수예측 모델 적용시 사용자의 학습 참여도가 높아지고, 결과적으로 비즈니스의 성장을 견인한다는 것을 밝혀냈다.

논문에 따르면 뤼이드 연구진은 지난 1월 한 달간, 자사 AI튜터 플랫폼인 ‘산타’ 유저 중 78,000명을 대상으로 AB테스트를 진행했다. 그룹을 나눠 한 그룹은 자체 연구 개발한 딥러닝 점수예측 모델을, 다른 그룹은 기존 점수 예측 모델을 적용했고 대상자들이 문제를 풀 때마다 실시간으로 자신의 예상 점수를 확인할 수 있도록 했다.  

실험 결과, 점수예측 정확도가 높은 딥러닝 모델의 실험군이 기존 모델을 적용한 실험군 보다  학습참여도를 보여주는 총 6가지의 지표에서 일관되게 높은 수치를 보였다. ‘진단고사 완료율’, ‘서비스 가입률’, ‘서비스 가입 후 문제풀이 수’는 각각 1.49%, 3.29%, 13.48% 더 높았으며, 보다 적극적인 학습 참여도 측정 지표인 ‘결제 전환율’, ‘사용자당 평균 매출’, ‘전체 매출’에서도 각각 15.19%, 14.13%, 13.98% 더 높은 수치를 기록했다.

특히 이번 실험에 적용된 딥러닝 점수예측 모델은 뤼이드가 자체 연구 개발한 트랜스포머 기반의 ‘어세스먼트 모델링’으로 구현한 새로운 점수 예측 모델이다. 정확한 점수 예측에 필요한 실제 시험점수 데이터의 부족을 해결하기 위해 뤼이드 연구진은 학습 플랫폼에서 생성되는 유저의 문제풀이 데이터를 모델에 예비학습(pre-train)시키고 이를 점수 예측에 맞게 정교화(fine-tune)하는 기술을 제안한 바 있다. 이 기술을 적용한 점수예측 모델은 기존 모델 대비 MAE(Mean Absolute Error)기준  36.8%높은 예측 정확도를 보인다.     

논문의 제1저자인 이영남 연구원은 “딥러닝을 연구하는 AI 연구원들도 이 기술을 어느 분야에 적용하여 어떻게 임팩트를 만들어낼 것인지에 대한 구체적인 답을 하긴 매우 어려운데,  뤼이드에서는 기술 연구와 실제 서비스 운영이 매우 밀접하고 유기적으로 기능하기 때문에 이번 연구가 가능했던 것”이라고 말했다. 또한 “이번 연구는 딥러닝을 실제 고객 서비스에 직접 적용하고 이를 통한 소비자 행동변화 및 비즈니스 영향력을 확인한 몇 안되는 사례 연구”라고 덧붙였다.  

뤼이드 장영준 대표는 “딥러닝 기술의 실질적인 효과 검증없이 시장을 설득하는 것은  분명 한계가 있다”며 “뤼이드는 앞으로도 산업적 파급력을 기반으로 AI를 연구하고 빠른 상용화를 통해  기술의 실제 효과를 증명하면서 학계 및 산업계 모두가 주목하는 새로운 사례들을 만들어 나갈 것”이라고 말했다.  

뤼이드는 연구를 통해 학습참여도 상승효과가 검증된 딥러닝 기반 점수예측 모델을 AI 토익튜터 ‘산타’에 전면적으로 적용하고 사용자의 학습행동 변화 및 학습효과를 지속적으로 모니터링 하고 있다. 

한편 뤼이드는 글로벌 최초로 모바일 학습 환경에서 학습 이탈 확률을 예측하는 딥러닝 기술로 지난 2월 세계적인 에듀테크 학회인 CSEDU에 논문을 등재한 바 있고, 작년 6월에 200억원을 투자받는 등 누적 350억원을 투자받은 바 있다.

[에듀테크(Edutech) 스타트업 소식 전체보기]

[인공지능(AI) 스타트업 소식 전체보기]

투자자와 창업팀의 간극을 메울 수 있는 컨텐츠에 관심이 많은 초기 스타트업 투자자이자 와우테일(wowtale) 기자입니다. Linkedin Facebook투자실적
Leave a comment

댓글 남기기