AI튜터 솔루션 기업 뤼이드는 자사의 AI 연구진이 제출한 모바일 학습 환경에서의 학습 이탈 예측에 대한 논문(논문명: Deep Attentive Study Session Dropout Prediction in Mobile Learning Environment)이 국제 최고 권위의 에듀테크 학회인 CSEDU 정규 세션에 채택됐다고 24일 밝혔다.
뤼이드는 이번 논문을 통해 상대적으로 짧은 세션 단위의 모바일 학습 환경에서 학습자 이탈의 문제점을 정의하고, 심층 계산으로 학습자의 다양한 학습 행동간의 유의미한 관계를 발견하여 이탈률을 정확히 예측하는 딥러닝 트랜스포머 기반 예측 모델 DAS(Deep Attentive Study Session Dropout Prediction)를 제안했다. 또한 수차례의 실험을 바탕으로 이탈 예측 정확도를 높이기 위한 최적의 변인 조합 및 분석 데이터 셋을 제시했다.
특히 이번 논문은 모바일 학습 환경에서의 이탈률 예측에 대한 세계 최초의 연구로서 큰 의미를 갖는다. 디지털화를 바탕으로 교육분야의 모바일 전환이 빠르게 이루어지고 있지만, 동시에 모바일 학습의 경우 학습을 방해하는 외부 변수에 대한 통제가 어렵다는 점이 한계로 인식되어 왔다. 뤼이드는 이를 딥러닝 기술로 극복할 수 있는 방안을 연구, 해당 성과를 통해 학습자 개개인의 이탈률까지 고려하여 학습 효과를 극대화하는 동선을 제공할 수 있게 됐다. 실제로 지금까지의 학습 이탈에 대한 국내외 연구는 모두 학교중퇴, 수강철회 등 학습 기간이 비교적 긴 오프라인 환경을 전제로 한 연구가 전부였다.
이번 연구에서는 뤼이드가 올해 초 공개한 학습 데이터베이스 ‘에드넷(EdNet: github.com/riiid/ednet)’에 등록된 데이터셋 중 약 21만명의 1,380만건 학습행동 데이터가 활용됐다. 이를 예측 모델에 학습시켜고 각각의 변인을 조합한 다양한 실험을 진행하여 결과를 도출했다.
논문에 따르면 최고 정확도의 이탈률 예측을 위해 필요한 최적의 과거 문제풀이 데이터 수(Sequence Size)는 5개 이며 주요 변인은 ‘문제번호’, ‘학습파트’, ‘시작시간’, ‘해당문제의 순번’ , ‘세션에서의 순번’, ‘정오답’, ‘경과시간’, ‘정시응답’, ‘이탈여부’의 9개의 조합이다. 이러한 요소를 바탕으로 예측모델 DAS 기반 이탈률을 예측한 결과 벤치마크 모델인 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 대비 AUC(Area Under Curve) 기준 최대 12.2% 높은 예측 정확도를 보였다.
뤼이드의 이번 연구 결과는 현재 자사의 AI 엔진인 ‘산타인사이드’에 적용되어 있다. AI토익 튜터 ‘산타’의 문제 추천 알고리즘에 반영되었으며, 앞으로 출시 예정인 SAT, ACT 제품에도 적용 예정이다. 즉, 학습 후 예측 점수 상승폭이 동일한 문제가 있는 경우 이탈율이 낮은 문제를 추천하여 지속적인 학습을 유도하는 것이다.
이번 논문의 제1저자인 뤼이드 이영남 연구원은 “단독으로 진행한 연구가 AI교육 부문 권위있는 국제 학회에 정규 논문으로 채택되어 기쁘다” 며 “뤼이드는 NLP(자연어처리) 연구에 주로 사용되는 딥러닝 아키텍처 트랜스포머를 이용해 정오답 및 점수 예측 등 다양한 교육 분야의 과제들을 해결하고 있으며, 그 과정에서 교육 도메인에 적합한 아키텍처 변형과 학습 노하우를 축적시켜왔다. 세션 이탈 연구도 이러한 다양한 시도와 노력들이 성과로 이어진 것”이라고 설명했다.
뤼이드 장영준 대표는 “이번 연구는 뤼이드가 교육 인공지능 스타트업으로서 ‘AI 교육’ 영역의 문제를 뾰족하고 깊이있게 해결하고 제품에 적용할 수 있는 실질적인 연구 성과를 증명했다는 점에서 의미가 있다”라고 말했다. 또한 “앞으로도 교육 AI 분야의 이론적인 연구는 물론 다양한 산업내의 실질적 연구도 지속해 나감으로써 강력한 기술 리더십을 구축해 나갈 것”이라고 덧붙였다.
한편 이번 연구는 정규 채택 논문 중에서도 가장 높이 평가되는 오랄 (Oral, 구두 발표)세션에 초대됐다. 뤼이드 연구진은 오는 5월 체코 프라하에서 개최되는 CSEDU2020 컨퍼런스에서 해당 연구 내용을 발표할 예정이다.
