내 시험 감독관은 AI?...부정행위 정확히 잡아낼까

내 시험 감독관은 AI?...부정행위 정확히 잡아낼까: 고다솔 / 기사승인 : 2021-02-02 12:06:54

작년부터 전 세계를 지독하게 괴롭히는 코로나19 때문에 의도치 않게 비대면이 대세가 되었다. 우리의 일상 속 여러 부문에서 비대면의 수요가 증가하면서 직장 업무는 물론이고 공교육 현장의 수업까지 모두 온라인으로 장소를 옮겼다. 비대면 추세와 급속한 디지털화가 결합해, 이제는 업무와 수업을 넘어 시험까지도 모두 인공지능(AI)을 바탕으로 비대면화되고 있다.

대학 시험·취업 필기시험에 등장한 AI
지난해 11월 21일에 실시된 NHN이 기술 부문 신입사원 공개채용 시험이 언론의 주목을 받았다. 취업난 때문에 경쟁률이 급격히 증가해서인가? 아니다. NHN의 시험 감독관 때문이다. 혹시, 시험 감독관이 시험 도중 문제가 될 행위를 한 것인가? 그것도 아니다. NHN의 공개채용 시험이 주목받은 이유는 인간 대신 AI가 시험 감독을 했기 때문이다.

당시 NHN의 시험은 온라인으로 이루어졌으며, AI가 원격 카메라로 시험 응시자의 표정과 움직임, 음성 등을 감시하고 실시간으로 분석해, 부정행위 발생 여부를 판단했다. 국내에서 AI 시험 감독관이 등장한 사례는 NHN의 신입사원 공개채용 시험이 처음이 아니다.

지난해 6월, 전국의 토익스피킹 시험장에도 AI 감독관이 등장했다. 토익스피킹 시험 주최측인 YBM홀딩스 산하 YBM한국TOEIC위원회와 AI 시험 감독 소프트웨어 제공 업체인 네이버와의 협력 이후 등장한 것이다. 시험 응시자의 수험표 사진과 얼굴을 대조하는 작업부터 시험 시간 내내 부정행위를 감시하는 행위까지 모두 인간이 아닌 AI가 수행했다.

YBM 측은 6월에 열린 토익스피킹 시험에 일회성으로 AI를 사용하는 데 그치지 않고, 향후 진행될 여러 시험에도 AI 감독 시스템을 적용할 계획이라고 밝혔다.

이후, 네이버는 부산대학교 치의학전문대학원에도 비대면 평가기술 공동 연구 개발 협약을 체결하고, AI 시험 감독 시스템을 제공했다.

그렇다면, 해외의 사례는 어떨까? 해외에서도 인간 대신 AI가 시험 감독을 하는 사례는 물론이고, 학생의 시험 등급을 대신 평가하는 사례까지 어렵지 않게 찾아볼 수 있다.

미국에서는 온라인 강의 때문에 각종 시험도 온라인으로 이루어지자, 여러 대학에서 AI 감독관을 도입했다. 글로벌 월간지 와이어드 보도에 따르면, 인디애나대학교는 학생의 웹캠으로 AI가 학생의 움직임, 그리고 눈동자 움직임까지 모두 세밀하게 관찰했다. 그리고, 부정행위 의심 행동을 적발하면, 즉시 모니터 화면에 부정행위 경고 메시지를 띄웠다.

게다가 인터넷 검색으로 시험 문제의 답을 찾는 것을 막기 위해 시험 시간 내내 시험 응시생의 PC에 잠금 설정을 하고, 시험 화면 창만 띄우도록 했다. 온라인 시험을 응시하는 학생 30% 이상이 부정행위를 저지른다는 연구 결과 때문에 이를 예방하기 위해 택한 조치이다.

지난해 8월, 영국에서는 코로나19 때문에 고교생 졸업 시험 일정이 취소되자, 영국 정부 당국이 알고리즘을 이용해 학생의 점수를 평가하며 시험을 대체했다. 정부의 설명에 따르면, 이 과정에서 학생의 기존 데이터를 알고리즘의 등급 평가 기준으로 삼았다.

AI 시험 감독·평가, 거센 반발 직면...왜?
AI의 시험 감독 및 시험 평가에 대한 반응은 어떨까? 부정적인 반응이 지배적이다. 우선, 웹캠 너머로 AI의 감시를 받은 시험 응시생 다수가 불만의 목소리를 냈다. 실제로 영미권 주요 온라인 커뮤니티인 레딧(Reddit)에는 AI 시험 감독 때문에 불편하다는 글이 다수 게재됐다.

부정행위라고 볼만한 움직임이 없었는데도 시험 중간에 느닷없이 부정행위 경고 메시지를 받은 사례가 적지 않기 때문이다. 이 때문에 일부 학생은 "시험 도중 억울하게 부정행위 경고를 받을 것을 우려해, 시험 시간 내내 움직임과 눈의 깜빡임 등 모든 행동을 하나하나 의식하면서 시험을 치르느라 불편했다"라고 말한다.

게다가 시험 도중 노트북에 장착된 웹캠 화면에 함께 거주하는 룸메이트나 가족의 모습이 우연히 잠깐 등장해도 부정행위로 인식하는 사례도 있는 것으로 확인됐다.

영국에서는 대학 입시에도 활용할 수 있는 고교 졸업 시험 대신 알고리즘이 학생의 성적을 평가한 뒤, 수많은 학생이 시위를 벌였다. 알고리즘이 평가 과정에서 학생의 가정 형편에 따라 차별했다는 논란이 제기됐기 때문이다.

실제로 알고리즘이 평가한 등급을 분석한 결과, 부유한 지역의 학교에 재학 중인 학생일수록 우수한 성적을, 반대로 저소득층 학생은 실제 평소 학업 성적보다 낮은 학점을 받았다. 일부 지역에서는 학생 40%가 교사의 예측보다 낮은 등급을 받은 것으로 확인됐다.

위의 두 가지 사례에서 더 우려되는 사항은 AI의 오류 때문에 발생한 피해를 구제할 대책이 없었다는 사실이다. 과거, 의료 진단 알고리즘, 안면 인식 기술 등 여러 기술이 편견과 차별 문제를 낳은 선례를 고려했다면, AI 시험 감독과 평가에서도 비슷한 문제가 발생할 가능성을 사전에 쉽게 인지하고 대책을 미리 마련했어야 하는 것이 마땅하다.

한편, 국내에서는 AI 시험 감독과 평가 시스템 때문에 시험 응시생이 부당하게 불이익을 받는 사례가 발생하지 않았다. NHN 관계자가 올해 상반기에 상용화된 AI 시험 감독 시스템을 출시할 계획이라고 밝힌 것으로 미루어 보아, 앞으로 국내 여러 시험장에서 AI 시험 감독 적용 사례가 증가할 것으로 보인다.

따라서 국내에도 AI 시험 감독관이 추가로 도입되기 전, 하루 빨리 AI의 오류로 억울하게 불이익을 받은 시험 응시자를 구제할 적절한 대책 마련이 필요하다.