CWN(CHANGE WITH NEWS) - AI, 문맥상 자연스러운 글쓰기 실력은 몇 점?

4차 산업 혁명의 핵심 기술을 이야기할 때, 절대로 빠지지 않는 인공지능이 갈수록 똑똑해지고 있다. 수술실에서 환자의 수술을 돕고, 바둑이나 체스 게임에서 인간을 이기기도 한다. 심지어 글쓰기 실력도 제법 훌륭하다. 다재다능한 인공지능이 못 하는 것이 있을까?

최근, 미국 컴퓨터 과학자 집단으로 구성된 어느 한 연구팀이 인공지능이 못 하는 것을 발견했다. 인공지능이 못하는 것은 무엇일까?

'이것'만큼은 인간이 인공지능보다 한 수 위!
영국 온라인 매체 더레지스터는 미국 서던캘리포니아대학교와 워싱턴대학교, 알렌 인공지능 연구소(Allen Institute for Artificial Intelligence)의 컴퓨터 과학 전문가들로 구성된 연구팀의 연구 내용을 인용, 인공지능이 글의 문맥을 맞추는 능력은 인간보다 뒤처졌다고 보도했다.

연구팀은 연구 과정에서 명사와 동사 단어 몇 개만 제시하고 인공지능에게 작문을 하도록 명령했다. 인공지능이 작성한 문장 자체는 논리적인 부분에서 이상이 없었다. 그러나 단어의 문맥적 의미에 부적절한 문장을 작성했다.

이번 연구에 참여한 서던캘리포니아대학교의 박사 과정을 이수 중인 학생 유첸 린(Yuchen Lin)은 "연구 논문의 인공지능 모델은 단어의 문맥상 의미를 제대로 파악하지 못했다"라고 말했다.

인공지능의 작문 정확도는?
연구진은 인간이 작성한 문장 7만 7,449개를 이용한 총 3만 5,141개의 시나리오로 데이터세트를 제작했다. 그리고, 8가지 언어 모델이 문맥적으로 얼마나 정확한 문장을 작성하는지 평가했다.

평가 결과, 작문 실력이 가장 뛰어난 인공지능은 시카고대학교에서 개발한 인공지능 'KG-BART'인 것으로 확인됐다. KG-BART의 문맥적 의미에 적합한 작문 정확도는 32.7%였다. 구글이 개발한 인공지능 T5-베이스 모델의 작문 정확도는 22%였다.

또, 모든 머신러닝 시스템의 문맥상 자연스러운 문장 구사 정확도는 63.5%로, 인간보다 낮은 것으로 확인됐다.

이에, 연구진은 인공지능 모델이 문맥적 의미를 파악하지 못한다면, 음성비서를 사용하는 앱이나 로봇이 인간과 소통하는 과정에서 실수할 확률이 높다고 지적했다.

또, 뉴럴 네트워크도 합리적인 업무를 수행하는 데 종종 실수할 가능성이 높다. 단순히 입력된 데이터세트를 기억하고, 실제 언어의 의미를 이해하지 못한 상태에서 업무를 처리하기 때문이다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]