[책 감상/책 추천] 아라이 노리코, <대학에 가는 AI VS 교과서를 못 읽는 아이들>

[책 감상/책 추천] 아라이 노리코, <대학에 가는 AI VS 교과서를 못 읽는 아이들>

 

 

그렇지 않아도 읽고 싶은 책이었는데, 리디 셀렉트에 있길래 바로 다운 받아서 읽어 보았다.

자세한 기술적인 이야기는 내가 100% 이해하지 못했을 수 있지만, 그래도 요지는 알겠다. "AI 기술이 발전하는 지금 이 시대에, AI와 인간을 가르는 핵심 역량인 '독해력'을 기르지 못하면 AI의 발전으로 대체될 인력들이 너무 많다." 대략 이런 것이다.

 

저자는 AI, 즉 인공 지능을 구현하기 위한 기술을 탑재한 로봇이 과연 대학에 갈 수 있을까 하는 의문을 가지고 실험을 시작했다.

'도로보군'이라는 로봇의 AI 기술에, 센터 시험, 그러니까 일본의 수능에 해당하는 시험을 위한 온갖 기출 문제와 예상 문제를 '딥 러닝' 데이터로 활용함으로써 도로보군이 대학교에 합격할 수 있을 정도의 점수를 받게 만들려고 시도한 것이다.

그 결과, 도로보군은 일본의 명문대인 도쿄대까지는 아니어도 그아래 단계, 그러니까 중상위권 대학에 합격할 정도의 점수를 받게 만들 수 있었다.

그러나 이것은 오직 책의 내용의 절반, 아니 25%에 불과하다. 나머지는 책의 제목처럼, "교과서를 못 읽는 아이들"에 대한 것이다.

 

인터넷을 좀 하는 분들이라면 짤로도 많이 돌아다닐 그 영상을 한 번쯤 보셨을 것이다.

'Alexandra'와 'Alexander'라는 이름의 애칭으로 자주 쓰이는 'Alex'란 이름에 대한 짧은 글로 독해력 테스를 한 영상 말이다.

바로 이 문제!

"중고등학생 70%만 맞혔다는(참고로 정답을 정확히 대답했다는 뜻이므로 '맞췄다'가 아닌 '맞혔다'가 맞는 표현이다) 국어 문제.jpg" 뭐 이런 제목으로 돌아다니고 있는데, 사실 이 문제는 이 책의 저자가 일본 중고등학생의 독해력을 평가하기 위해 만든 RST(Reading Skill Test)라는 시험에 나온 문제 중 하나이다.

이 시험은 AI가 해결하지 못하는 중요 분야인 '추론(문장의 구조를 이해한 다음 생활 속의 경험이나 상식, 여러 가지 지식 등을 총동원해 문장의 의미를 파악하는 능력)', '이미지 동정(同定, 제시된 도형이나 그래프를 문장과 비교해서 내용이 일치하는지 아닌지를 인식하는 능력)', '구체예 동정(정의를 읽고 그것과 합치하는 구체적인 예를 인식하는 능력)'을 시험한다.

이 세 가지는 "의미를 이해하지 않는 AI가 절대 넘을 수 없는 벽"이기 때문에 시험의 기준을 이렇게 잡은 것이다.

또한 문제는 교과서와 신문을 이용해서 개발됐는데, "내용을 이해하지 못하면 본인이 손해를 보게 되는 종류의 소재로부터 문제를 낸다는 것을 기본 방침으로 정했기 때문"이다. 교과서와 신문은 그 대표적인 예이다.

즉, 정말 살면서 필요한 아주 기초적이고, 인간과 AI가 구분되는 독해력을 파악하기 위해 만들어진 것이 RST이다.

 

위에서 언급된 'Alex' 이외에 자세한 예시는 책을 통해 확인해 보시고, 여기에서는 그보다 중요한 문제에 집중해 보자. 

이 'Alex' 문제는 놀랍게도 (이 테스트에 응시한 일본 중고등학생의) 정답률이 50%에 불과했다.

RST의 문제는 전부 객관식이므로, 연필을 굴려도 25%의 정답류은 나오게 돼 있다. 그런데도 불구하고 중학교 1학년생의 정답률이 23%밖에 되지 않았다. 무작위로 찍은 수준에도 미치지 못했다는 뜻이다.

저자는 이렇게 분석한다.

(...) 즉, "Alexandra의 애칭은 여성이다"라고 정답이라고 생각한 학생이 의외로 많았다. 어째서일까? 아마도 '애칭'이라는 말을 모르기 때문일 것이다. 그리고 모르는 단어가 나오면 그것을 건너뛰고 읽는 습관이 있기 때문일 것이다. "Alexandra는 여성이다"는 일단 문장으로서 성립한다.

이 외에도 의존 구조 문제 문제의 정답률은 중학생이 70%에 조금 못 미치는 정도이고, 고등학생이 80% 정도라고 한다.

다른 유형의 문제도 정답률이 높지는 않다. 예를 들어, AI가 유독 어려워하는 '동의문 판정(두 문장을 일곡 비교해서 의미가 같은지 다른지를 판정하는 것)'의 문제를 보자.

문제 3 ｜ 다음 문장을 읽으시오.
1639년 막부는 포르투갈인을 추방하고 다이묘에게 연안의 경비를 명령했다.

위의 문장이 나타내는 내용과 아래의 문장이 나타내는 내용은 같은가? '같다', '다르다' 중에서 대답하시오.
1639년 포르투갈인은 추방되었고 막부는 다이묘에게서 연안의 경비를 명령받았다.

'막부'나 '다이묘' 같은 일본 역사적인 내용은 그냥 고유 명사로 두고 의미는 모르는 채 풀어도 단어 매칭 수준에서 쉽게 풀 수 있는 문제다.

답은 당연히 '다르다'이다. 이것은 AI에게 상당히 어려운 문제인데, 두 문장에 등장하는 단어가 거의 같기 때문이다.

그렇지만 인간이 AI보다 우수하다고 기뻐하기는 어렵다. 왜냐하면 (일본) 중학생의 정답률이 57퍼센트에 그쳤기 때문이다.

저자는 이 충격을 이렇게 묘사한다.

나는 이 결과를 보고 할 말을 잃었다. 그러나 충격은 여기에서 끝나지 않았다. 이 사실을 알리자 어느 신문사의 기자가 "정답률이 57퍼센트인 게 무슨 문제라도 되나요?"라고 물었다. "100점 만점에 57점이면 평균점으로는 나쁘지 않은 것 같은데요"라면서 말이다.
동의문 판정 문제는 '같다'와 '다르다'의 양자택일이므로 동전을 던져서 찍어도 50퍼센트를 맞힐 수 있다. 다시 말해, 이 문제에 대한 중학생의 정답률이 동전 던지기 수준이라는 것이다. 이것이 심각한 일인지 아닌지를 스스로 판단하지 못하는 기자가 신문 기사를 쓰고 있다는 사실에 나는 정신이 아득해질 수밖에 없었다. 이 정도로 통계나 확률의 소양이 없어서는 (통계와 확률로 이루어진) 딥러닝의 시스템이나 한계를 이해할 수 있을 리 없다. 이러니 당장의 화젯거리만을 좇다가 제대로 알아보지도 않고 "특이점이 온다"라는 식의 기사를 쓰는 것이구나 하는 생각이 들었다.

요즘 우리나라 사람들도 핸드폰 사용과 영상 감상에 익숙해져서 특히 조금만 긴 글을 읽으면 독해력이 떨어진다고 하니, 일본 중고등학생의 시험 결과와 엄청 큰 차이가 날 것 같진 않다.

AI가 인간을 지배하는 세계, '특이점'이 올 것인가 하는 두려움이 있다면(이 책에서 저자는 '특이점'이 뭔지, AI가 인간을 능가할 수 없는 이유가 무엇인지 등을 잘 설명하니 꼭 참고하시라), 우리가 인간으로서 어떻게 기계보다 나아질 수 있는지를 고민해야 하는 게 아닐까 한다.

그리고 그 핵심은 인간의 인간다움, 그러니까 '의미를 이해하는 능력'일 것이고, 따라서 정말 독해력 향상만이 인간이 인간임을 증명할 수 있는 방법이 아닐까?

 

저자는 이 책의 인세를 2018년부터 RST를 제공할 사단법인 '교육을 위한 과학 연구소'에 전액 기부한다고 책 마지막에 있는 '후기'에 밝혔다.

저자의 목표가 "일본의 중학교 1학년생 전원에게 RST를 무상으로 제공해 독해의 편중이나 부족함을 과학적으로 진단함으로써 중학교를 졸업하기 전까지 교과서를 읽고 이해할 수 있도록 만드는 것"이기 때문이다.

내가 보기에도 이는 상당히 좋은 목표이며, 우리나라에서도 비슷한 움직임이 생겨나야 할 것 같다. 물론 RST 같은 시험을 치고 결과를 받아 보는 것만으로는 독해력이 향상될 리 없으므로, 국가와 사회, 교육계, 학부모/보호자의 노력이 관심이 요구될 것이다.

"과연 나는 (AI 같은 기계에 비해) 얼마나 인간다운가?"라는 고민에 대한 답이기도 한 이 책을 모든 이들에게 추천한다. 교육계에 몸을 담았거나 AI에 관심이 있으신 분이라면 더더욱.