최근 인공지능(AI) 알고리즘과 관련한 사회적인 문제들이 부각되고 있습니다. 얼마 전 스캐터랩이 출시한 AI 챗봇 서비스인 ‘이루다’가 성차별과 개인정보 유출 문제로 많은 비판을 받고 서비스를 중단했습니다. ‘이루다’는 특정한 질문을 입력하면 성차별적이거나 동성애 혐오적인 답변을 내놓았고, 심지어 ‘이루다’의 개발자들이 해당 서비스를 개발할 때 이용자들의 사적인 대화를 무단으로 사용했다는 논란까지 나오고 있는데요.

AI의 편향성 문제가 논란이 된 것은 이번이 처음은 아닙니다. 작년 12월에는 구글의 AI 윤리팀을 이끌던 팀닛 게브루 박사가 AI의 한계와 편향성을 지적하는 논문을 발표하려 했다가 구글 측과 마찰을 빚고 회사를 떠나기도 했죠. 게브루 박사는 사실상 구글로부터 해고를 당한 셈이었는데, 당시 1,500명이 넘는 구글 직원들이 게브루 박사의 해고에 항의하는 청원에 서명하기도 했습니다. 이는 최근 구글에 노동조합이 설립되는 데 영향을 미치기도 했죠. 오늘은 최근 논란이 되고 있는 AI와 관련된 이슈들을 정리해보려 합니다.

이루다, 무엇이 문제일까?

최근 논란이 되고 있는 ‘이루다’ 서비스를 개발한 스캐터랩은 ‘연애의 과학’이라는 AI 모바일앱을 개발한 스타트업입니다. 연애의 과학은 연인이나 호감을 가진 사람과의 카카오톡 대화 내용을 입력하고 일정 금액을 결제하면 대화 내용을 AI로 분석해 ‘애정도 수치’를 표시해주는 서비스인데요. 스캐터랩은 대화형 데이터를 국내에서 가장 많이 보유한 업체로, 국내 대기업인 엔씨소프트와 일본의 소프트뱅크벤처스 등 여러 벤처투자 기업으로부터 약 65억 원가량의 투자를 유치하기도 했죠. 하지만 이번 ‘이루다’ 사태로 여러 가지 문제점들이 발견됐는데요. ‘이루다’ 논란은 초기 ‘이루다’ 자체의 젠더 편향성과 혐오 발언으로 시작됐지만, 문제가 커지면서 스캐터랩이 고객의 사적인 데이터를 무단으로 사용했다는 논란으로까지 번지고 있습니다.

스캐터랩이 지난달 내놓은 ‘이루다’는 20대 여대생 AI 챗봇을 표방한 서비스로, 스캐터랩이 만든 메신저 대화 분석 서비스인 ‘텍스트앳’과 ‘연애의 과학’에서 수집한 데이터 100억 건으로 학습 시켜 만들어졌습니다. 스캐터랩의 김종윤 대표는 사람들이 이루다를 친구처럼 여기고 외로움을 덜었으면 좋겠다고 밝히기도 했었죠.

하지만 이루다는 이용자들이 성 소수자, 흑인, 여성, 장애인과 관련한 질문을 던지면 혐오 표현이 담긴 답변을 여과 없이 송출하고, 일부 이용자들은 이루다를 외설적인 목적으로 사용하며 성희롱 논란이 불거지기도 했습니다. 일각에서는 ‘20대 여대생’을 컨셉으로 이런 서비스를 제작한 것이 여성을 성적 대상화 한다는 지적까지 나왔죠. 스캐터랩은 결국 이루다의 차별, 혐오 표현에 대해 사과하며 서비스를 잠정 중단했습니다.

하지만 이게 끝이 아니었습니다. 스캐터랩이 이루다 서비스를 개발하는 과정에서 스캐터랩이 운영하는 서비스인 연애의 과학에서 수집한 이용자들의 사적인 대화를 무단으로 사용했다는 의혹이 제기됐는데요. 이루다의 답변에서 특정한 사람의 이름, 주소, 계좌 정보 등이 나오면서 논란이 일고 있습니다. 스캐터랩 측은 개인정보 취급방침의 범위 내에서 데이터를 이용했다고 주장했지만, 이용자들은 애초에 자신이 연애의 과학 서비스에서 입력한 대화가 이루다의 개발에 사용되리라는 것을 알지 못했고, 입력한 개인정보가 비식별화(익명처리)되지 않았다고 밝혔죠.

게다가 스캐터랩의 전 직원이 ‘스캐터랩 내부에서 연인들의 성적인 대화가 공유되고 희화화됐다’고 밝히며 파장은 더욱 커지고 있습니다. 개인정보보호위원회는 위법 여부를 밝히기 위한 조사에 착수하기로 했습니다. 이용자들은 스캐터랩이 그동안 수집한 카톡 대화 데이터를 전량 파기해야 한다고 주장하며 소송까지 나서겠다고 밝혔습니다. 스캐터랩은 방대한 데이터를 사업의 강점으로 삼아왔던 만큼, 조사와 소송이 본격적으로 진행되면 정상적인 사업 진행이 어려울 것이라는 전망입니다.

AI 기술의 발전과 편향성 논란 

이번 이루다 논란을 통해 수면 위로 떠오르긴 했지만, AI 알고리즘의 편향성은 이전부터 학계와 시민사회에서 꾸준히 제기돼오던 문제였습니다. 이번 이루다 논란이 2016년 마이크로소프트가 내놓은 AI 챗봇 ‘테이(Tay)’ 논란을 연상시킨다는 평가가 많은데요. 테이는 초기 정제된 언어 데이터를 이용해 말을 학습했지만, 실제 채팅 과정에서 사람들이 사용하는 인종 차별적 표현과 비속어를 학습하면서 혐오 표현을 쏟아냈고 16시간 만에 운영이 중단됐습니다. 

AI의 편향성 문제는 AI가 본격적인 발전을 겪으면서부터 부각되기 시작했습니다. AI는 지난 2012년부터 본격적인 부흥기를 맞이했는데요. 이전까지만 해도 AI 기술에 큰 진전이 없었지만, 2012년 제프리 힌트 교수팀이 자체 개발한 딥러닝 모델로 이미지 인식 기술의 정확도를 충격적으로 끌어올리면서 다시 관심을 받기 시작했습니다. 그때부터 AI는 수많은 분야에 적용되기 시작하며 부흥기를 맞이했지만, AI가 사회의 차별적인 인식과 고정관념을 그대로 답습하고 재생산한다는 지적도 점점 늘었습니다.

2016년에는 미국의 <프로퍼블리카>지는 탐사보도를 통해 미국 주 법원과 교도소에서 형량, 가석방, 보석 등의 판결에 활용되는 AI 알고리즘인 컴퍼스(COMPAS)가 흑인을 차별한다는 소식을 보도했습니다. 컴퍼스는 피고의 범죄참여, 생활방식, 성격, 태도, 가족과 사회적 배제 등을 점수로 환산해 재범 가능성을 계산해주는 알고리즘인데요. 문제는 컴퍼스가 흑인을 편파적으로 고위험군에 더 많이 분류했던 것이었습니다. 심지어 마약을 소지하고 있는 백인보다 저항하지 않았던 흑인을 더 위험하다고 판단하기도 했는데요. 2018년에는 아마존이 구직자 평가를 위해 개발한 알고리즘이 “여성”이 언급된 지원서를 채용 절차에서 배제하거나 여성대학 졸업자들에게 감점을 주는 등 성차별적인 결과를 가져오자 도입이 취소되기도 했습니다.

이런 편향성 문제의 원인은 크게 두 가지로 지적되는데요. 하나는 알고리즘의 개발 과정에서 무의식적으로 개발자의 가정과 편견이 투영된다는 것, 그리고 AI가 학습하는 과정에서 받아들이는 데이터가 편향적이라는 것입니다. 하버드에서 수학 박사 학위를 받고 미국 월가에서 금융회사의 AI 알고리즘을 만드는 개발자로 일했던 캐시 오닐은 알고리즘의 편향성 문제를 분석하는 저서에서 ‘애초에 알고리즘이 만들어질 때 개발자의 여러 가정이 포함돼 결코 중립적일 수 없다’고 주장했습니다. 가령, 대출 여부를 결정하는 신용평가 알고리즘이나 경찰의 범죄 퇴치 모형, 보험료 산정체계, 임금 결정 알고리즘은 편견을 정량화해 저소득층이나 소수자, 이민자들에게 항상 불리하게 적용되고, 이는 양극화를 심화한다는 것이죠. 

AI 학습의 재료가 되는 데이터의 편향성 문제도 종종 지적됩니다. AI는 스스로 학습하기 위해 학습할 데이터를 필요로 하는데, 이 데이터 자체가 편향돼 알고리즘도 편향성을 가질 수밖에 없다는 것이죠. 이번에 구글에서 해고된 게브루 박사도 논란이 된 논문에서 구글의 대규모 언어 신경망 모델에 사용되는 데이터 세트는 차별적 언어가 담긴 훈련 데이터를 사용하게 되고, 데이터 세트가 워낙 커 그 안에 내포된 편견을 찾아내기 어렵다는 점을 지적했습니다. 

알고리즘의 편향성을 수정할 수 있을까?

그렇다면 애초에 알고리즘을 좀 더 공정하게 만들거나 편향되지 않은 데이터를 수집하면 되지 않을까요? 이론적으로는 맞는 이야기지만, 실제로는 매우 어려운 일입니다. 알고리즘을 수정하는 것만으로는 문제가 해결되지 않는 경우가 많고, 데이터 수집도 공정하고 다양하게 이뤄지기가 어렵다는 것인데요. 미국의 MIT 테크놀로지 리뷰는 흑인을 차별한 COMPAS의 알고리즘을 보다 공정하게 조정하는 실험을 진행했습니다. 알고리즘을 조정해 인종과 관계없이 동일한 수감 비율이 적용되게 했더니 동일 범행에 대해 인종 별로 다른 처벌을 하는 이상한 결과가 나오게 됐는데요. 애초에 흑인 피고가 백인 피고보다 더 체포되는 비율이 높았기 때문입니다. 데이터가 담고 있는 현상 자체가 편향적이었던 것이죠. 

그래서 애초에 데이터 수집 단계에서 공정성과 다양성을 확보하고자 하는 실험도 있었는데요. 하지만 실험 자체도 성공하지 못한 데다가, 게브루 박사가 지적한 것과 같이 연구진들은 학습을 위해 막대한 양의 데이터를 조달하는 데만 급급하다고 하죠. 이번 이루다 사건도 애초에 편견 없는 데이터를 확보하는 것은 사실상 불가능하다는 것을 보여준 사례이기도 합니다. AI는 인간의 데이터로 학습하기에, 기술 그 자체보다는 우리가 살아가는 사회의 차별과 편견에 더 주목해야 한다는 의견도 많습니다.

편향을 넘어 편견을 증폭한다?

과학기술학을 전공한 서울대 홍성욱 교수는 “인공지능이 차별을 반영할 뿐만 아니라 차별을 영속시키고 증폭시킨다”고 지적하는데요. 우리는 알고리즘 내부를 들여다볼 수 없는 데다가 인공지능은 인간의 머리로는 분석이 불가능한 데이터를 다루기 때문에 우리는 인공지능이 더 객관적이고 공평할 거라 생각하고, 이는 인공지능이 낳는 차별을 더욱 공고하게 만든다는 것입니다. 그래서 알고리즘의 문제는 단순히 기술적인 문제로 치부되어선 안 되고, 시민사회가 적극적으로 대처해야 하는 문제라는 것이죠. 

실제로 우리 정부도 작년 12월 말 각계 의견을 수렴해 국가 AI 윤리기준을 확정하고 AI 법, 제도, 규제 정비 로드맵을 마련했는데요. 국가 AI 윤리기준은 AI를 개발할 때 인간의 존엄성, 사회의 공공선, 기술의 합목적성이라는 3대 원칙을 지켜야 하며, 세부적으로는 인권보장, 프라이버시 보호 등 10가지 항목을 준수해야 한다고 규정하고 있습니다. 이번 ‘이루다’ 사건은 이런 윤리 기준을 제대로 지키지 못한 것으로 평가해볼 수 있겠죠.

AI 로드맵은 ‘인간 중심의 AI 시대 실현’을 위해 법과 제도를 정비하기 위한 로드맵인데요. 특히 개인정보보호 책임 강화와 기업의 알고리즘 편향성 및 오류 관리 책임 강화를 통해 인공지능에도 법적 책임을 부여하는 것을 골자로 하고 있습니다. 이번 ‘이루다’ 같은 사례가 발생하지 않도록 적극적으로 규제와 감독을 강화하겠다는 것이죠. 

곧 대통령에 취임할 바이든 대통령과 민주당도 ‘삶에 많은 영향을 미치는 AI 알고리즘과 소프트웨어가 법의 강력한 통제를 받아야 한다’고 주장하고 있습니다. 실제로 미국에선 12개 이상의 미국 도시에서 AI를 활용한 얼굴 인식 기술의 사용이 금지되기도 했는데요. 기업들이 나서서 AI 윤리 확립을 위해 노력하는 경우도 있습니다. 일본의 소니는 올해부터 AI를 활용한 제품에 대해 ‘AI 윤리’를 심사하겠다고 밝혔습니다. AI의 개발이 프라이버시 침해에 악용되거나 차별을 불러일으킬 경우 이를 개선하고, 심각할 경우 개발을 중지하겠다는 것입니다.

미국에선 이미 AI의 편향성과 관련된 논란이 많았었는데요. 우리나라에서도 AI에 대한 연구와 개발이 크게 늘고 관심이 높아지면서 이 문제가 언젠가는 부각될 것이라는 전망이 많았는데, 이번 ‘이루다’ 논란을 통해 수면 위로 드러나게 됐습니다. 앞으로 더 많은 분야에서 AI가 사용될 것으로 보이는 만큼 AI와 관련된 윤리 문제도 지속할 것으로 전망되는데요. 과연 이번 ‘이루다’ 논란을 계기로 인공지능의 편향성 문제도 적극적으로 해소될 수 있을까요?

BYTE와 모비인사이드의 파트너쉽으로 제공되는 기사입니다.