배경
최근 인공지능 친구라는 컨셉으로 스캐터랩(scatter lab)에서 ‘이루다’라는 인공지능 브랜드를 런칭하였습니다. 주요 채널은 SNS채널이며 메신저 플랫폼을 통한 챗봇이 인공지능의 주요 기술로 활용되고 있습니다. 국내에는 대표적으로 ‘심심이’를 포함해서 이러한 챗봇 기술을 활용한 서비스들이 최근 몇 년 사이 많이 등장했었는데, 특정 페르소나(EX> 20대 성격이 밝은 여성)를 입혀서 친구를 맺고 인격화하여 브랜딩화하는 부분은 사실상 최초의 사례라고 볼 수 있습니다. 특히, 인공지능 기술의 발전과 비대면 트래픽의 폭풍 성장, 그리고 코로나로 인한 시대변화와 맞물려 더욱 화제가 되었습니다. 사실 미국이나 일본 등 국내보다 인공지능 기술이 약간 더 앞선 국가들의 경우에는 이미 이러한 브랜드가 상품화되어 서비스가 진행되고 있습니다. 그들은 이미 우리가 겪고 있는 시행착오들을 겪고난 뒤라고 볼 수 있습니다. (https://www.pandorabots.com/mitsuku/)
인공지능 친구 ‘이루다’ 논란과 시사점
논란의 시작
그렇다면 현재 인공지능 ‘이루다’의 논란은 왜 벌어진 것일까요?
우선, 이번 이슈가 화제가 된 이유는 인공지능 챗봇 ‘이루다’가 특정 유저의 성적 발언 및 혐오 발언 등을 학습하여, 사용자가 원하는대로 말해주고 대화하는 부분이 드러났기 때문입니다. 특히, 미성년자들이 성적인 발언 등을 지속적으로 유도하거나 인공지능을 노예화하기 위하여 친구들 혹은 유저들과 노하우를 공유하거나 하는 등 일종의 ‘어뷰징(Abusing)’을 일으켜 인공지능 학습 모델 자체를 바꾸는 현상이 일어난 부분이 화제가 된 주 요인이라고 보면 될 것 같습니다.
그리고, 추가적으로 특정인물의 이름을 언급하고 화법을 변경하면 갑작스럽게 대화 패턴이 변경되거나 개인정보 등을 의도치 않게 노출하는 현상이 벌어진 부분이 크리티컬한 요소로써 드러나게 되었습니다. 이로 인하여 개발사인 스캐터랩은 서비스를 중단하였고, 서비스 재개에 대해서는 아직 미지수인 상황입니다.
논란의 포인트
일단 현재 여론이나 언론들이 모두 개발사에 대한 비판을 무분별하게 하고 있는데, 논란이 되는 부분을 명확하게 짚고 갈 필요가 있습니다. 왜냐하면 분명 이러한 논란은 기술 발전에 중요한 부분이고 중요한 이정표가 되는 사건인데 이번 논란으로 지나친 규제로 흐름이 이어지는 것은 기술 발전의 전체 틀에서는 좋지 않다고 보기 때문입니다. 그렇기 때문에 현재의 논란들 중에 문제가 될 것들과 아닌 것들에 대해서 정확하게 인지할 필요가 있습니다.
[논란이 아닐 수 있는 부분 #1] 우선 학습 과정은 인공지능 챗봇 개발사의 잘못은 아니다.
이 부분은 사실 개발사 입장에서는 불가피 한 부분으로 보여집니다. 본래 인공지능 챗봇은 고객들의 대화 데이터가 인입되고 나서 학습 방향성을 개발사가 조금씩 튜닝하고 맞춰나가는 프로세스를 가지고 갑니다. 개발사가 논란 자체를 사전에 인지하지 못했다라기보다는 사용자가 이렇게 서비스를 활용할지 예측을 못했다라는 부분이 중요 포인트입니다. 개발사가 이런 반응을 예측하지 못했다고 하더라도 빠른 튜닝과 학습을 했어야 하는데 처리가 어려울 정도로 트래픽이 늘어나면서 이러한 논란을 키웠다고 생각합니다. 그래서 이런 성적 발언과 혐오 발언에 대한 학습 매커니즘을 사전에 강화했었어야 하는데 하지 못했습니다. 그러나, 인공지능 학습 자체가 문제가 있다는 것은 아니다라는 부분으로 논점을 정리하고 싶습니다.
[논란이 아닐 수 있는 부분 #2] 개인정보동의 프로세스는 문제가 아니다. (고지가 명확하다는 전제)
인공지능 챗봇 이루다는 중간에 휴대폰 번호를 물어보는 프로세스가 있는데, 서비스가 해당 정보를 활용하는 목적과 주체가 명확하다면, 그리고 그 내용을 정확하게 고지했다면 이 프로세스는 문제가 되지 않습니다. 이번 논란으로 사실 그러한 부분까지 문제를 삼고 있는데, 물론 고지내용과 서비스가 다르다면 문제가 되겠지만 정보 수집 행위 자체가 문제가 있다라는 식의 접근은 경계할 필요가 있습니다.
[논란이 될 수 있는 부분 #1] 대화 데이터 수집/활용은 문제의 소지가 있다.
현재 가장 뜨거운 이슈는 인공지능 챗봇 이루다가 학습한 데이터가 개인들이 대화한 카톡 대화내용이라는 점인데, 이러한 부분이 동의를 받고 수집했고 활용했는지 여부가 불투명하다는 점입니다. 개인들의 대화내용을 학습하는 것은 기술적으로 혹은 단편적으로 문제가 되지 않지만 어디서 가져왔느냐의 문제로 접근하면 이 부분을 출처와 동의가 필요하기 때문에 문제가 될 수 있습니다. 이 부분은 비식별 처리 프로세스로 인하여 문제가 있다라고 명확히 밝혀지고 있습니다.
[논란이 될 수 있는 부분 #2] 비식별 처리 과정에 문제가 일부 있다.
인공지능 챗봇 이루다는 현재 누군가의 이름을 물어보거나 이름을 말하도록 유도하면 개인의 정보나 데이터들을 답변으로 내놓는 경우가 종종 있다라고 합니다. 만약 이게 사실이라면 학습 과정과 비식별 처리 과정에서 개인정보삭제를 위한 프로세스가 헐렁하게 되어 있다라는 부분이라 문제가 될 수 있습니다. 여기서 조금 기술적으로 어려운 부분을 말씀드리자면 개인의 ‘이름’은 현실적으로 걸러내기는 한계가 있습니다. 간혹 이름이 명사나 동사로 인식하는 경우가 있기 때문입니다. 하지만, 그 이외의 정형화된 텍스트 정보의 경우 충분히 기술적으로 걸러낼 수 있는데, 이 부분에 대해서는 약간 의심의 여지가 있습니다.
[논란이 될 수 있는 부분 #3] 서비스 사전 고지사항에 일부 문제가 있다.
첫 번째 이슈와 연결되는 내용인데, 인공지능 챗봇 이루다가 제공하는 서비스가 어떤 목적으로 데이터를 제공하고 수집하고 파기하는지에 대한 고지 내용이 굉장히 부재하다는 평가가 많습니다. 특히, 서비스를 제공하는 기업의 경우에는 그 서비스가 제공되기 위하여 유저들이 알아야할 정보들을 고지하게 되어 있습니다. 물론, 잘 안보이도록 복잡하게 만들 수 있지만 없을 수는 없습니다. 이 부분이 명확하게 제공이 되었는지에 대한 부분이 현재 논란 중 하나라고 볼 수 있습니다.
해결점과 시사점
이번 논란이 법적으로 문제가 있냐 없냐로 접근한다면 분명 논란의 여지가 있고 법적으로 문제가 있는 것은 사실입니다. 하지만, 국내 기술 발전의 중요한 이정표를 만들었고 인공지능 윤리와 가이드를 빨리 구축하고 널리 전파해야 한다는 숙제를 제시했다는 부분으로는 의미 있는 사건으로 생각하고 있습니다. 과거 마이크로소프트에서 만는 챗봇 ‘테이’가 인종차별 발언을 학습해서 서비스를 중단한 사례가 있었고, 그 이후 기술과 윤리적인 발전이 동시에 이루어졌다는 것을 보면 우리도 현재 일종의 기술 발전의 과도기를 겪고 있다고 볼 수 있습니다.
현재 이번 사건으로 정부에서는 2가지 측면으로 검토 중인데, 기업 관점에서는 인공지능 학습에 대한 가이드와 고지를 명확하게 하도록 제도적 장치를 마련하는 것이고, 유저 관점에서는 성희롱 발언이나 혐오 발언들을 하는 사람들에게 법적인 처벌을 할 수 있도록 이 역시 제도적 장치를 마련하는 부분입니다.
개인적으로는 인공지능 친구가 이렇게 화제가 되고 이용자가 많다라는 부분이 코로나가 만든 비대면 바람의 결정판으로 생각하고 있고, 한편으로는 사람과의 교감과 교류가 사라지는 것이 아닌가 하는 생각도 있지만, 한편으로는 시대의 흐름이 이렇게 변해가는 것이 아닌가 생각하고 있습니다. 확실한 것은 우리는 현재 기술 발전의 한복판에 있으며 성장통을 겪고 있다는 점입니다. 저는 이번 논란이 국내 기술 성장을 위한 하나의 큰 사건으로써 의미를 부여해야 하며 무작정 규제 혹은 처벌보다는 이러한 논란이 없도록 제도적 장치를 마련하는 데에 더 집중해야 한다고 생각합니다.
인공지능 친구 ‘이루다’ 논란과 시사점
디지털/인공지능 관련 글 모음:
- 4차산업혁명이 우리의 삶에 미치는 영향
- 메신저와 챗봇에 주목해야 하는 이유
- 인공지능(AI) 스피커와 디지털 비즈니스의 이해
- 인공지능은 기술로부터 오지 않는다
- 4차산업혁명과 인공지능 시대를 위한 준비 10계명
- 팬데믹 전후의 소셜 데이팅앱과 사회 변화
- 디지털 뉴딜 정책의 현실적인 한계와 방향
- 마이크로소프트(Microsoft)의 RPA기업 인수와 의미
- 구글 앱스토어 수수료와 플랫폼 비지니스 시대의 전환점
- 인공지능 챗봇 트렌드 2021 보고서: 요약 및 총정리
- 인공지능의 단점과 부작용, 그리고 어뷰징
관련 외부 자료:
- ‘이루다’에 쓰인 카톡 1천700건, 4개월간 온라인에서 공유됐다
- AI 챗봇 ‘이루다’ 논란에… 카카오 “‘증오발언’에 강경 대응”
- AI봇 이루다 개발사 “사람 실명 언급은 필터링 부족”
- 민변·참여연대 등 “‘이루다’ 개발사 스캐터랩 ‘개인정보 무단사용’ 철저 조사” 촉구
- “여대생AI ‘이루다’ 개발사, 연인간 성적대화 돌려봤다” 폭로
- 이재웅·남궁훈, AI ‘이루다’ 논란에 의견 엇갈려
- 이루다 개발사 “실명 전부 못 걸렀다” 개인정보 유출 인정…공식 사과
- ‘AI 이루다’ 서비스 잠정 중단…”차별·혐오 개선하겠다”(종합)
- 개인정보위, AI 챗봇 ‘이루다’ 개발사 현장 조사
- AI ‘이루다’ 서비스 논란 끝에 중단…”개선 후 재출시하겠다”(종합)
- [테크톡] 20살 ‘이루다’가 불붙인 논쟁…‘인공지능의 편견’
- “男 아이돌을 성적 노리개로…” ‘이루다’→‘알페스’ 옮겨붙은 논란 [IT선빵!]
- [이루다가 남긴 것⑦]업계도 “윤리적 AI 필요” vs “인간부터 반성해야”
- 갈수록 커지는 AI챗봇 ‘이루다’ 의혹… 대화내용 수집과정도 부적절