편향적 인공지능: 네이버의 악플 탐지용 인공지능 ‘클린봇’이 판별한 혐오표현의 유형 분석

국문 초록 (Abstract)

본 연구는 국내의 대표적 포털 사이트인 네이버에서 뉴스기사의 악성댓글을 탐지하고 걸러내기 위한 목적으로 개발한 인공지능 서비스 ‘클린봇’이 혐오표현을 어떻게 판별하는가를 분석했다. 그리고 온라인 혐오의 대상을 성소수자, 여성, 외국인으로 상정하고 각 대상이 다뤄지는 기사의 댓글에서 ‘클린봇’이 혐오표현을 악플로 탐지하는 양상을 비교했다. 이를 위해, 혐오표현을 낙인 이론에 기초해 라벨링, 스테레오타이핑, 분리하기, 조롱하기, 단순욕설의 다섯가지 유형으로 구분하고 각 유형의 혐오댓글이 악플 판별의 결과에 따라 어떻게 나타나는지 살펴보았다. 그 결과, ‘클린봇’은 단순욕설과 라벨링에 해당하는 혐오 댓글의 탐지에는 뛰어난 성능을 보이는 반면 스테레오타이핑과 분리하기의 댓글을 악플로 판별하는데는 부진함을 발견했다. 또한, ‘클린봇’의 편향된 혐오표현 탐지가 그 대상에 따라서 다른 양상을 보이고 있음도 발견했다. 단순욕설과 조롱하기의 모욕형 혐오표현의 경우 성소수자에게 향한 댓글에서 여성과 외국인에 대한 댓글에 비해 악플로의 판별이 더욱 적극적으로 일어난 것이다. 반면 스테레오타이핑과 분리하기로 특징되는 낙인형 혐오표현은 여성과 외국인에 대한 댓글에서 성소수자에 대한 댓글에 비해 악플로의 판별이 빈번하게 일어났다. 끝으로 악플로 탐지된 혐오댓글의 유형 분석과 대상에 따른 판별 양상의 차이에서 도출한 결과를 바탕으로 건전한 댓글 문화 형성과 여론 왜곡의 방지를 위해 개발 중인 인공지능의 한계를 논의하고 이를 극복하기 위한 방안을 제시했다.

다국어 초록 (Multilingual Abstract)

This study explored how ‘Cleanbot’, an artificial intelligence (AI) service developed to detect and filter malicious comments in news articles on NAVER as the most popular portal site in South Korea, classifies hate speech. We also compared the behavior of ‘Cleanbot’ detecting hate speech as malicious in the comments against different targets, assuming that the frequent target of online hate includes sexual minorities, women, and foreigners. Based on stigma theory, hate speech was divided into five types—labeling, stereotyping, separation, mocking, and swearing—and how each type appeared in the AI-detected malicious comments. As a result, we found that ‘Cleanbot’ showed excellent performance in detecting hate comments corresponding to swearing and labeling, but was sluggish in detecting stereotyping and separation as malicious. In addition, ‘Cleanbot’ showed different patterns of detection depending on the target of hate speech. When comments directed to sexual minorities were insult-type hate speech like swearing and mocking, they were more likely discriminated as malicious than comments directed at women and foreigners. On the other hand, stigma-type hate speech, which was represented by stereotyping and separation, was more frequently discriminated as malicious in comments on women and foreigners than those on sexual minorities. Finally, based on the results, we discussed the limitations of AI being developed to encourage healthy commenting culture and control distortion of public opinion, and suggested a way to overcome them.

목차 (Table of Contents)

• 요약
• 1. 서론
• 2. 이론적 배경
• 3. 연구문제
• 4. 연구방법
• 5. 연구결과
• 6. 논의 및 결론
• 참고문헌
• ABSTRACT

참고문헌 (Reference)

1 홍성수, "혐오표현의 규제: 표현의 자유와 소수자 보호를 위한 규제대안의 모색" 법과사회이론학회 (50) : 287-336, 2015

2 이승현, "혐오표현(Hate Speech) 리포트" 국가인권위원회 2019

3 양혜승, "포털과 지역혐오: 네이버 범죄뉴스의 지역혐오댓글에 대한 내용분석" 한국언론학회 62 (62): 7-36, 2018

4 이규호, "클린봇 2.0: 문맥을 이해하는 악성 댓글(단문) 탐지AI"

5 박구락, "컴퓨터 게임에서의 언어 표현변화를 통한 인터넷 윤리 확립에 관한 연구" 한국컴퓨터정보학회 17 (17): 47-52, 2012

6 이은주, "지각된 편향인가 편향된 지각인가? 댓글의 내용, 여론에 대한 인식과 이슈 관여도에 따른기사의 논조 지각" 한국언론학회 55 (55): 179-198, 2011

7 이은주, "인터넷 뉴스 댓글이 여론 및 기사의 사회적 영향력에 대한 지각과 수용자의 의견에 미치는 효과" 한국언론학회 53 (53): 50-71, 2009

8 여은호, "인터넷 뉴스 댓글이 독자의 기사 인식에 미치는 인지적 영향: 접근성(accessibility)과 적용성(applicability)을 중심으로" 부산울산경남언론학회 15 (15): 237-259, 2011

9 양혜승, "인터넷 뉴스 댓글의 견해와 품질이 독자들의 이슈에 대한 태도에 미치는 영향" 한국언론학회 52 (52): 254-281, 2008

10 한애라, "인공지능과 젠더차별" 젠더법학연구소 11 (11): 1-39, 2019

11 한기덕, "이주민 혐오표현(hate speech)에 대한 연구" 11-21, 2017

12 이성욱, "온라인게임 채팅에서의 비속어 차단 시스템" 한국정보통신학회 15 (15): 1531-1536, 2011

13 홍주현, "온라인 혐오표현의 확산 네트워크 분석 : 이슈 속성별 확산 패턴 및 혐오표현의 유형과 강도" 한국언론학회 60 (60): 145-175, 2016

14 임시혁, "로그선형 (Loglinear) 모형의 실제적 의미와 분석방법 탐색" 54 : 1-31, 2017

15 김위근, "디지털 뉴스콘텐츠 유통의 현재와 미래" 한국언론진흥재단 2014

16 Song, Y., "Tracking the viral spread of incivility on social networking sites : The case of cursing in online discussions of Hong Kong–Mainland China conflict" 3 (3): 46-61, 2018

17 Mutz, D. C., "The new videomalaise : Effects of televised incivility on political trust" 99 : 1-16, 2005

18 Meffert, M. F., "The effects of negativity and motivated information processing during a political campaign" 56 : 27-51, 2006

19 Bennett, W. L., "The Logic of Connective Action: Digital Media and the Personalization of Contentious Politics" Cambridge University Press 2013

20 Pennebaker, J. W., "The Development and Psychometric Properties of LIWC2015"

21 Vingerhoets, A. J., "Swearing : A biopsychosocial perspective" 22 : 287-304, 2013

22 Ptaszynski, M., "Sustainable cyberbullying detection with category-maximized relevance of harmful phrases and double-filtered automatic optimization" 8 : 15-30, 2016

23 Goffman, E., "Stigma: Notes on the management of spoiled identity" Prentice Hall 1963

24 Klein, O., "Social identity performance: Extending the strategic side of SIDE" 11 : 28-45, 2007

25 Herbst, S., "Rude Democracy: Civility and incivility in American politics" Temple University Press 2010

26 O’Sullivan, P. B., "Reconceptualizing"flaming"and other problematic messages" 5 : 69-94, 2003

27 Howard, P. N., "Pax Technica: How the Internet of Things May Set Us Free or Lock Us Up" Yale University Press 2015

28 Coe, K., "Online and uncivil? Patterns and determinants of incivility in newspaper website comments" 64 : 658-679, 2014

29 Duggan, M., "Online Harassment 2017"

30 Greene, J., "Microsoft Muzzles Its Artificially Intelligent Twitter Persona"

31 Korostelina, K., "Intergroup identity insults : A social identity theory perspective" 14 : 214-229, 2014

32 Rains, S. A., "Incivility and Political Identity on the Internet : Intergroup Factors as Predictors of Incivility in Discussions of News Online" 22 (22): 163-178, 2017

33 Hatfield, E., "Emotional contagion" 2 : 96-99, 1993

34 Vidgen, B., "Detecting weak and strong Islamophobic hate speech on social media" 17 (17): 66-78, 2020

35 Chen, Y., "Detecting Offensive Language in Social Media to Protect Adolescent Online Safety" 71-80, 2012

36 Foong, Y. J., "Cyberbullying System Detection and Analysis" 40-46, 2017

37 Burnap, P., "Cyber hate speech on Twitter : An application of machine classification and statistical modeling for policy and decision Making" 7 (7): 223-242, 2015

38 Huang, Q., "Cyber Bullying Detection Using Social and Textual Analysis" 3-6, 2014

39 Link, B. G., "Conceptualizing Stigma" 27 (27): 363-385, 2001

40 Lea, M., "Computer-mediated communication, de-individuation and group decision-making" 34 : 283-301, 1991

41 Antoci, A., "Civility vs. incivility in online social interactions: An evolutionary approach" 11 (11): e0164286-, 2016

42 Baumeister, R. F., "Bad is stronger than good" 5 : 323-370, 2001

43 Harris, R. B., "An investigation of the computer-mediated communication of emotions" 3 : 2081-2090, 2007

44 Papacharissi, Z., "Affective Publics: Sentiment, Technology, and Politics" Oxford University Press 2015

45 Saleem, H. M., "A web of hate:Tackling hateful speech in online social spaces"