%EC%98%A4%ED%98%9C%EC%97%B0
-
AI가 여론 조작? 한국어 'AI 생성 댓글' 탐지 기술 개발
생성형 AI 기술이 발전하면서 이를 악용한 온라인 여론 조작 우려가 커지고 있다. 이에 따른 AI 생성글 탐지 기술도 개발되었는데 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼, 짧고(평균 51자), 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다. 우리 연구진이 한국어 AI 생성 댓글을 탐지하는 기술을 개발해서 화제다.
우리 대학 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소(국보연)와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 23일 밝혔다.
최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있으며, 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 수 있다. OpenAI의 GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 생성하는 데 단 20만 원이면 가능할 정도다. 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량의 댓글 생성을 수행할 수 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다. 또한, 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히, 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.
연구팀은 XDAC의 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로도 작용할 수 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯, 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이며, 인공지능 자연어처리 분야 최고 권위 학술대회인 7월 27일부터 개최되는 'ACL 2025' 메인 콘퍼런스에 채택되며 기술력을 인정받았다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
※논문원본: https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf
이번 연구는 우리 대학 김용대 교수의 지도 아래 국보연 소속이자 우리 대학 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 우리 대학 오혜연 교수가 공동 연구자로 참여했다.
2025.06.24 조회수 2651 -
혐오 발언 탐지의 문화적 차이 해결, NAACL 2024에서 Resource Award 수상
전산학부 Users & Information Lab. 연구실의 오혜연 교수와 제1저자 석사과정 이나연(오혜연 교수 지도 학생)의 연구가 지난 6월 16일부터 21일까지 멕시코시티에서 열린 '2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics' (NAACL 2024) 국제 학회에서 '교차 문화적 데이터셋 구축을 통한 영어 혐오 발언 어노테이션의 문화 간 차이와 영향 분석(Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis)'에 관한 논문으로 '리소스 어워드(Resource Award)'를 수상했다.
NAACL은 자연어처리 분야에서 최고 권위를 자랑하는 국제 학회로, 올해는 2,434편의 논문이 제출되었으며 그 중 565편만이 채택되었다 (채택률 23.2％).
Resource Award는 학회에서 주어지는 특별한 상 중 하나로, 제출 논문 중 혁신성, 활용 가능성, 영향력, 품질을 고려하여 선정된다.
이번 수상 연구는 교차 문화적 영어 혐오 발언 데이터셋을 구축하고, 문화 간 어노테이션 차이와 대형 언어 모델의 편향성을 분석하여 영어 혐오 발언 분류기의 문화적 민감성을 향상시키는 데 기여했다는점에서 높은 평가를 받았다.
이번 연구에는 KAIST 전산학부의 이나연, 정찬이, 명준호, 진지호 학생들과 Cardiff University의 Jose Camacho-Collados 교수, KAIST 전산학부의 김주호 교수, 오혜연 교수가 참여하였다. 본 연구는 미국, 호주, 영국, 싱가포르, 남아프리카 공화국의 5개 영어권 국가에서 수집된 데이터와 어노테이션을 기반으로 하여, 각국의 문화적 배경이 혐오 발언 어노테이션에 미치는 영향을 분석했다. 이를 통해 문화적 배경이 혐오 발언 인식에 미치는 중요한 차이를 밝혀냈으며, 특히 서구권 국가와 다른 문화적 맥락을 가진 국가 간의 어노테이션 차이가 두드러짐을 보였다.
오혜연 교수와 이나연 학생은 "이번 연구를 통해 혐오 발언 탐지에 있어 문화적 차이의 중요성을 밝힐 수 있어 기쁩니다. 연구팀의 노력 덕분에 이러한 성과를 얻을 수 있었으며, 앞으로도 자연어처리 분야에서 문화적 다양성을 고려한 연구를 지속해 나가겠습니다."라고 소감을 전했다.
이번 수상은 KAIST 연구팀의 혁신적인 접근과 자연어처리 분야에서의 문화 간 연구의 중요성을 국제적으로 인정받은 결과이다. 이는 앞으로 관련 연구 발전에 큰 기여를 할 것으로 기대된다.
연구 결과는 혐오 발언 탐지 분야뿐만 아니라, 다문화 사회에서의 인공지능 윤리와 문화적 편향성 해소 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
자세한 내용은 논문 링크(https://aclanthology.org/2024.naacl-long.236)에서 확인할 수 있다.
2024.07.16 조회수 4993 -
KAIST 출신 차미영 박사, 트위터 사용자 영향력 분석
- 트위터 팔로워 숫자는 영향력 결정기준으로 무의미
- 팔로워 수에 집착하는 트위터 문화나 현재 광고 기법의 오류를 지적
소셜 미디어(Social media)의 직접링크는 우정에서 공통의 관심사 혹은 최신뉴스나 유명인의 가십까지 모든것을 얻을 수 있다.
이런 직접링크는 정보의 흐름을 결정하며 다른 사람에 대한 사용자의 영향력을 암시하기도 한다. 이것은 바이럴 마케팅(Viral Marketing)과 사회학 분야에서 중요한 개념이다.
대표적인 소셜 미디어인 트위터 연구를 통해 ‘많은 팔로워(follower)를 가진 사람이 인기있는 트위터일 수 있지만 그들의 영향력과는 반드시 관계있는 것은 아니다‘라는 연구결과가 나왔다.
이 연구는 KAIST 전산학과를 졸업학고 독일의 저명한 막스 플랑크(Max Planck)연구소에서 박사후 연구원으로 있는 차미영 박사를 주축으로 하는 연구팀이 트위터 사용자의 영향력(influence)을 어떻게 측정할 수 있을까에 대한 주제를 다룬 것이다.
5천만의 트위터 사용자 정보(User Accounts)와 20억개의 소셜 팔로워 링크(Social Follow Links), 그리고 17억개의 트윗메시지(Tweets) 등 대용량 데이터가 연구자료로 사용됐다.
차 박사팀은 트위터의 이 자료를 통해 트위터의 세가지 기능적인 측면, 트위터 사용자는 정보를 받을 수 있고(indegree), 재전송하고(retweet), 인용하는(mention) 측면에서 영향력을 분석, 비교해 흥미있는 사실을 발견했다.
가장 많이 보는 트위터, 가장 많이 재전송되는 트위터, 가장 많이 언급되는 트위터는 연관성 없이 각각 별개의 요소로 영향력을 행사하고 있었다. 이 세가지 측면에서 선정된 20개의 트위터 가운데 중복된 트윗은 단 두 개뿐이었다. 또한 다른 사람에게 중대한 영향력을 행사하는 트위터 사용자는 전문가로서 특정한 분야에 대해 영향력을 행사하지 않고 광범위한 주제에 걸쳐 중요한 영향력을 행사하고 있었다.
이번결과로 연구팀은 세 가지 결론은 얻었다. 첫째, 많은 팔로워를 가진 유명한 사용자는 정보의 재전송(retweet)와 인용(mention) 측면에서 살펴보면 큰 영향력이 있지 않다.
둘째, 대부분의 영향력 있는 사용자는 다양한 토픽에서 큰 영향력을 가지고 있다.셋째, 영향력은 즉각적으로 또한 우연히 얻어지는 것이 아니라 하나의 주제에 대해 받는 정보의 조건인 트위터 수를 제한하는 일련의 노력으로 얻어진다. 즉, 어떤 주제에 관심이 있을 경우 무작위로 모든 트위터로부터 정보를 제공받지 않고 선별해서 받는다.
해당 연구에서는 이를 ‘백만 팔로워의 오류(The Million Follower Fallacy)‘라고 말한다.
차 박사팀은 이러한 발견이 바이럴 마켓팅에 관한 새로운 견해를 제시하고 있다. 즉, 인기있는 트위터(블로그)를 통한 바이럴 마켓팅 전략이 반드시 효율적이지 않을 수 있다는 견해다. 정보를 받아들이는 표면적인 수치만으로는 사용자의 영향력을 가늠하기 어렵다는 것이다.
KAIST 전산학과 문수복 교수는 “차 박사의 이번 연구는 소셜 미디어 분야에서 트위터가 가지는 무한한 가능성을 제시한 논문으로써 경제학, 사회학, 전산학 등 다양한 학문 분야 간 융합 연구의 디딤돌이 될 연구”이라고 말했다.
특히 트윗 메시지 데이터는 트위터 서비스의 초반부터 모든 사용자가 적은 공개 메시지를 포함하고 있어 앞으로 사회과학의 다양한 문제들을 해결할 수 있는 가능성을 지니고 있다. 이러한 데이터는 2009년 여름 트위터의 허가 아래 수집된 것으로 추후 연구를 위해 http://twitter.mpi-sws.org/에서 공개할 예정이다.
차 박사는 현재 트위터 데이터를 활용하여 이미 국내외 과학자들과 협업을 하고 있다. 이 중 KAIST 전산학과 오혜연 교수와는 트위터의 사용을 통해 행복(happiness)이 전파될 수 있는지를 살펴봄으로써 소셜 미디어가 가진 심리적 기능성을 연구하고 있다. 또한 KAIST 전산학과 정교민 교수와 트위터와 같은 쇼셜 미디어에서 메시지를 더 빠르게 전파시키거나 혹은 메시지의 전파를 막을 수 있는 기법에 대한 연구를 진행중이다.
이번 연구는 뉴욕타임즈와 ReadWriteWeb.com과 같은 유명 블로그 및 소셜 미디어에서 소개된 바 있다. 차 박사는 2008년 2월 KAIST 전산학과 문수복 교수의 ‘첨단 네트워킹 연구실’에서 박사과정을 마쳤다.
<뉴욕타임즈>
http://www.nytimes.com/external/readwriteweb/2010/03/19/19readwriteweb-the-million-follower-fallacy-audience-size-d-3203.html
http://www.readwriteweb.com/archives/the_million_follower_fallacy_audience_size_doesnt_prove_influence_on_twitter.php
<용어설명>
○소셜 미디어(Social media) :
쌍방향 커뮤니케이션이 가능한 인터넷 미디어를 말한다. 신문이나 방송처럼 일방향으로 정보를 전달하는 것이 아니라 사용자들이 참여하고 그 정보를 공유할수 잇도록 만드는 참여형 미디어로 트위터, 블로그, 유투브, UCC 등이 있다. 사람들이 자신의 생각과 의견, 경험, 관점 등을 서로 공유하고 참여하기 위해 사용하는 개방화된 온라인 툴과 미디어 플랫폼으로 가이드와이어 그룹의 창업자인 크리스 쉬플리가 처음 이 용어를 사용하였다. 소셜미디어는 그 자체가 일종의 유기체처럼 성장하기 때문에 소비와 생산의 일반적인 매커니즘이 동작하지 않으며, 양방향성을 활용하여 사람들이 참여하고 정보를 공유하며 사용자들이 만들어 나가는 미디어를 소셜미디어라 부른다.
○ 바이럴 마케팅(Viral Marketing) : 마케팅의 주체가 불특정 다수에게 대량의 메시지를 전달하는 대신 소비자에게 직접 홍보행위를 하도록 한 마케팅. 특정 인플루엔자에 의해서 불러일으킬 수 있는 특정 정보나 이슈가 생성되고 바이러스처럼 전파되어 메가 트랜드로 변이하는 것. 어떤 제품과 서비스에 대해 두 사람 이상의 사람들이 주고받는 커뮤니케이션.
○ indegree : (graph theory)The number of edges directed into a vertex in a directed graph. 이 논문에서는 팔로워 링크를 그래프로 표현할 때 indegree로 표현함.
2010.03.31 조회수 26046