-
1억 1천만 뉴스 댓글서 ‘외국발 여론 흔들기’ 찾는 AI 기술 개발
선거철마다 반복되는 온라인 갈등 뒤에 조직적인 여론 개입이 숨어 있다면 어떨까. 우리 대학 연구진이 20년간 축적된 1억 1,000만 건의 뉴스 댓글을 AI로 분석해, 외국 연계 영향력 활동으로 의심되는 흔적과 그 판단 근거까지 찾아내는 기술을 개발했다.
우리 대학은 문화기술대학원 이원재 교수, 전산학부 차미영 교수(독일 막스플랑크 연구소 단장 겸임), 오혜연 교수 공동연구팀이 막스플랑크 연구소 토르스텐 홀츠 교수와 국제 공동연구를 통해 온라인 뉴스 댓글에서 외국 연계 영향력 활동으로 의심되는 패턴을 자동으로 탐지하고, 그 판단 근거까지 제시하는 ‘설명 가능한 AI 기술’을 개발했다고 12일 밝혔다.
특정 세력이 댓글이나 게시물을 조직적으로 확산해 사람들의 인식이나 여론에 영향을 미치려는 활동을 ‘온라인 영향력 공작’이라고 한다. 기존 AI 탐지 기술은 특정 계정을 의심 계정으로 분류하더라도 “왜 이 계정을 의심하는가”에 대한 구체적인 근거를 제시하기 어렵다는 한계가 있었다.
연구팀은 이러한 한계를 해결하기 위해 국가안보전략연구원이 앞서 식별한 외국 연계 계정 70개를 출발점으로 삼았다. 이 계정들과 연관되거나 같은 기사에 반복적으로 댓글을 작성한 계정들을 추적해 2006년부터 2025년까지 20년간 네이버 뉴스에 작성된 약 1억 1,000만 건의 댓글을 분석했다.
연구팀이 개발한 AI는 댓글을 단계적으로 분석한다. 먼저 작성자가 외국과 연계됐다고 의심할 만한 표현이나 맥락이 있는지를 살피고, 이어 도덕적 비난이나 맹목적 찬양처럼 사회적 양극화를 키울 수 있는 감정이 나타나는지를 분석한다. 마지막으로 이러한 감정이 어느 국가나 대상을 향하는지 파악한다.
특히 이번 기술의 핵심은 AI가 단순히 ‘의심스럽다’는 결과만 내놓지 않는다는 점이다. AI가 판단을 내리는 데 근거가 된 댓글 속 표현을 함께 제시해 사람이 그 이유를 확인할 수 있도록 했다. 여기에 계정의 활동 빈도와 활동 기간, 다른 의심 계정과의 활동 연관성 등 다양한 행동 패턴을 함께 분석했다.
연구팀은 이를 통해 네이버 뉴스 이용자 약 400만 명 가운데 외국 연계 영향력 활동이 의심되는 계정 2만 3,998개를 식별했다. 분석 과정에서는 이들 의심 계정의 활동에서 주목할 만한 특징도 발견됐다. 특정 정치 진영을 일방적으로 지지하기보다는 한국 사회 내부의 갈등과 대립을 증폭시키는 방향의 메시지가 두드러진 것이다.
실제로 대중의 호응을 많이 얻은 상위 10개 표적 가운데 7개가 국내 유명 정치인으로 나타났다. 특정 정당이나 이념에 집중되지 않고 진보와 보수 양 진영의 전·현직 대통령과 대선 후보, 정당 등이 폭넓게 대상이 됐다.
연구팀은 이러한 결과가 외국 연계 영향력 활동을 단순히 ‘어느 정치 세력을 지지하는가’의 관점만으로 바라봐서는 안 된다는 점을 보여준다고 설명했다. 특정 진영을 직접 지원하기보다 기존의 정치적 갈등을 자극해 사회적 불신과 양극화를 확대하는 방식으로 영향력을 행사할 가능성도 살펴야 한다는 것이다.
이번 연구는 온라인 영향력 활동을 계정 단위의 단순 분류에서 한 단계 더 나아가, 어떤 메시지가 어떤 방식으로 사회적 갈등을 증폭시키는지를 AI가 찾아내고 그 판단 근거까지 제시했다는 데 의미가 있다.
향후 이 기술은 선거 또는 국가적 위기처럼 사회적 관심과 갈등이 급격히 높아지는 시기에 활용될 수 있다. 포털과 모니터링 기관이 대규모 댓글 가운데 우선적으로 살펴봐야 할 계정이나 메시지를 AI로 선별하고, 전문가가 AI가 제시한 근거를 검토해 최종적으로 판단하는 방식이다. 다만 연구팀은 AI가 의심 계정을 자동으로 차단하거나 제재하는 방식보다 전문가의 판단을 지원하는 ‘설명 가능한 콘텐츠 관리 도구’로 활용하는 것이 중요하다고 강조했다.
이원재 교수는 “20년간의 데이터를 분석한 결과, 의심 계정들은 외국을 직접 찬양하기보다 한국과 국내 정치인을 비난하며 갈등을 키우는 패턴을 보였다”며 “선거 등 사회적 갈등이 높아지는 시기에 우선 검토해야 할 메시지를 가려내는 기준이 될 것”이라고 설명했다.
오혜연 교수는 “AI가 댓글의 표면적인 의미를 넘어 갈등을 유발하는 감정과 계정의 조직적인 행동 패턴까지 함께 분석했다”며 “갈수록 교묘해지는 온라인 영향력 활동을 탐지하는 데 활용될 것으로 기대한다”고 말했다.
차미영 교수는 “이번 연구는 데이터 과학을 실제 사회 문제 해결로 연결한 ‘액셔너블 데이터 과학(Actionable Data Science)’의 사례”라며 “디지털 공론장의 투명성과 신뢰를 높이는 실질적인 도구가 되길 기대한다”고 밝혔다.
공동 제1저자인 KAIST 김재홍 박사과정과 김현승 석사과정이 주도한 이번 연구는 컴퓨터 보안 분야 최고 권위 국제학술대회인 ‘USENIX Security Symposium 2026(유즈닉스 시큐리티 심포지엄 2026)’에서 8월 13일 발표될 예정이다.
※ 논문명: Cross-National Information Attacks: A Two-Decade Analysis of Troll Behavior in Korea, DOI: 10.48550/arXiv.2606.22785
이번 연구는 현대차 정몽구 재단과 글로벌 정보보호 고급 인력 양성과제(과학기술정보통신부·정보통신기획평가원, RS-2024-00441762), 중견연구자지원사업(과학기술정보통신부·한국연구재단, RS-2022-00165347), 첨단데이터컴퓨팅연구실 (KAIST, N11250080)의 지원을 받아 수행됐다.
2026.08.12
조회수 3859
-
AI가 여론 조작? 한국어 'AI 생성 댓글' 탐지 기술 개발
생성형 AI 기술이 발전하면서 이를 악용한 온라인 여론 조작 우려가 커지고 있다. 이에 따른 AI 생성글 탐지 기술도 개발되었는데 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼, 짧고(평균 51자), 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다. 우리 연구진이 한국어 AI 생성 댓글을 탐지하는 기술을 개발해서 화제다.
우리 대학 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소(국보연)와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 23일 밝혔다.
최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있으며, 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 수 있다. OpenAI의 GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 생성하는 데 단 20만 원이면 가능할 정도다. 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량의 댓글 생성을 수행할 수 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다. 또한, 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히, 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.
연구팀은 XDAC의 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로도 작용할 수 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯, 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이며, 인공지능 자연어처리 분야 최고 권위 학술대회인 7월 27일부터 개최되는 'ACL 2025' 메인 콘퍼런스에 채택되며 기술력을 인정받았다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
※논문원본: https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf
이번 연구는 우리 대학 김용대 교수의 지도 아래 국보연 소속이자 우리 대학 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 우리 대학 오혜연 교수가 공동 연구자로 참여했다.
2025.06.24
조회수 14358