%eb%85%b8%ec%9d%b4%ec%a6%88
-
AI도 ‘모른다’고 말한다... 과신 줄이고 신뢰성 높여
“AI도 스스로‘모른다’고 말할 수 있어야 한다.”
자율주행과 의료 진단 등에서 인공지능(AI)의 가장 큰 위험으로 지적돼 온‘과도한 확신(overconfidence·틀린 예측에 대하여 높은 확신을 보이는 현상)’문제를 해결할 새로운 접근법이 제시됐다. 우리 대학 연구진은 AI가 스스로 모르는 상황을 인식하도록 하는 학습 방법을 개발해, 과신을 줄이고 신뢰성을 높일 수 있는 기반을 마련했다.
우리 대학은 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝(deep learning·인공신경망을 활용해 데이터를 학습하는 인공지능 기술)에서 널리 사용돼 온 무작위 가중치 초기화(random initialization·신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위로 설정하는 방식)가 인공지능의 과신을 유발하는 근본적인 원인일 수 있음을 규명했다고 27일 밝혔다.
연구팀은 이를 해결하기 위해 실제 데이터를 학습하기 전, 무작위 노이즈(random noise·의미 없는 임의의 입력 데이터)로 신경망을 짧게 학습시키는 ‘예열(warm-up)’ 전략을 제안했다.
연구팀은 AI의 과신 문제가 학습 이후만이 아니라, 학습의 출발점인 초기화 단계에서부터 이미 나타난다는 점에 주목했다.
실제로 무작위로 초기화된 신경망에 임의의 데이터를 입력한 결과, 아직 아무것도 배우지 않은 상태임에도 불구하고 높은 확신도를 보이는 현상이 확인됐다. 이러한 특성은 생성형 AI에서 사실과 다른 내용을 만들어내는 환각(hallucination·존재하지 않는 정보를 그럴듯하게 만들어내는 현상) 문제로 이어질 수 있다.
연구팀은 해결의 실마리를 생물학적 두뇌에서 찾았다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 ‘자발적 신경 활동(spontaneous neural activity·외부 입력 없이 스스로 발생하는 뇌 신호)’을 통해 신경회로를 형성한다.
연구팀은 이 개념을 인공신경망에 적용해, 실제 학습에 앞서 무작위 노이즈 입력으로 짧은 사전 학습을 수행하는‘예열 단계’를 도입했다. 이는 인공지능이 본격적으로 학습을 시작하기 전에, 스스로의 불확실성을 먼저 조정하는 과정에 해당한다. 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되며, 기존 초기화에서 나타나던 과신 편향이 크게 완화됐다.
즉, 실제 데이터를 배우기 전에 ‘나는 아직 아무것도 모른다’는 상태를 먼저 학습하게 되는 것이다. 그 결과, 모델의 정확도(예측이 맞는 비율)와 확신도(모델이 스스로 맞다고 믿는 정도)가 자연스럽게 일치하는 방향으로 개선됐다.
특히 처음 보는 데이터에 대한 반응에서도 차이가 나타났다. 기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있었지만, 예열 학습을 적용한 모델은 확신도를 낮춰‘모른다’고 판단하는 능력이 뚜렷하게 향상됐다.
이를 통해 학습 데이터와 다른 분포를 가진 데이터를 구별하는 분포 밖 데이터 탐지(out-of-distribution detection·훈련에 사용되지 않은 새로운 유형의 데이터를 구분하는 기술)에서도 높은 성능을 보였다.
이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어, ‘무엇을 아는가’와 ‘무엇을 모르는가’를 구분하는 능력, 즉 메타 인지(meta-cognition·자신의 인지 상태를 스스로 인식하는 능력)를 갖출 수 있는 가능성을 제시했다.
백세범 석좌교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며, “정확도를 높이는 것을 넘어 인공지능이 스스로의 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 설명했다.
이번 기술은 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야는 물론, 거의 모든 딥러닝 모델의 초기화 방식에 적용될 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술로 활용될 것으로 기대된다.
KAIST 천정환 뇌인지과학과 석사(現 육군 일병)가 제1저자로 참여한 이번 연구는 인공지능 분야 국제 학술지 ‘네이처 머신 인텔리전스(Nature Machine Intelligence)’에 2026년 4월 9일자로 온라인 게재됐으며, 주목할 만한 논문으로 선정되어 ‘뉴스 앤 뷰스(News & Views)’에도 소개되었다.
※ 논문명: Brain-inspired warm-up training with random noise for uncertainty calibration, DOI: 10.1038/s42256-026-01215-x
※ 뉴스 앤 뷰스 소개: Learning to be uncertain before learning from data, DOI: 10.1038/s42256-026-01205-z
한편 이번 연구는 한국연구재단의 이공분야기초연구사업과 KAIST 싱귤래러티 연구사업의 지원을 받아 수행됐다.
2026.04.27 조회수 2482 -
개인 맞춤형 정밀 의학 정확도 높일 ‘렌즈’ 개발
평균이 아닌 개인차를 고려하는 정밀 의학 시대가 열렸다. 사람마다 다른 유전적 특징을 알아내는 기술이 비약적으로 발전한 덕분이다. 더 빠르고, 정확하게 전사체를 해독할 수 있는 새로운 도구가 개발됐다. 우리 대학 수리과학과 김재경 교수(IBS 수리 및 계산 과학 연구단 의생명 수학 그룹 CI) 연구팀은 전사체 분석 빅데이터에서 유용한 생물학적 정보만 골라내는 새로운 도구인 ‘scLENS(single-cell Low-dimension Embedding using Effective Noise Subtraction)’를 개발했다.
단일세포 전사체 분석은 최근 생물학, 신약 개발, 임상 연구 등 여러 분야에서 주목받는 도구다. 개별 세포 단위에서 유전적 변화를 확인할 수 있기 때문이다. 가령, 단일세포 전사체 분석을 이용하면 암 조직 내 수십 가지 종류의 세포를 구분하고, 유전적 변이가 발생한 세포만 표적하는 정밀 치료가 가능해진다.
단일세포 전사체 분석 기술이 임상에 광범위하게 이용되려면, 도출되는 빅데이터에서 유용한 생물학적 신호를 찾아내는 효율적인 분석 도구 개발이 선행돼야 한다. 단일세포 전사체 분석은 수백~수천 개에 이르는 개별 세포의 수만 개에 이르는 다양한 유전자 발현량을 측정하기 때문에 데이터 용량이 수~수십 GB에 달한다. 이 방대한 데이터 중 생물학적으로 유용한 신호는 3% 내외에 불과하다.
이 방대하고 노이즈(잡신호)가 많은 데이터에서 유용한 생물학적 신호를 골라내기 위해 지금까지 여러 데이터 처리 도구가 개발됐다. 하지만 기존 도구는 사용자가 생물학적 신호와 노이즈의 ‘경계선’을 직접 설정해야 해서 주관이 개입됐다. 즉, 분석가에 따라 결과가 크게 달라지고, 정확도가 떨어진다는 한계가 있었다.
우선, 연구진은 기존 분석 도구들이 부정확한 근본적인 원인을 규명하고 해결책을 제시했다. 사용자가 노이즈의 임계값을 결정하는 데이터 전처리 방식 자체가 생물학적 신호를 왜곡시킨다는 것을 규명하고, 왜곡 없는 새로운 전처리 방식을 개발했다. 나아가 연구진은 수학적 방법론인 ‘랜덤 행렬 이론’을 이용해 사용자의 주관적 선택 없이 자동으로 단일세포 전사체 분석 데이터에서 신호와 노이즈를 구별하는 프로그램인 ‘scLENS’를 개발했다.
제1 저자인 김현 연구원은 “scLENS는 사용자의 선택 없이 데이터에 내재된 구조만을 이용해 자동으로 신호와 노이즈를 구별하기 때문에 사용자 편향성 문제를 원천 차단할 수 있다”며 “연구자들의 노동집약적인 신호 선택 과정을 없애면서도 분석 정확성은 높였다”고 설명했다.
이어 연구진은 기존 개발된 11가지 데이터 분석 프로그램과 scLENS의 상대적 성능을 비교했다. 이를 통해 scLENS가 다른 모든 프로그램보다 우수한 성능을 보인다는 점을 확인할 수 있었다. 널리 쓰이는 프로그램인 ‘Seurat’과 비교했을 때 scLENS는 세포 그룹화 성능이 약 10% 이상 우수하며, 데이터에 내재된 국소 구조를 43% 더 효과적으로 포착하는 것으로 나타났다.
특히, scLENS는 기존 프로그램보다 많은 계산을 하지만 메모리 사용 최적화를 통해 10만 개의 세포와 2만 개의 유전자로 이뤄진 대규모 데이터를 3시간 만에 분석하는 경쟁력 있는 분석 속도를 보였다.
연구를 이끈 김재경 CI는 “지난 십여 년간 단일세포 전사체를 분석할 수 있는 실험 기술의 비약적인 발전했지만, 데이터 분석 방법의 한계로 인해 큰 비용과 시간을 투자해 얻은 데이터를 최대한 활용하지 못하는 경우가 많았다”며 “기초 수학 이론이 생명과학 연구의 혁신을 견인하고, 감춰졌던 생명의 비밀을 빠르고 정확하게 밝히는 데 쓰일 수 있음을 보여주는 연구”라고 말했다.
연구결과는 4월 27일(한국시간) 국제학술지 ‘네이처 커뮤니케이션즈(Nature Communications, IF 16.6)’ 온라인판에 실렸다.
2024.05.09 조회수 13324