연구
< PnPXAI 프레임워크 개념도 >
KAIST 설명가능 인공지능연구센터(센터장 최재식 교수)는 별도의 복잡한 설정이나 전문 지식 없이도 손쉽게 AI모델에 대한 설명성을 제공할 수 있는 플러그앤플레이(Plug-and-Play) 방식의 설명가능 인공지능 프레임워크를 개발해, 이를 27일 오픈소스로 공개했다.
설명가능 인공지능(Explainable AI, 이하 XAI)이란 AI 시스템의 결과에 영향을 미치는 주요 요소를 사람이 이해할 수 있는 형태로 설명해주는 제반 기술을 말한다. 최근 딥러닝 모델과 같이 내부 의사 결정 프로세스가 불투명한 블랙박스 AI 모델에 대한 의존도가 커지면서 설명가능 인공지능 분야에 대한 관심과 연구가 증가했다. 그러나 지금까지는 연구자와 기업 실무자들이 설명가능 인공지능 기술을 활용하는 것이 몇 가지 이유로 쉽지 않았다. 우선, 딥러닝 모델의 유형별로 적용 가능한 설명 알고리즘들이 서로 달라서 해당 모델에 적용할 수 있는 설명 알고리즘이 무엇인지 알기 위해서는 XAI에 대해 어느 정도 사전지식이 필요하기 때문이다. 두번째로, 대상 모델에 적용할 수 있는 설명 알고리즘을 파악하더라도, 각 알고리즘마다 다른 하이퍼 파라미터를 어떻게 설정해야 최적의 설명 결과를 얻을 수 있을지 이해하는 것은 여전히 어려운 과제이다. 세번째로는 적용된 다수의 설명 알고리즘들 중에 어떤 알고리즘이 가장 정확하고 신뢰할 수 있는 것인지를 정량적으로 평가하기 위해서 또다른 툴을 이용해야 하는 번거로운 과정이 뒤따라야 했다. 이번에 오픈소스로 공개된 플러그앤플레이 설명가능 인공지능 프레임워크(Plug-and-Play XAI Framework, 이하 PnPXAI 프레임워크)는 이러한 어려움을 해결하고자 개발되었으며, AI의 신뢰성이 중요한 다양한 AI시스템 연구개발 현장에서 유용한 도구로 활용될 것으로 기대된다.
PnPXAI 프레임워크는 적용 가능한 설명알고리즘을 자동으로 추천하기 위해 모델 구조를 인식하는 탐지모듈(Detector)과 적용가능한 설명 알고리즘을 선별하는 추천모듈(Recommender), 설명 알고리즘을 최적화하는 최적화모듈(Optimizer) 및 설명 결과 평가모듈(Evaluator)로 구성되어 있다. 사용자는 ‘자동설명(Auto Explanation)’ 모드에서 대상 모델과 데이터만 입력하면 설명 알고리즘의 시각적 결과(히트맵 또는 모델 결과에 영향을 끼친 중요한 속성들)와 설명의 정확도를 한번에 확인할 수 있다. 사용자들은 자동설명 모드를 통해 XAI에 대한 기본지식과 사용법을 숙지한 이후에는 프레임워크에 포함된 설명 알고리즘과 평가지표를 원하는 방식으로 자유롭게 활용할 수 있다.
현재 프레임워크에는 이미지, 텍스트, 시계열, 표 데이터 등 다양한 데이터유형을 지원하는 설명 알고리즘들이 제공되고 있다. 특히, 서울대학교(2세부 연구책임자 한보형교수)와 협력을 통해 뇌MRI 기반 알츠하이머병 진단모델에 대한 반예제 설명 알고리즘을 지원하였고, 서강대학교(3세부 연구책임자 구명완교수)와 공동연구를 통해 마비말장애 진단모델에 PnPXAI 프레임워크의 설명 알고리즘을 적용하여 AI 기반 의사결정지원 시스템에서 설명성을 성공적으로 구현하기도 했다. 또한, 한국전자통신연구원(4세부 연구책임자 배경만박사)에서 개발한 LLM(대규모언어모델) 생성결과의 사실성을 검증하는 알고리즘을 프레임워크에 통합하는 등 지원 범위를 지속적으로 확장하고 있다.
KAIST 설명가능 인공지능연구센터 최재식 센터장은 “기존 설명가능 인공지능 도구들의 한계를 해결하고, 다양한 도메인에서 실질적으로 활용하기 쉬운 도구를 제공하기 위해 국내 최고의 연구진과 수년간 협력한 성과”라며, “이 프레임워크 공개를 통해 AI 기술의 신뢰성을 높여 상용화에 기여하는 것은 물론, 우리 연구센터가 설명가능 인공지능 분야의 글로벌 연구 생태계를 선도하는 중요한 발판을 마련했다는 점에서 의의가 있다”고 밝혔다.
PnPXAI 프레임워크는 현재 국내 및 국제특허 출원을 완료했으며, Apache 2.0 라이선스를 준수하는 경우 누구나 깃허브 페이지[링크]를 통해 사용할 수 있다. 한편, 이 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다. (No. RS-2022-II220984, 플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증)
-
행사 인간 중심 AI 국제 워크숍 주최, 글로벌 AI 윤리논의 이끈다.
우리 대학은 11월 14일, 컴퓨터 과학 분야 세계적 권위의 학술대회인 ‘정보 및 지식관리 학회(The 34th International Conference on Information and Knowledge Management, CIKM 2025)’에서‘인간 중심 AI: 설명가능성과 신뢰성에서 실행 가능한 윤리까지(Human-Centric AI: From Explainability and Trustworthiness to Actionable Ethics)’를 주제로 국제 워크숍(워크샵 조직위원장: KAIST 김재철AI대학원 최재식 교수)을 개최할 예정이다. 이번 행사는 KAIST 김재철AI대학원이 주도하고 서울대, 서강대, 성균관대, 한국전자통신연구원(ETRI), 독일 TU Berlin 등 국내외 유수 기관이 공동으로 참여하는 자리다. AI 기술의 잠재적 위험을 줄이고 책임 있는 활용을 위한 ‘인간 중심 AI&rsquo
2025-11-07 -
연구 ‘2025 AI 챔피언’등극.. AI가 이제 택시도 스스로 부른다
이제는 단순히 대화만 하는 음성비서를 넘어, AI가 직접 화면을 보고 판단해 택시를 호출하고 SRT 티켓을 예매하는 시대가 열렸다. 우리 대학은 전산학부 신인식 교수(㈜플루이즈 대표)가 이끄는 AutoPhone 팀(플루이즈·KAIST·고려대·성균관대)이 과학기술정보통신부가 주최한 ‘2025 인공지능 챔피언(AI Champion) 경진대회’에서 초대 AI 챔피언(1위)에 선정됐다고 6일 밝혔다. 이번 대회는 AI 기술의 혁신성, 사회적 파급력, 사업화 가능성을 종합 평가하는 국내 최대 규모의 AI 기술 경진대회로, 전국 630개 팀이 참가한 가운데 AutoPhone 팀이 최고 영예를 차지하며 연구개발비 30억 원을 지원받는다. AutoPhone 팀이 개발한 ‘FluidGPT’는 사용자의 음성 명령을 이해해 스마트폰이 스스로 앱을 실행하고 클릭·입력·결제까지 완료하는 완전
2025-11-06 -
행사 IEEE 회장 크레이머 교수, 전기및전자공학부서 인공지능 특별 강연 개최
세계 최대 전기·전자 기술 학회인 IEEE(Institute of Electrical and Electronics Engineers)의 캐슬린 크레이머(Kathleen A. Kramer) 회장이 30일 우리 대학을 방문해 ‘인공지능의 미래를 함께 그리다’라는 주제로 특별 강연을 진행했다. 전기및전자공학부(학부장 유승협)의 초청으로 콜로퀴엄 연단에 선 크레이머 회장은 IEEE의 핵심 비전인 ‘인류를 위한 기술 발전(Advancing Technology for Humanity)’을 바탕으로 “인공지능(AI)은 더 이상 먼 미래의 개념이 아니라, 혁신의 중심에서 인류의 삶을 변화시키는 기술이 되었다”라고 강조했다. 이어 “기술은 인간의 가치를 중심으로 발전해야 하며, 윤리와 포용성을 기반으로 한 인공지능이 진정한 혁신을 이끌 수 있다”라고 덧붙이며, 인공지능의 발전 방향과 기술
2025-11-03 -
연구 AI로 기후리스크에 강한 도시 상권 찾아낸다
우리 대학은 도시인공지능연구소(소장 건설및 환경공학과 윤윤진 지정석좌교수)가 미국 MIT 센서블 시티 랩(Senseable City Lab, 소장 Carlo Ratti 교수)과 함께 ‘도시와 인공지능(Urban AI)’분야의 공동연구를 진행하고, 그 성과를 서울 코엑스에서 열린 9월 말 ‘스마트라이프위크 2025(Smart Life Week 2025)’ 전시를 통해 공개했다고 10월 29일 밝혔다. KAIST와 MIT는 도시의 주요 문제를 인공지능으로 해석하는‘Urban AI 공동연구 프로그램’을 추진해 왔으며, 이번 전시에서는 ▲도시 기후 변화 ▲녹지 환경 ▲데이터 포용성 등 세 가지 주제를 중심으로 연구 성과를 시민이 직접 체험할 수 있는 형태로 선보였다. 양 기관은 이번 협력을 통해 AI 기술이 도시의 문제를 계산하는 도구를 넘어, 사회적 이해와 공감을 이끄는 새로운 지능으로 확장될 수 있음을 보여주며 ▲도
2025-10-29 -
연구 사람처럼 텍스트·이미지 등 동시에 이해하는 멀티모달 AI 개발
보통 그림과 글자가 함께 있을 때 사람의 시선이 그림에 먼저 가는 것처럼, 여러 감각을 동시에 활용하는 ‘멀티모달 인공지능’도 특정 데이터에 더 크게 의존하는 경향이 있다. 우리 대학 연구진은 이러한 상황에서도 그림과 글자를 모두 고르게 인식하여 훨씬 더 정확한 예측을 가능케 하는 멀티모달 인공지능 학습 기술을 개발했다. 우리 대학은 전기및전자공학부 황의종 교수 연구팀이 다양한 데이터 유형을 한 번에 처리해야 하는 멀티모달 인공지능이 모든 데이터를 고르게 활용할 수 있도록 돕는 새로운 학습 데이터 증강 기술을 개발했다고 14일 밝혔다. 멀티모달 인공지능은 텍스트, 영상 등 여러 데이터를 동시에 활용해 판단하고 있다. 하지만 인공지능은 여러 정보를 받아들일 때, 한쪽 데이터에 치우쳐 판단하는 경향을 보여 예측 성능이 떨어지는 문제가 있었다. 연구팀은 이 문제를 해결하기 위해, 일부러 서로 어울리지 않는 데이터를 섞어서 학습에 사용했다. 그러면 인공지능은
2025-10-14