%ec%b5%9c%ec%9e%ac%ec%8b%9d
-
KAIST-카카오뱅크, '설명 가능한 AI' 속도 11배 높였다. "금융 AI 신뢰도↑"
우리 대학 김재철AI대학원 최재식 교수 연구팀이 ㈜카카오뱅크(대표 윤호영)와 공동으로 인공지능(AI) 모델의 판단 근거를 실시간으로 설명할 수 있는 가속화 설명 기술을 개발했다고 밝혔다.
이번 연구 성과는 AI 모델의 예측 결과에 대한 기존 설명 알고리즘 대비 평균 8.5배, 최대 11배 이상 빠른 처리 속도를 달성해, 금융 서비스 등 실시간 의사결정이 필요한 분야에서 설명가능 인공지능(Explainable Artificial Intelligence, 이하 XAI) 기술의 실용화 가능성을 크게 높였다.
금융 분야에서는 AI 시스템이 내린 결정에 대한 명확한 설명이 필수적이다. 특히 대출 심사나 이상거래 탐지와 같이 고객의 권익과 직결된 서비스에서는 AI 모델의 판단 근거를 투명하게 제시해야 하는 규제 요구가 점차 강화되고 있다. 하지만 기존의 설명가능 인공지능(XAI) 기술은 정확한 설명을 생성하기 위해 수백에서 수천 개의 기준점(Baseline)을 반복 계산해야 하므로 막대한 연산 비용이 발생했다. 이는 실시간 서비스 환경에서 설명가능 인공지능 (XAI) 기술의 적용을 제약하는 주요 요인이었다.
최재식 교수 연구팀은 이러한 문제를 해결하기 위해 'ABSQR(Amortized Baseline Selection via Rank-Revealing QR)'이라는 설명 알고리즘 가속화 프레임워크를 개발했다. ABSQR은 AI 모델 설명 과정에서 생성되는 가치 함수 행렬(value function matrix)이 저차원 구조를 가진다는 점에 착안해, 수백 개의 기준점 중에서 핵심적인 소수만을 선별하는 방식을 도입했다. 기준점 개수에 비례하던 연산량을 선별된 중요 기준점 개수에만 비례하도록 획기적으로 줄여, 설명 정확도는 유지하면서도 계산 효율성을 극대화했다.
구체적으로 ABSQR은 두 단계로 작동한다. 첫 번째 단계에서는 특이값 분해(SVD)와 랭크 판별형 QR 분해(Rank-Revealing QR decomposition) 기법을 활용해 중요한 기준점들을 체계적으로 선별한다. 이는 기존의 무작위 샘플링 방식과 달 정보력 복원 유지를 목적으로 한 결정론적 선택 방법으로, 설명의 정확도를 보장하면서도 계산량을 획기적으로 줄일 수 있다. 두 번째 단계에서는 사전에 계산해둔 기준점의 가중치들을 클러스터 기반 검색을 통해 재사용하는 가속화 추론(amortized inference) 메커니즘을 도입해, 실시간 서비스 환경에서 모델 평가를 반복하지 않고도 모델의 예측 결과에 대한 설명을 제공할 수 있게 했다.
연구팀은 다양한 실제 데이터셋을 대상으로 한 실험을 통해 ABSQR의 우수성을 검증했다. 금융, 마케팅, 인구통계 등 5개 분야의 표준 데이터셋에 대한 테스트 결과, ABSQR은 모든 기준점을 사용하는 기존 설명 알고리즘 대비 평균 8.5배 빠른 처리 속도를 달성했으며, 최대 11배 이상의 속도 향상을 기록했다. 또한, 속도 향상에 따른 설명 정확도 저하를 최소화하여 기준 알고리즘 대비 최대 93.5%의 설명 정확도를 유지했다. 이는 실무 환경에서 요구되는 설명 품질을 충분히 만족하는 수준이다.
카카오뱅크 관계자는 "앞으로도 끊임없는 연구개발을 통해 금융 서비스의 신뢰도와 편의성을 높이고, 고객이 체감할 수 있는 혁신적인 금융 기술을 선보이겠다"고 밝혔다.
공동 제1 저자인 KAIST 이찬우, 박영진 연구원은 "금융 분야에서 실시간 적용을 위해 가장 중요한 과제인 가속화 문제를 해결한 방법론으로, 사용자에게 학습 모델에 대한 의사결정 원인을 실시간으로 제공할 수 있음을 입증했다"라고 연구의 의의를 설명했다. 이어 "이번 연구는 설명 알고리즘에서 불필요한 연산과 중요한 기준점 선택이 무엇인지에 대한 새로운 통찰을 제공하며, 설명 기술의 효율성 향상에 실질적으로 기여할 것"이라고 덧붙였다.
KAIST 김재철AI대학원 이찬우, 박영진 박사 과정 연구원과 카카오뱅크 금융기술연구소 이현근, 유예은 연구원이 공동 제1 저자로 참여한 이번 연구는 정보 및 지식 관리 분야의 세계 최고 권위 학술대회인 'CIKM 2025(ACM International Conference on Information and Knowledge Management)'에서 11월 12일에 발표되었다.
※ 논문명: Amortized Baseline Selection via Rank-Revealing QR for Efficient Model Explanation
※ 저자 정보:
- 공동 제1저자: 이찬우(KAIST 김재철AI대학원), 박영진(KAIST 김재철AI대학원), 이현근(카카오뱅크), 유예은(카카오뱅크)
- 공저자: 한대희(카카오뱅크), 최준호(KAIST 김재철AI대학원), 김건형(KAIST 김재철AI대학원)
- 교신저자: 김나리(KAIST 김재철AI대학원), 최재식(KAIST 김재철AI대학원)
※ DOI: https://doi.org/10.1145/3746252.3761036
한편, 이번 연구성과는 카카오뱅크의 산학 연구과제 ‘금융분야 설명가능 인공지능 알고리즘 고도화 연구’와 과기정통부·정보통신기획평가원(IITP)의 지원 과제 ‘플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증'를 통해 수행됐다.
2025.12.11 조회수 974 -
AI가 어떻게 생각하는가?...의사결정 내부 구조 첫 시각화
딥러닝 기반 이미지 인식 기술이 빠르게 고도화되고 있지만, AI가 내부에서 어떤 기준으로 이미지를 보고 판단하는지는 여전히 명확히 설명하기 어려운 영역으로 남아 있다. 특히 대규모 모델이 어떤 개념(예: 고양이 귀, 자동차 바퀴 등)을 어떻게 조합해 결론을 내리는지 분석하는 기술은 오랫동안 해결해야 할 과제로 제기돼 왔다.
우리 대학은 김재철AI대학원 최재식 교수 연구팀이 AI가 어떤 근거로 판단하는지를 인간이 이해할 수 있도록 보여주는‘설명가능성(XAI, Explainable AI)’분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다.
이번 연구는 ‘AI가 어떻게 생각하는지’를 구조적으로 들여다볼 수 있도록 한 중요한 진전으로 평가된다.
딥러닝 모델 내부에는 인간의 뇌처럼 ‘뉴런(Neuron)’이라는 기본 계산 단위가 존재한다. 뉴런은 이미지 속 작은 특징—예를 들어 귀 모양, 특정 색, 윤곽선 등—을 감지하는 기능을 갖고 있으며, 값(신호)을 계산해 다음 단계로 전달한다.
반면 ‘회로(circuit)’는 이러한 뉴런 여러 개가 서로 연결되어 하나의 의미(개념)를 함께 인식하는 구조를 말한다. 예를 들어 ‘고양이 귀’라는 개념을 인식하기 위해서는 귀의 윤곽을 감지하는 뉴런, 삼각형 형태를 감지하는 뉴런, 털 색 패턴을 감지하는 뉴런 등 여러 뉴런이 순차적으로 작동해야 하며, 이들이 하나의 기능 단위(회로)를 이룬다.
지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 중심의 접근이 많았다. 그러나 실제 딥러닝 모델은 여러 뉴런이 협력하는 회로 구조로 개념을 형성하며, KAIST 연구팀은 이 점에 착안해 AI의 개념 표현 단위를 '뉴런 → 회로'로 확장해 해석하는 기술을 제시했다.
연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.
GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 계산해 회로를 자동적으로 추적한다. 뉴런 민감도는 특정 뉴런이 어떤 특징에 얼마나 민감하게 반응하는지, 의미 흐름 점수는 그 특징이 다음 개념으로 얼마나 강하게 전달되는지를 보여주는 지표로, 이를 통해 색·질감 같은 기본 특징이 어떻게 상위 개념으로 조립되는지 단계적으로 시각화할 수 있다.
연구팀은 특정 회로를 잠시 비활성화(ablation)하는 실험을 수행했다. 그 결과, 회로가 담당하던 개념이 사라지면서 AI의 예측이 실제로 달라지는 현상이 나타났다.
즉, 해당 회로가 실제로 그 개념을 인식하는 기능을 수행하고 있음을 직접적으로 입증한 것이다.
이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(Bias) 검출, 모델 디버깅 및 구조 개선, 안전성·책임성 향상 등 설명가능성(XAI) 전반에서 실질적인 응용 가능성을 제시한 것이다.
연구팀은 “AI가 내부에서 만드는 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술”이라며 “이번 연구는 AI가 ‘어떻게 생각하는지’를 과학적으로 연구할 수 있는 출발점”이라고 밝혔다.
최재식 교수는 “복잡한 모델을 단순화해 설명하던 기존 방식과 달리, 모델 내부를 세부 회로 단위로 정밀하게 해석한 최초의 접근”이라며 “AI가 학습한 개념을 자동으로 추적·시각화할 수 있음을 입증했다”고 말했다.
KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술대회 `국제 컴퓨터 비전 학술대회 (International Conference on Computer Vision, ICCV)’에서 10월 21일 발표되었다.
※ 논문명 : Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations
※ 논문링크: https://openaccess.thecvf.com/content/ICCV2025/papers/Kwon_Granular_Concept_Circuits_Toward_a_Fine-Grained_Circuit_Discovery_for_Concept_ICCV_2025_paper.pdf
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 사람중심핵심원천기술개발사업의 일환으로 '플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증' 과제, AI 연구거점 프로젝트 및 한국과학기술원 인공지능 대학원 프로그램과제의 지원을 받고 방위사업청과 국방과학연구소의 지원으로 한국과학기술원 미래 국방 인공지능 특화연구센터에서 수행됐다.
2025.11.26 조회수 1355 -
인간 중심 AI 국제 워크숍 주최, 글로벌 AI 윤리논의 이끈다.
우리 대학은 11월 14일, 컴퓨터 과학 분야 세계적 권위의 학술대회인 ‘정보 및 지식관리 학회(The 34th International Conference on Information and Knowledge Management, CIKM 2025)’에서‘인간 중심 AI: 설명가능성과 신뢰성에서 실행 가능한 윤리까지(Human-Centric AI: From Explainability and Trustworthiness to Actionable Ethics)’를 주제로 국제 워크숍(워크샵 조직위원장: KAIST 김재철AI대학원 최재식 교수)을 개최할 예정이다.
이번 행사는 KAIST 김재철AI대학원이 주도하고 서울대, 서강대, 성균관대, 한국전자통신연구원(ETRI), 독일 TU Berlin 등 국내외 유수 기관이 공동으로 참여하는 자리다.
AI 기술의 잠재적 위험을 줄이고 책임 있는 활용을 위한 ‘인간 중심 AI’의 구체적 방향을 논의하기 위해 마련됐다. 워크숍에서는 AI의 설명가능성, 신뢰성, 윤리적 실행을 중심 주제로, AI 시스템이 투명하고 공정하며 인간의 가치에 부합하도록 운영되기 위한 기술적·정책적 방안이 심도 있게 다뤄진다.
이번 워크숍의 조직위원회는 KAIST 김재철AI대학원 최재식 교수와 전기및전자공학부 유창동 교수를 비롯해 서울대 한보형 교수, 서강대 구명완 교수, 성균관대 우사이먼성일 교수, ETRI 배경만 박사, 그리고 설명가능 인공지능(XAI) 분야 세계적 석학인 Wojciech Samek 교수(TU Berlin/Fraunhofer HHI)로 구성됐다.
행사는 세 개의 기조 강연(Keynote)과 구두 발표, 포스터 세션으로 구성된다. 기조연설에는 홍콩중문대학 어윈 킹(Irwin King) 교수가 ‘연합학습과 그 너머’를 주제로, KAIST 유창동 교수가 ‘대규모 비전-언어 모델의 공정한 정렬’를 주제로, 독일 프라운호퍼(Fraunhofer) HHI 연구소의 막시밀리안 드레이어(Maximilian Dreyer) 연구원이 ‘엔지니어처럼 AI를 검증하기: 설명에서 검증으로, 시맨틱렌즈와 함께’를 주제로 발표해 AI 신뢰성과 윤리 구현을 위한 최신 연구 동향을 공유한다.
우리 대학은 이번 행사를 통해 국내 AI 연구가 기술적 성과를 넘어 국제 윤리 논의의 중심으로 도약하고 있음을 보여줬다. 또한, 학계와 산업계의 전문가들이 한자리에 모여 신뢰할 수 있는 AI 구축을 위한 실천적 로드맵과 가이드라인을 논의하는 계기가 될 것으로 기대된다.
워크숍 조직위원장인 최재식 교수(KAIST 김재철AI대학원)은 “이번 워크숍은 인간 중심 AI의 핵심 주제인 설명가능성, 공정성, 프라이버시를 아우르는 글로벌 논의의 장이 될 것”이라며, “KAIST가 선도하는 인공지능 신뢰 연구가 국제 협력과 함께 윤리적 기술 발전의 방향을 제시할 것”이라고 말했다.
워크숍 참가를 희망하는 경우 CIKM 2025 학회 등록이 별도로 필요하며, 사전 등록은 https://bit.ly/hcai2025-reg 에서 가능하며 현장 등록도 가능하다.
한편, 이번 행사는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)이 지원하는‘인공지능 신뢰확보 분야 과제협의체’의 일환으로 추진되었으며, 국내외 연구자 간 학술 교류와 연구 성과 확산을 목표로 하고 있다. (참여과제 KAIST(RS-2022-II220984, RS-2022-II220184), 서울대(RS-2022-II220959), 서강대(RS-2022-II220621), ETRI(RS-2022-II220369), 성균관대(RS-2022-II220688)
2025.11.07 조회수 1248 -
‘뻔하지 않은 창의적인 의자’그리는 AI 기술 개발
최근 텍스트 기반 이미지 생성 모델은 자연어로 제공된 설명만으로도 고해상도·고품질 이미지를 자동 생성할 수 있다. 하지만, 대표적인 예인 스테이블 디퓨전(Stable Diffusion) 모델에서 ‘창의적인’이라는 텍스트를 입력했을 경우, 창의적인 이미지 생성은 아직은 제한적인 수준이다. KAIST 연구진이 스테이블 디퓨전(Stable Diffusion) 등 텍스트 기반 이미지 생성 모델에 별도 학습 없이 창의성을 강화할 수 있는 기술을 개발해, 예컨대 뻔하지 않은 창의적인 의자 디자인도 인공지능이 스스로 그려낼 수 있게 됐다.
우리 대학 김재철AI대학원 최재식 교수 연구팀이 네이버(NAVER) AI Lab과 공동 연구를 통해, 추가적 학습 없이 인공지능(AI) 생성 모델의 창의적 생성을 강화하는 기술을 개발했다.
최 교수 연구팀은 텍스트 기반 이미지 생성 모델의 내부 특징 맵을 증폭해 창의적 생성을 강화하는 기술을 개발했다. 또한, 모델 내부의 얕은 블록들이 창의적 생성에 중요한 역할을 한다는 것을 발견하고, 특징 맵을 주파수 영역으로 변환 후, 높은 주파수 영역에 해당하는 부분의 값을 증폭하면 노이즈나 작게 조각난 색깔 패턴의 형태를 유발하는 것을 확인했다. 이에 따라, 연구팀은 얕은 블록의 낮은 주파수 영역을 증폭함으로써 효과적으로 창의적 생성을 강화할 수 있음을 보였다.
연구팀은 창의성을 정의하는 두 가지 핵심 요소인 독창성과 유용성을 모두 고려해, 생성 모델 내부의 각 블록 별로 최적의 증폭 값을 자동으로 선택하는 알고리즘을 제시했다.
개발된 알고리즘을 통해 사전 학습된 스테이블 디퓨전 모델의 내부 특징 맵을 적절히 증폭해 추가적인 분류 데이터나 학습 없이 창의적 생성을 강화할 수 있었다.
연구팀은 개발된 알고리즘을 사용하면 기존 모델 대비 더욱 참신하면서도 유용성이 크게 저하되지 않은 이미지를 생성할 수 있음을 다양한 측정치를 활용해 정량적으로 입증했다.
특히, 스테이블 디퓨전 XL(SDXL) 모델의 이미지 생성 속도를 대폭 향상하기 위해 개발된 SDXL-Turbo 모델에서 발생하는 모드 붕괴 문제를 완화함으로써 이미지 다양성이 증가한 것을 확인했다. 나아가, 사용자 연구를 통해 사람이 직접 평가했을 때도 기존 방법에 비해 유용성 대비 참신성이 크게 향상됨을 입증했다.
공동 제1 저자인 KAIST 한지연, 권다희 박사과정은 "생성 모델을 새로 학습하거나 미세조정 학습하지 않고 생성 모델의 창의적인 생성을 강화하는 최초의 방법론ˮ이라며 "학습된 인공지능 생성 모델 내부에 잠재된 창의성을 특징 맵 조작을 통해 강화할 수 있음을 보였다ˮ 라고 말했다.
이어 “이번 연구는 기존 학습된 모델에서도 텍스트만으로 창의적 이미지를 손쉽게 생성할 수 있게 됐으며, 이를 통해 창의적인 상품 디자인 등 다양한 분야에서 새로운 영감을 제공하고, 인공지능 모델이 창의적 생태계에서 실질적으로 유용하게 활용될 수 있도록 기여할 것으로 기대된다”라고 밝혔다.
KAIST 김재철AI대학원 한지연 박사과정과 권다희 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술지 `국제 컴퓨터 비전 및 패턴인식 학술대회 (IEEE Conference on Computer Vision and Pattern Recognition, CVPR)’에서 6월 15일 발표됐다.
※논문명 : Enhancing Creative Generation on Stable Diffusion-based Models
※DOI: https://doi.org/10.48550/arXiv.2503.23538
한편 이번 연구는 KAIST-네이버 초창의적 AI 연구센터, 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받은 혁신성장동력프로젝트 설명가능인공지능, AI 연구거점 프로젝트, 점차 강화되고 있는 윤리 정책에 발맞춰 유연하게 진화하는 인공지능 기술 개발 연구 및 KAIST 인공지능 대학원 프로그램과제의 지원을 받았고 방위사업청과 국방과학연구소의 지원으로 KAIST 미래 국방 인공지능 특화연구센터에서 수행됐다.
2025.06.19 조회수 4199 -
KAIST 설명가능 인공지능연구센터, 플러그앤플레이 방식의 설명가능 인공지능 프레임워크 공개
KAIST 설명가능 인공지능연구센터(센터장 최재식 교수)는 별도의 복잡한 설정이나 전문 지식 없이도 손쉽게 AI모델에 대한 설명성을 제공할 수 있는 플러그앤플레이(Plug-and-Play) 방식의 설명가능 인공지능 프레임워크를 개발해, 이를 27일 오픈소스로 공개했다.
설명가능 인공지능(Explainable AI, 이하 XAI)이란 AI 시스템의 결과에 영향을 미치는 주요 요소를 사람이 이해할 수 있는 형태로 설명해주는 제반 기술을 말한다. 최근 딥러닝 모델과 같이 내부 의사 결정 프로세스가 불투명한 블랙박스 AI 모델에 대한 의존도가 커지면서 설명가능 인공지능 분야에 대한 관심과 연구가 증가했다. 그러나 지금까지는 연구자와 기업 실무자들이 설명가능 인공지능 기술을 활용하는 것이 몇 가지 이유로 쉽지 않았다. 우선, 딥러닝 모델의 유형별로 적용 가능한 설명 알고리즘들이 서로 달라서 해당 모델에 적용할 수 있는 설명 알고리즘이 무엇인지 알기 위해서는 XAI에 대해 어느 정도 사전지식이 필요하기 때문이다. 두번째로, 대상 모델에 적용할 수 있는 설명 알고리즘을 파악하더라도, 각 알고리즘마다 다른 하이퍼 파라미터를 어떻게 설정해야 최적의 설명 결과를 얻을 수 있을지 이해하는 것은 여전히 어려운 과제이다. 세번째로는 적용된 다수의 설명 알고리즘들 중에 어떤 알고리즘이 가장 정확하고 신뢰할 수 있는 것인지를 정량적으로 평가하기 위해서 또다른 툴을 이용해야 하는 번거로운 과정이 뒤따라야 했다. 이번에 오픈소스로 공개된 플러그앤플레이 설명가능 인공지능 프레임워크(Plug-and-Play XAI Framework, 이하 PnPXAI 프레임워크)는 이러한 어려움을 해결하고자 개발되었으며, AI의 신뢰성이 중요한 다양한 AI시스템 연구개발 현장에서 유용한 도구로 활용될 것으로 기대된다.
PnPXAI 프레임워크는 적용 가능한 설명알고리즘을 자동으로 추천하기 위해 모델 구조를 인식하는 탐지모듈(Detector)과 적용가능한 설명 알고리즘을 선별하는 추천모듈(Recommender), 설명 알고리즘을 최적화하는 최적화모듈(Optimizer) 및 설명 결과 평가모듈(Evaluator)로 구성되어 있다. 사용자는 ‘자동설명(Auto Explanation)’ 모드에서 대상 모델과 데이터만 입력하면 설명 알고리즘의 시각적 결과(히트맵 또는 모델 결과에 영향을 끼친 중요한 속성들)와 설명의 정확도를 한번에 확인할 수 있다. 사용자들은 자동설명 모드를 통해 XAI에 대한 기본지식과 사용법을 숙지한 이후에는 프레임워크에 포함된 설명 알고리즘과 평가지표를 원하는 방식으로 자유롭게 활용할 수 있다.
현재 프레임워크에는 이미지, 텍스트, 시계열, 표 데이터 등 다양한 데이터유형을 지원하는 설명 알고리즘들이 제공되고 있다. 특히, 서울대학교(2세부 연구책임자 한보형교수)와 협력을 통해 뇌MRI 기반 알츠하이머병 진단모델에 대한 반예제 설명 알고리즘을 지원하였고, 서강대학교(3세부 연구책임자 구명완교수)와 공동연구를 통해 마비말장애 진단모델에 PnPXAI 프레임워크의 설명 알고리즘을 적용하여 AI 기반 의사결정지원 시스템에서 설명성을 성공적으로 구현하기도 했다. 또한, 한국전자통신연구원(4세부 연구책임자 배경만박사)에서 개발한 LLM(대규모언어모델) 생성결과의 사실성을 검증하는 알고리즘을 프레임워크에 통합하는 등 지원 범위를 지속적으로 확장하고 있다.
KAIST 설명가능 인공지능연구센터 최재식 센터장은 “기존 설명가능 인공지능 도구들의 한계를 해결하고, 다양한 도메인에서 실질적으로 활용하기 쉬운 도구를 제공하기 위해 국내 최고의 연구진과 수년간 협력한 성과”라며, “이 프레임워크 공개를 통해 AI 기술의 신뢰성을 높여 상용화에 기여하는 것은 물론, 우리 연구센터가 설명가능 인공지능 분야의 글로벌 연구 생태계를 선도하는 중요한 발판을 마련했다는 점에서 의의가 있다”고 밝혔다.
PnPXAI 프레임워크는 현재 국내 및 국제특허 출원을 완료했으며, Apache 2.0 라이선스를 준수하는 경우 누구나 깃허브 페이지[링크]를 통해 사용할 수 있다. 한편, 이 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다. (No. RS-2022-II220984, 플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증)
2024.12.27 조회수 7206 -
KAIST 설명가능 인공지능연구센터, 2024 XAI 튜토리얼 시리즈 성황리 종료
국내 최대의 설명가능 인공지능(XAI) 연구조직인 KAIST 설명가능 인공지능연구센터(센터장 KAIST 최재식 교수)는 11월 5일부터 22일까지 7회에 걸쳐 설명가능 인공지능 튜토리얼 시리즈를 성공적으로 개최했다. 이번 튜토리얼에는 학생, 연구자, 기업 실무자 등 누적인원 총 530여 명이 참여하여 설명가능 인공지능 기술에 대한 높은 관심과 수요를 보여주었다.
행사는 XAI의 주요 알고리즘부터 최신 연구 주제까지, 총 16개 세션 발표로 진행되었다. 개회 강연으로 ‘설명가능 인공지능 최신 연구 동향’에 대해 최재식 교수가 발표하였고, 이어서 KAIST 설명가능 인공지능연구센터 소속 석·박사 과정 연구원들이 △주요 XAI 알고리즘 △XAI 알고리즘의 평가기법 △거대 언어모델(LLM), 이미지 생성모델, 시계열 데이터에 대한 설명성 △ XAI Framework, 의료 도메인 적용 사례를 주제로 발표했다. 튜토리얼 마지막날에는 독일 Fraunhofer HHI(Heinrich Hertz Institute) 소속 연구원들이 개념 기반 설명(Concept-based Explanations)을 주제로 최신 연구 결과를 공유했다. 또한 이강혜 변호사(법무법인(유) 태평양)가 AI의 신뢰성과 안전성을 확보하기 위한 국내외 AI규제 동향에 대해 초청강연을 했다.
행사를 주관한 최재식 교수는 “최근 국내외에서 AI규제와 입법화가 본격화되면서, AI시스템의 신뢰성, 안전성, 설명성 등이 필수적으로 요구되는 상황에서 학계와 산업계에 관련 기술 교육 프로그램을 폭넓게 제공하고자 했다”고 말했다. 특히 이번 행사는 KAIST 김재철 AI대학원 성남연구센터와 공동으로 주최해 성남시 소재 유관 기업들의 적극적인 참여를 이끌어냈다.
튜토리얼의 발표자료와 녹화영상은 행사 홈페이지에서 제공된다.
(https://xai.kaist.ac.kr/Tutorial/2024/)
KAIST 설명가능 인공지능연구센터는 AI 모델의 내부 구조를 해석하고, 모델의 의사결정 과정을 설명할 수 있는 알고리즘을 연구하며, 이를 의료, 금융, 제조 등 다양한 실제 도메인에 적용하는 산학 공동연구를 활발히 수행하고 있다. 본 연구센터는 사람중심인공지능 핵심원천기술개발사업의 일환으로 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 설립되었으며, 현재 KAIST 김재철AI대학원 성남연구센터에 위치하고 있다.
2024.11.29 조회수 6827 -
세계 최고 수준의 딥러닝 의사결정 설명기술 개발
우리 대학 김재철AI대학원 최재식 교수(㈜인이지 대표이사) 연구팀이 인공지능 딥러닝의 의사결정에 큰 영향을 미치는 입력 변수의 기여도를 계산하는 세계 최고 수준의 기술을 개발했다고 23일 밝혔다.
최근 딥러닝 모델은 문서 자동 번역이나 자율 주행 등 실생활에 널리 보급되고 활용되는 추세 및 발전에도 불구하고 비선형적이고 복잡한 모델의 구조와 고차원의 입력 데이터로 인해 정확한 모델 예측의 근거를 제시하기 어렵다. 이처럼 부족한 설명성은 딥러닝이 국방, 의료, 금융과 같이 의사결정에 대한 근거가 필요한 중요한 작업에 대한 적용을 어렵게 한다. 따라서 적용 분야의 확장을 위해 딥러닝의 부족한 설명성은 반드시 해결해야 할 문제다.
최교수 연구팀은 딥러닝 모델이 국소적인 입력 공간에서 보이는 입력 데이터와 예측 사이의 관계를 기반으로, 입력 데이터의 특징 중 모델 예측의 기여도가 높은 특징만을 점진적으로 추출해나가는 알고리즘과 그 과정에서의 입력과 예측 사이의 관계를 종합하는 방법을 고안해 모델의 예측 과정에 기여하는 입력 특징의 정확한 기여도를 계산했다. 해당 기술은 모델 구조에 대한 의존성이 없어 다양한 기존 학습 모델에서도 적용이 가능하며, 딥러닝 예측 모델의 판단 근거를 제공함으로써 신뢰도를 높여 딥러닝 모델의 활용성에도 크게 기여할 것으로 기대된다.
㈜인이지의 전기영 연구원, 우리 대학 김재철AI대학원의 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 오는 12월 1일, 국제 학술대회 `신경정보처리학회(Neural Information Processing Systems, NeurIPS) 2022'에서 발표될 예정이다.
모델의 예측에 대한 입력 특징의 기여도를 계산하는 문제는 해석이 불가능한 딥러닝 모델의 작동 방식을 설명하는 직관적인 방법 중 하나다. 특히, 이미지 데이터를 다루는 문제에서는 모델의 예측 과정에 많이 기여한 부분을 강조하는 방식으로 시각화해 설명을 제공한다.
딥러닝 예측 모델의 입력 기여도를 정확하게 계산하기 위해서 모델의 경사도를 이용하거나, 입력 섭동(행동을 다스림)을 이용하는 등의 연구가 활발히 진행되고 있다. 그러나 경사도를 이용한 방식의 경우 결과물에 잡음이 많아 신뢰성을 확보하기 어렵고, 입력 섭동을 이용하는 경우 모든 경우의 섭동을 시도해야 하지만 너무 많은 연산을 요구하기 때문에, 근사치를 추정한 결과만을 얻을 수 있다.
연구팀은 이러한 문제 해결을 위해 입력 데이터의 특징 중에서 모델의 예측과 연관성이 적은 특징을 점진적으로 제거해나가는 증류 알고리즘을 개발했다. 증류 알고리즘은 딥러닝 모델이 국소적으로 보이는 입력 데이터와 예측 사이의 관계에 기반해 상대적으로 예측에 기여도가 적은 특징을 선별 및 제거하며, 이러한 과정의 반복을 통해 증류된 입력 데이터에는 기여도가 높은 특징만 남게 된다. 또한, 해당 과정을 통해 얻게 되는 변형된 데이터에 대한 국소적 입력 기여도를 종합해 신뢰도 높은 최종 입력 기여도를 산출한다.
연구팀의 이러한 입력 기여도 측정 기술은 산업공정 최적화 프로젝트에 적용해 딥러닝 모델이 예측 결과를 도출하기 위해서 어떤 입력 특징에 주목하는지 찾을 수 있었다. 또한 딥러닝 모델의 구조에 상관없이 적용할 수 있는 이 기술을 바탕으로 복잡한 공정 내부의 다양한 예측변수 간 상관관계를 정확하게 분석하고 예측함으로써 공정 최적화(에너지 절감, 품질향상, 생산량 증가)의 효과를 도출할 수 있었다.
연구팀은 잘 알려진 이미지 분류 모델인 VGG-16, ResNet-18, Inception-v3 모델에서 개발 기술이 입력 기여도를 계산하는 데에 효과가 있음을 확인했다. 해당 기술은 구글(Google)이 보유하고 텐서플로우 설명가능 인공지능(TensorFlow Explainable AI) 툴 키트에 적용된 것으로 알려진 입력 기여도 측정 기술(Guided Integrated Gradient) 대비 LeRF/MoRF 점수가 각각 최대 0.436/0.020 개선됨을 보였다. 특히, 입력 기여도의 시각화를 비교했을 때, 기존 방식 대비 잡음이 적고, 주요 객체와 잘 정렬됐으며, 선명한 결과를 보였다. 연구팀은 여러 가지 모델 구조에 대해 신뢰도 높은 입력 기여도 계산 성능을 보임으로써, 개발 기술의 유효성과 확장성을 보였다.
연구팀이 개발한 딥러닝 모델의 입력 기여도 측정 기술은 이미지 외에도 다양한 예측 모델에 적용돼 모델의 예측에 대한 신뢰성을 높일 것으로 기대된다.
전기영 연구원은 "딥러닝 모델의 국소 지역에서 계산된 입력 기여도를 기반으로 상대적인 중요도가 낮은 입력을 점진적으로 제거하며, 이러한 과정에서 축적된 입력 기여도를 종합해 더욱 정확한 설명을 제공할 수 있음을 보였다ˮ라며 "딥러닝 모델에 대해 신뢰도 높은 설명을 제공하기 위해서는 입력 데이터를 적절히 변형한 상황에서도 모델 예측과 관련도가 높은 입력 특성에 주목해야 한다ˮ라고 말했다.
이번 연구는 2022년도 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받은 사람 중심 AI강국 실현을 위한 차세대 인공지능 핵심원천기술개발 사용자 맞춤형 플로그앤플레이 방식의 설명가능성 제공, 한국과학기술원 인공지능 대학원 프로그램, 인공지능 공정성 AIDEP 및 국방과학연구소의 지원을 받은 설명 가능 인공지능 프로젝트 및 인이지의 지원으로 수행됐다.
2022.11.23 조회수 13727 -
딥러닝 생성모델의 오류 수정 기술 개발
우리 대학 AI대학원 최재식 교수(설명가능 인공지능연구센터장) 연구팀이 심층 학습(이하 딥러닝) 생성모델의 오류 수정 기술을 개발했다고 25일 밝혔다.
최근 딥러닝 생성모델(Deep Generative Models)은 이미지, 음성뿐만 아니라 문장 등 새로운 콘텐츠를 생성하는 데 널리 활용되고 있다. 이런 생성모델의 발전에도 불구하고 최근 개발된 생성모델도 여전히 결함이 있는 결과를 만드는 경우가 많아, 국방, 의료, 제조 등 중요한 작업 및 학습에 생성모델을 활용하기는 어려운 점이 있었다.
최 교수 연구팀은 딥러닝 내부를 해석하는 설명가능 인공지능 기법을 활용해, 생성모델 내부에서 이미지 생성과정에서 문제를 일으키는 유닛(뉴런)을 찾아 제거하는 알고리즘을 고안해 생성모델의 오류를 수리했다. 이러한 생성 오류 수리 기술은 신경망 모델의 재학습을 요구하지 않으며 모델 구조에 대한 의존성이 적어, 다양한 적대적 생성 신경망에 폭넓게 응용 및 적용될 수 있을 것으로 기대된다. 또한, 고안된 기술은 딥러닝 생성모델의 신뢰도를 향상해 생성모델이 중요 작업에도 적용될 수 있을 것으로 기대된다.
AI대학원의 알리 투씨(Ali Tousi), 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 `국제 컴퓨터 비전 및 패턴인식 학술대회 (IEEE Conference on Computer Vision and Pattern Recognition, CVPR)'에서 6월 23일 발표됐다. (논문명: Automatic Correction of Internal Units in Generative Neural Networks, CVPR 2021).
적대적 생성 신경망은 생성기와 구분기의 적대적 관계를 이용한 모델로서, 생성 이미지의 품질이 높고 다양성이 높아, 이미지 생성뿐만 아니라 다양한 분야(예, 시계열 데이터 생성)에서 주목받고 있다.
딥러닝 생성모델의 성능을 향상하기 위해서 적대적 생성기법 및 생성기의 새로운 구조 설계 혹은 학습 전략의 세분화와 같은 연구가 활발히 진행되고 있다. 그러나 최신 적대적 생성 신경망 모델은 여전히 시각적 결함이 포함된 이미지를 생성하고 있으며, 재학습을 통해서 이를 해결하기에는 오류 수리를 보장할 수 없으며, 많은 학습 시간과 비용을 요구하게 된다. 이렇게 규모가 큰 최신 적대적 생성 신경망 모델의 일부 오류를 해결하기 위해 모델 전체를 재학습하는 것은 적합하지 않다.
연구팀은 문제 해결을 위해 생성 오류를 유도하는 딥러닝 내부의 유닛(뉴런)을 찾아 제거하는 알고리즘을 개발했다. 알고리즘은 딥러닝 모델의 시각적 결함의 위치를 파악하고, 딥러닝 모델 내 여러 계층에 존재하는 오류를 유발한 유닛을 찾아서 활성화하지 못하도록 하여 결함이 발생하지 않도록 했다.
연구팀은 설명가능 인공지능 기술을 활용해 시각적 결함이 생성된 이미지의 어느 부분에 분포하는지, 또 딥러닝 내부의 어떤 유닛이 결함의 생성에 관여하는지 찾을 수 있었다. 개발된 기술은 딥러닝 생성모델의 오류를 수리할 수 있고, 생성모델의 구조에 상관없이 적용할 수 있다.
연구팀은 전통적인 구조를 가지는 `진행형 생성모델(Progressive GAN, PGGAN)'에서 개발 기술이 효과적으로 생성 오류를 수리할 수 있음을 확인했다. 수리 성능은 매사추세츠 공과대학(MIT)이 보유한 수리 기술 대비 FID 점수가 10점 정도 감소했으며, 사용자 평가에서 시험 이미지 그룹의 약 50%가 결함이 제거됐고, 약 90%에서 품질이 개선됐다는 결과를 얻었다. 나아가 특이 구조를 가지는 `StyleGAN2'와 `U-net GAN'에서도 생성 오류 수리가 가능함을 보임으로써 개발 기술의 일반성과 확장 가능성을 보였다.
연구팀이 개발한 생성모델의 오류 제거 기술은 다양한 이미지 외에도 다양한 생성모델에 적용돼 모델의 결과물에 대한 신뢰성을 높일 것으로 기대된다.
공동 제1 저자인 알리 투씨와 정해동 연구원은 "딥러닝 생성모델이 생성한 결과물에 있는 시각적 오류를 찾고, 이에 상응하는 활성화를 보이는 생성모델 내부의 유닛을 순차적으로 제거함으로써 생성 오류를 수리할 수 있음을 보였다ˮ라며 이는 "충분히 학습된 모델 내부에 미학습 혹은 잘못 학습된 내부요소가 있음을 보여주는 결과다ˮ라고 말했다.
한편 이번 연구는 2021년도 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받은 혁신성장동력프로젝트 설명가능인공지능 및 한국과학기술원 인공지능 대학원 프로그램과제를 통해서 수행됐다.
2021.06.25 조회수 24569