연구
< (왼쪽부터) 노준혁 교수 (이화여대 인공지능학과 조교수), 서진환, 조윤기 박사과정, 윤성의 교수 (KAIST 전산학부 교수) >
‘카메라가 다른 곳을 비추는 사이 사라진 물체는 무엇 인가요?’라는 복잡한 질문이 나오면 AI는 많은 경우 영상 속 실제 상황을 보고 판단하는 것이 아니라, 언어 패턴에 의존해 ‘그럴듯한 답’을 추측하는 문제가 있다. 우리 대학 연구진은 이 한계를 해결하기 위해 영상 속 ‘딱 중요한 순간(Trigger moment)’을 AI가 스스로 찾아내도록 하는 기술을 개발했고, 이 기술로 국제 AI 대회에서 우수성을 입증했다.
우리 대학은 전산학부 윤성의 교수 연구팀이 이화여대 노준혁 교수 연구팀과 공동 연구를 통해, 세계적 권위의 컴퓨터 비전 학회 ICCV 2025에서 열린 Perception Test Challenge의 영상 근거 기반 질의응답(Grounded Video Question Answering) 트랙에서 1위를 차지했다고 28일 밝혔다.
이번 ICCV 2025에서 열린 인지 테스트 대회(Perception Test Challenge)는 구글 딥마인드(Google DeepMind)가 주관하여 총 상금 50,000 유로(한화 약 8,300만원)가 걸린 대회로, 영상·음성·텍스트 등 다양한 데이터를 종합적으로 이해하는 멀티모달 AI의 인지 및 추론 능력을 평가한다. 특히 언어 중심 편향을 벗어나 실제 영상 근거를 바탕으로 판단하는 능력이 핵심 평가 요소다.
우리 대학 연구팀은 영상 전체를 무작정 분석하는 기존 방식과 달리, AI가 정답을 위해 꼭 필요한 핵심 장면(Trigger moment)을 먼저 찾아내도록 만드는 새로운 기술을 개발했다. 쉽게 말하면, “이 질문에 답하려면 이 장면이 결정적이야!”를 AI가 스스로 찾아내도록 설계한 기술이다.
이 프레임워크를 연구팀은 CORTEX(Chain-of-Reasoning for Trigger Moment Extraction)라고 부른다.
연구팀의 시스템은 서로 다른 기능을 수행하는 세 모델이 순차적으로 작동하는 3단계 구조로 구성된다. 먼저 추론 AI(Gemini 2.5 Pro)가 질문에 답하기 위해 어느 순간을 봐야 하는지 사고하고 딱 그 순간(Trigger moment) 후보를 찾는다. 다음으로 객체 위치 찾기 모델(Grounding 모델, Molmo-7B)이 해당 순간 화면 속 사람·차·사물의 정확한 위치(좌표)를 파악한다. 마지막으로 추적 모델(Tracking 모델, SAM2)이 선택된 한 장면을 기준으로 앞뒤 시간대의 객체 움직임을 정밀하게 추적해 오류를 줄인다.
즉, ‘핵심 장면 한 컷을 정확히 찍고, 그 장면을 중심으로 정답 근거를 추적하는 방식’덕분에 영상 초반 오판이나 가려짐 같은 문제도 크게 줄었다.
총 23개 팀이 참여한 영상 근거 기반 질의응답(Grounded VideoQA) 트랙에서 KAIST팀 SGVR Lab(Scalable Graphics, Vision & Robotics Lab)은 ‘고차 추적 정확도(HOTA, Higher Order Tracking Accuracy)’지표에서 0.4968점을 기록하며 2등 미국 콜럼비아대의 0.4304점을 압도적인 점수 차로 상회하며 1위를 차지했다. 이는 전년도 우승 기록 0.2704점보다도 약 두 배에 가까운 성과다.
이 기술은 실생활에서도 넓게 쓰일 수 있다. 자율주행차는 사고 위험이 있는 순간을 정확히 보고, 로봇은 주변 상황을 더 똑똑하게 이해한다. 또 보안·감시 시스템은 중요한 장면을 빠르게 찾아내고, 미디어 분석에서는 사람이나 사물의 행동을 시간 순서대로 정확히 추적할 수 있다.
즉, AI가 “영상 속 실제 근거”를 보고 판단할 수 있도록 만드는 핵심 기술이다. 특히 영상 속 객체가 시간에 따라 어떻게 행동하는지 정확히 짚어내는 능력은 향후 AI의 실제 현장 적용을 크게 확장할 것으로 기대된다.
< 연구팀이 제안한 비디오 질의 응답을 위한 그라운딩 프레임워크의 파이프라인 이미지 >
이번 연구는 ICCV 2025, the 3rd Perception Test Challenge 학회에서 10월 19일자 발표하였다.
이 성과는 과학기술정보통신부 기초연구사업 중견연구와 SW스타랩 사업 ‘오픈 월드 로봇 서비스를 위한 불특정 환경 인지·행동·상호작용 알고리즘 개발’ 및 AGI 사업 ‘체화형 AGI를 위한 현실 세계 구축과 인지 에이전트 기반 이원 역량 접근법’ 과제의 지원을 받아 수행되었다.
-
연구 데이터 속도 맞춰 스스로 반응하는 '카멜레온 AI 반도체' 개발
AI 반도체도 이제‘눈치'를 본다. 기존 AI 반도체는 입력 신호에 반응하는 속도와 정보를 기억하는 시간이 한 번 정해지면 바꿀 수 없는‘고정된 반응 특성'을 가졌지만, 이제는 데이터의 변화 속도에 맞춰 스스로 반응하는 시대가 열렸다. 우리 대학 연구진은 이 기술로 시간에 따라 변하는 데이터의 예측 오류를 기존보다 최대 40배 줄였다. 자율주행차와 로봇, 웨어러블 기기의 실시간 AI 성능을 높일 핵심 원천기술로 기대된다. 우리 대학은 전기및전자공학부·반도체공학대학원 최신현 석좌교수 연구팀이 입력되는 데이터의 변화 속도에 따라 반응 특성을 자유롭게 바꿀 수 있는 새로운 AI 반도체 소자‘프로그래머블 동적 멤트랜지스터(Programmable Dynamic Memtransistor, PDM)'와 이를 집적한 어레이를 개발했다고 7일 밝혔다. 멤트랜지스터(Memtransistor)는 정보를 저장하는 메모리(Memory)와 계산을 수행하
2026-08-07 -
연구 안개 속 투명한 물체도 선명하게 본다…한 번의 촬영으로 복원
안개나 불투명한 막 뒤에 가려진 투명한 물체도 한 번의 촬영만으로 원래 모습을 찾아낸다. 우리 대학 연구진이 빛이 심하게 흩어지는 환경에서도 인공지능(AI)과 광학 원리를 이용해 투명한 물체의 모양과 두께, 위치를 동시에 복원하는 기술을 개발했다. 이번 기술은 반도체·디스플레이의 투명 부품 검사와 바이오 영상 등 다양한 분야에 활용될 것으로 기대된다. 우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 두 개의 움직이는 산란층(안개나 불투명한 막처럼 빛을 여러 방향으로 흩뜨리는 층) 사이에 완전히 가려진 위상 물체(일반 카메라로는 잘 보이지 않지만 빛이 지나갈 때 아주 미세한 변화를 일으키는 투명한 물체)를 한 번의 촬영만으로 복원하는 단일 촬영 위상 영상(Single-shot Phase Imaging) 기술을 개발했다고 6일 밝혔다. 위상 물체는 유리나 투명 비닐, 살아 있는 세포처럼 일반 카메라로는 주변과 밝기 차이가 거의 없어 잘 보이지 않는 물체다. 하지만
2026-08-06 -
연구 AI 데이터센터 시대 '거대한 배터리' 상용화 앞당긴다
폭발적으로 늘어나는 AI 데이터센터 시대를 뒷받침할‘거대한 배터리'의 상용화가 한층 가까워졌다. 우리 대학 연구진이 대용량 배터리의 핵심 소재 생산 시간을 67% 줄이는 공정 기술을 개발해 상용화의 가장 큰 생산 병목을 해결했다. 우리 대학은 생명화학공학과 김희탁 교수 연구팀이 대용량 에너지저장장치(ESS)의 유력 후보인 바나듐 레독스 흐름전지(VRFB)의 핵심 전해질을 빠르고 안정적으로 생산하는 공정을 개발했다고 5일 밝혔다. 최근 24시간 끊임없이 가동되는 AI 데이터센터가 급증하면서 태양광과 풍력 등 재생에너지로 생산한 전기를 대량으로 저장했다가 필요할 때 안정적으로 공급하는 대용량 ESS의 중요성이 커지고 있다. 특히 바나듐 레독스 흐름전지는 화재 위험이 거의 없고, 전해질을 담는 탱크만 크게 만들면 저장 용량도 쉽게 늘릴 수 있어 AI 데이터센터와 재생에너지용 초대형 배터리로 주목받고 있다. 그러나 배터리의‘연료' 역할을 하는 바나듐 전해질
2026-08-05 -
행사 피지컬 AI 인재 키운다…KAIST·서울대 100시간 로봇 해커톤 개최
AI가 글을 쓰고 그림을 그리던 화면 밖으로 나와 현실 세계를 보고 움직이는 피지컬 AI(Physical AI) 시대가 열리고 있다. 우리 대학이 학생들의 상상을 실제 움직이는 로봇으로 구현하는 100시간의 도전을 통해 피지컬 AI 인재 양성에 나선다. 우리 대학은 우리 대학과 서울대학교 학생들이 만든 연합단체 로보틱어스(RoboticUS)가 8월 3일부터 8일까지 KAIST에서 ‘제1회 로봇 해커톤’을 개최한다고 4일 밝혔다. 배충식 KAIST 총장은 “피지컬 AI 시대에는 AI를 잘 만드는 것을 넘어 AI를 기반으로 실제 세상을 움직이는 로봇과 시스템을 설계하고 구현할 수 있는 융합형 인재가 필요하다”며 “학생들이 스스로 기획하고 운영한 이번 해커톤은 KAIST의 도전과 협업 문화를 보여주는 좋은 사례이며, 미래 기술을 현실로 구현하는 새로운 교육 모델이 될 것으로 기대한다”고 말했다. 이번 해커톤은 이러한
2026-08-04 -
연구 AI가 택배 배송·인력 배치까지 스스로 짠다...‘실행 가능한 계획’ 만드는 기술 개발
택배 배송과 공장 생산계획, 병원 근무표까지. 앞으로는 인공지능(AI)이 현실의 모든 조건을 고려해‘실제로 실행 가능한 계획'을 스스로 만드는 시대가 열린다. 우리 대학 연구진이 외부 전문 최적화 프로그램의 도움 없이 AI가 스스로 실행 가능한 계획을 만드는 기술을 개발했다. 우리 대학은 전산학부 김민수 교수 연구팀이 외부의 전문 최적화 프로그램(솔버, Solver·복잡한 최적화 문제의 정답을 자동으로 계산하는 프로그램) 없이도 AI가 스스로 실행 가능한 계획을 만들도록 학습하는 강화학습(Reinforcement Learning·시행착오를 반복하며 더 나은 선택을 배우는 AI 학습 방식) 기술‘RL-SPH(Reinforcement Learning-based Start Primal Heuristic)'를 개발했다고 3일 밝혔다. 이번 기술은 AI가 현실의 여러 제약조건을 스스로 만족하는 계획을 만들어낼 수 있도록 한 것이 핵심이다.
2026-08-03