연구
< (왼쪽부터) 노준혁 교수 (이화여대 인공지능학과 조교수), 서진환, 조윤기 박사과정, 윤성의 교수 (KAIST 전산학부 교수) >
‘카메라가 다른 곳을 비추는 사이 사라진 물체는 무엇 인가요?’라는 복잡한 질문이 나오면 AI는 많은 경우 영상 속 실제 상황을 보고 판단하는 것이 아니라, 언어 패턴에 의존해 ‘그럴듯한 답’을 추측하는 문제가 있다. 우리 대학 연구진은 이 한계를 해결하기 위해 영상 속 ‘딱 중요한 순간(Trigger moment)’을 AI가 스스로 찾아내도록 하는 기술을 개발했고, 이 기술로 국제 AI 대회에서 우수성을 입증했다.
우리 대학은 전산학부 윤성의 교수 연구팀이 이화여대 노준혁 교수 연구팀과 공동 연구를 통해, 세계적 권위의 컴퓨터 비전 학회 ICCV 2025에서 열린 Perception Test Challenge의 영상 근거 기반 질의응답(Grounded Video Question Answering) 트랙에서 1위를 차지했다고 28일 밝혔다.
이번 ICCV 2025에서 열린 인지 테스트 대회(Perception Test Challenge)는 구글 딥마인드(Google DeepMind)가 주관하여 총 상금 50,000 유로(한화 약 8,300만원)가 걸린 대회로, 영상·음성·텍스트 등 다양한 데이터를 종합적으로 이해하는 멀티모달 AI의 인지 및 추론 능력을 평가한다. 특히 언어 중심 편향을 벗어나 실제 영상 근거를 바탕으로 판단하는 능력이 핵심 평가 요소다.
우리 대학 연구팀은 영상 전체를 무작정 분석하는 기존 방식과 달리, AI가 정답을 위해 꼭 필요한 핵심 장면(Trigger moment)을 먼저 찾아내도록 만드는 새로운 기술을 개발했다. 쉽게 말하면, “이 질문에 답하려면 이 장면이 결정적이야!”를 AI가 스스로 찾아내도록 설계한 기술이다.
이 프레임워크를 연구팀은 CORTEX(Chain-of-Reasoning for Trigger Moment Extraction)라고 부른다.
연구팀의 시스템은 서로 다른 기능을 수행하는 세 모델이 순차적으로 작동하는 3단계 구조로 구성된다. 먼저 추론 AI(Gemini 2.5 Pro)가 질문에 답하기 위해 어느 순간을 봐야 하는지 사고하고 딱 그 순간(Trigger moment) 후보를 찾는다. 다음으로 객체 위치 찾기 모델(Grounding 모델, Molmo-7B)이 해당 순간 화면 속 사람·차·사물의 정확한 위치(좌표)를 파악한다. 마지막으로 추적 모델(Tracking 모델, SAM2)이 선택된 한 장면을 기준으로 앞뒤 시간대의 객체 움직임을 정밀하게 추적해 오류를 줄인다.
즉, ‘핵심 장면 한 컷을 정확히 찍고, 그 장면을 중심으로 정답 근거를 추적하는 방식’덕분에 영상 초반 오판이나 가려짐 같은 문제도 크게 줄었다.
총 23개 팀이 참여한 영상 근거 기반 질의응답(Grounded VideoQA) 트랙에서 KAIST팀 SGVR Lab(Scalable Graphics, Vision & Robotics Lab)은 ‘고차 추적 정확도(HOTA, Higher Order Tracking Accuracy)’지표에서 0.4968점을 기록하며 2등 미국 콜럼비아대의 0.4304점을 압도적인 점수 차로 상회하며 1위를 차지했다. 이는 전년도 우승 기록 0.2704점보다도 약 두 배에 가까운 성과다.
이 기술은 실생활에서도 넓게 쓰일 수 있다. 자율주행차는 사고 위험이 있는 순간을 정확히 보고, 로봇은 주변 상황을 더 똑똑하게 이해한다. 또 보안·감시 시스템은 중요한 장면을 빠르게 찾아내고, 미디어 분석에서는 사람이나 사물의 행동을 시간 순서대로 정확히 추적할 수 있다.
즉, AI가 “영상 속 실제 근거”를 보고 판단할 수 있도록 만드는 핵심 기술이다. 특히 영상 속 객체가 시간에 따라 어떻게 행동하는지 정확히 짚어내는 능력은 향후 AI의 실제 현장 적용을 크게 확장할 것으로 기대된다.
< 연구팀이 제안한 비디오 질의 응답을 위한 그라운딩 프레임워크의 파이프라인 이미지 >
이번 연구는 ICCV 2025, the 3rd Perception Test Challenge 학회에서 10월 19일자 발표하였다.
이 성과는 과학기술정보통신부 기초연구사업 중견연구와 SW스타랩 사업 ‘오픈 월드 로봇 서비스를 위한 불특정 환경 인지·행동·상호작용 알고리즘 개발’ 및 AGI 사업 ‘체화형 AGI를 위한 현실 세계 구축과 인지 에이전트 기반 이원 역량 접근법’ 과제의 지원을 받아 수행되었다.
-
연구 정보는 있는데 AI가 못 찾는다?...데이터 바뀌어도 최신 정보 놓치지 않는다
회사 규정이 바뀌어 새 문서가 올라왔는데도 사내 AI가 예전 규정을 찾아 답한다면 어떨까. 새로운 정보가 계속 추가되고 오래된 정보가 사라지면, AI는 정답이 되는 자료가 있어도 이를 제대로 찾지 못할 수 있다. 우리 대학 연구진이 데이터가 계속 바뀌어도 필요한 정보까지 찾아가는 ‘검색 길’을 유지해, AI가 최신 정보를 더 정확하고 빠르게 찾는 기술을 개발했다. 우리 대학은 전산학부 김민수 교수 연구팀이 데이터가 지속적으로 추가되고 삭제되는 환경에서도 높은 검색 정확도를 안정적으로 유지하는 동적 벡터 검색 기술인 ‘콘다(CONDA, Connectivity-Aware Dynamic Index)’를 개발했다고 5일 밝혔다. 생성형 AI는 학습이 끝난 뒤 새롭게 등장한 정보를 스스로 알지 못한다. 이를 보완하기 위해 최신 뉴스나 기업 내부 문서 등을 검색해 답변에 활용하는 ‘검색증강생성(RAG·Retrieval-A
2026-10-06 -
연구 움직임의 흐름 읽는 AI 반도체 개발…웨어러블 기기 활용 기대
몸에 착용하는 기기가 걷는 동작과 잠깐 팔을 흔드는 동작을 구별하려면 움직임의 흐름을 읽어야 한다. 한국 연구진은 반응 속도가 다른 반도체를 층층이 쌓아 방금 일어난 변화와 앞선 변화를 함께 읽는 기술을 개발했다. 향후 몸에 붙이거나 착용하는 작은 기기가 움직임과 몸의 신호를 분석하는 데 활용될 수 있다. 우리 대학은 AI시스템학과 권지민 교수 연구팀이 UNIST(총장 박종래), POSTECH(총장 김성근) 연구진과 함께 이온을 담은 소재를 단단한 얇은 막으로 만들고, 이를 이용해 반응 속도가 다른 반도체 소자를 여러 층으로 쌓는 데 성공했다고 29일 밝혔다. 이 반도체는 전기를 가하면 소재 안의 ‘이온’이 움직이면서 전류의 흐름이 바뀐다. 전기를 끊어도 이온이 원래 상태로 돌아오는 데는 시간이 걸린다. 종을 친 뒤 소리가 잠깐 남듯, 반도체에도 앞서 들어온 신호의 흔적이 잠시 남는 것이다. 연구팀은 그동안 단점으로 여겨졌던 이온의 느린 움직임을 지난
2026-09-29 -
행사 KAIST, 국내 최초 범용인공지능(AGI) 연구소 출범
학습한 문제를 잘 푸는 현재의 인공지능을 넘어, 처음 접하는 문제와 환경에서도 스스로 판단하고 적응할 수 있는 범용인공지능(Artificial General Intelligence, AGI) 원천기술 개발을 위해 우리 대학이 AGI 전담 연구소를 출범했다. 우리 대학은 지난 18일 내부 승인 절차를 마치고 AI연구원 산하에 AGI 연구소(AGI Research Institute)를 공식 출범했다고 밝혔다. 전산학부, AI컴퓨팅학과, 김재철AI대학원, 전기및전자공학부 소속 교수 11명이 참여하며, 김태균 전산학부 교수가 초대 소장을 맡았다. 연구진은 향후 참여 범위를 점차 확대할 계획이다. AGI 연구소는 기초연구를 통해 범용인공지능의 과학과 공학을 발전시키고 그 성과와 혜택을 사회에 환원하는 것을 목표로 한다. 특히 기존에 접하지 않은 과제와 환경, 데이터에서도 학습한 지식을 활용할 수 있는 AI의 ‘일반화(Generalization)’ 능력을 핵심
2026-09-22 -
연구 한 번 배운 풀이 기억…스마트폰 AI가 비슷한 문제 스스로 푼다
어려운 문제를 풀 때마다 전문가에게 다시 묻는 대신, 한 번 배운 풀이를 공책에 적어두고 비슷한 문제에 활용하는 AI 기술이 나왔다. 우리 대학 연구진은 스마트폰 속 소형 AI가 서버의 대형 AI에게서 얻은 지식을 기기에 쌓아두고 재사용하도록 해, 높은 정확도를 유지하면서 서버 호출을 평균 55.61% 줄였다. 비슷한 문제를 만날수록 서버에 덜 의존하고 더 빠르게 판단하는 모바일 AI의 가능성을 제시한 것이다. 우리 대학은 전산학부 이재길 교수 연구팀이 기기의 소형 AI와 서버의 대형 AI를 효율적으로 연결하는 기기-서버 협업 기술 ‘CURE(Cumulative Knowledge Reuse, 누적 지식 재사용)’를 개발했다고 21일 밝혔다. 스마트폰과 같은 기기는 계산 능력과 메모리가 제한돼 가벼운 소형 AI 모델을 주로 사용한다. 소형 모델은 간단한 문제는 빠르게 처리하지만, 복잡하거나 낯선 이미지를 구분할 때는 정확도가 떨어질 수 있다. 반대로 모든
2026-09-21 -
행사 KAIST-POSTECH ‘사이언스 워’…AI가 마리오 카트 몰고, 생성형 AI로 해킹
AI가 직접 ‘마리오 카트’를 몰고, 학생들은 생성형 AI까지 활용해 8시간 동안 해킹 실력을 겨룬다. 대한민국을 대표하는 두 이공계 대학 KAIST와 POSTECH 학생들이 과학기술과 스포츠를 넘나들며 자존심을 건 승부를 펼친다. 우리 대학과 POSTECH(총장 김성근)은 양교 간 정기 교류전인 ‘제23회 KAIST-POSTECH 학생대제전(이하 카포전)’을 오는 18일부터 19일까지 이틀간 POSTECH에서 개최한다고 18일 밝혔다. 2002년 시작된 카포전은 양교 학생들이 과학경기와 운동경기, 공연 등 다양한 프로그램을 통해 경쟁하고 교류하는 학생 축제다. 매년 9월 대전과 포항을 번갈아 개최하며, 원정 대학의 명칭을 앞에 표기하는 원칙에 따라 올해는 ‘카포전’으로 불린다. 이공계 학생들이 과학기술 역량까지 겨룬다는 점에서 ‘사이언스 워(Science War)’라는 별칭으로도 잘 알려져
2026-09-18