적은 데이터로도 정밀 동작 구현하는 로봇 AI 개발
좁은 틈에 부품을 끼우고 작은 버튼을 누르는 사람의 손재주를 로봇이 적은 데이터만으로도 배울 수 있게 됐다. 우리 대학 연구진이 작업 상황에 따라 스스로 움직임의 정밀도를 조절하는 로봇 인공지능 기술을 개발했다. 기존 최고 성능 모델보다 작업 성공률을 최대 81% 높인 이번 기술은 정밀 제조와 의료 분야 로봇의 활용 범위를 크게 넓힐 것으로 기대된다.
우리 대학은 전산학부 박대형 교수 연구팀이 적은 양의 동작 데이터만으로도 사용자가 원하는 정밀도에 맞춰 움직임을 세밀하게 생성하는 다중 정밀도 조작 모델 ‘디스포(DiSPo)'를 개발했다고 24일 밝혔다.
기존의 로봇 인공지능은 사람이 움직이는 모습을 매우 짧은 시간 간격으로 기록한 방대한 양의 데이터를 학습해야 정밀한 작업을 수행할 수 있었다. 예를 들어 나사를 조이거나 좁은 틈에 부품을 끼워 넣는 작업을 배우려면 수많은 동작 데이터를 세밀하게 수집해야 했기 때문에 시간과 비용이 많이 들었다.
연구팀은 이러한 한계를 극복하기 위해 로봇이 움직임의 변화를 스스로 예측하면서 다양한 행동을 학습할 수 있는 인공지능 기술을 개발했다. 특히 작업 상황에 따라 동작을 더 세밀하게 나누거나 크게 조절할 수 있는 기능을 새롭게 도입했다.
연구팀은 시간에 따른 변화를 효율적으로 학습하는 상태공간모델 '맘바(Mamba)'와 다양한 행동을 생성하는 확산모델(Diffusion Model)을 결합해 이러한 기능을 구현했다.
이를 통해 로봇은 적은 양의 데이터로 학습하더라도 실제 작업을 수행할 때는 움직임을 더 작은 단위로 나눠 정교하게 동작할 수 있다. 즉, 사람이 비교적 간단하게 시범을 보여줘도 로봇이 필요에 따라 스스로 동작을 세분화해 정밀한 작업을 수행할 수 있게 된 것이다.
연구팀이 개발한 디스포는 시뮬레이션 환경에서 기존 최고 성능 모델 대비 최대 81% 높은 작업 성공률을 기록했다. 또한 실제 협동로봇을 이용한 실험에서는 반경 2.5mm에 불과한 좁은 틈에 부품을 끼워 넣고 스마트폰의 작은 셔터 버튼을 정확히 누르는 고난도 작업을 안정적으로 수행했다. 이는 기존 인공지능 모델보다 최대 4배 높은 성공률이다.
이번 기술은 정밀 부품 조립, 케이블 연결, 의료 수술, 정밀 가공 등 높은 정확성이 요구되는 다양한 산업 분야에 적용될 수 있을 것으로 기대된다. 특히 적은 데이터만으로도 고정밀 로봇을 학습시킬 수 있어 로봇 개발 비용을 크게 낮추고 제조·의료·서비스 산업의 자동화를 앞당기는 데 기여할 전망이다.
박대형 교수는 "이번 연구는 로봇이 적은 양의 데이터만으로도 정교한 동작을 학습하고 작업 상황에 따라 스스로 정밀도를 조절할 수 있음을 보여준 사례"라며 "앞으로 데이터 수집 비용을 획기적으로 줄이면서도 정밀 제조와 의료 등 다양한 산업 현장에서 활용할 수 있는 범용 로봇 학습 기술로 발전시켜 나가겠다"고 말했다.
이번 연구는 김재철 AI대학원 오나영 석사과정생이 제1 저자로 주도하였으며, 6월 1일 오스트리아 비엔나에서 열리는 로봇공학 세계 최고 권위 학술대회인 ‘국제 로봇 및 자동화 학술대회(ICRA 2026)’에서 발표되었다.
※ 논문명: DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization, DOI: https://doi.org/10.48550/arXiv.2409.14719
※ 저자 정보: 오나영 (KAIST 김재철AI대학원, 제1 저자), 장재형 (KAIST 전산학부, 공저자), 정문경 (KAIST 로봇공학학제전공, 공저자), 박대형 (KAIST 전산학부, 교신저자)
한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’의 일환으로 ‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’ 과제를 통해 수행되었다. 이 외에도 정보통신기획평가원의 ‘글로벌 AI 프론티어랩 사업’과 산업통상자원부의 기술혁신프로그램의 지원을 받았다.
로봇도 이제 사람처럼 고무줄을 풀고 전선 끼운다
로봇이 전선, 의류, 고무줄처럼 형태가 자유롭게 변형되는 물체를 다루는 기술은 제조·서비스 산업 자동화의 핵심 과제로 꼽혀왔다. 그러나 이러한 변형 물체는 모양이 일정하지 않고 움직임을 예측하기 어려워, 로봇이 이를 정확히 인식하고 조작하는 데 큰 어려움이 있었다. KAIST 연구진이 불완전한 시각 정보만으로도 변형 물체의 상태를 정밀하게 파악하고 능숙하게 다룰 수 있는 로봇 기술을 개발했다. 이번 성과는 케이블 및 전선 조립, 부드러운 부품을 다루는 제조업, 의류 정리와 포장 등 다양한 산업 및 서비스 분야의 지능형 자동화에 기여할 것으로 기대된다.
우리대학 전산학부 박대형 교수 연구팀이 탄성 밴드처럼 형태가 연속적으로 변하고, 시각적으로 형태를 구별하기 어려운 물체도 로봇이 능숙하게 다룰 수 있게 하는 인공지능 기술인‘INR-DOM(아이엔알-돔, Implicit Neural-Representation for Deformable Object Manipulation)’을 개발했다고 21일 밝혔다.
박 교수 연구팀은 로봇이 관측한 부분적인 3차원 정보만으로 변형 가능한 물체의 전체 형상을 완전하게 복원하고, 이를 바탕으로 로봇의 조작 방식을 학습하는 기술을 개발했다.
또한, 로봇이 특정 과제를 효율적으로 학습할 수 있도록 강화학습과 대조학습을 결합한 새로운 2단계 학습 구조를 도입했다. 학습된 제어기는 시뮬레이션 환경에서 기존 기술 대비 월등히 높은 과제 성공률을 달성했으며, 실제 로봇 실험에서도 복잡하게 얽힌 고무줄을 풀어내는 등 높은 수준의 조작 능력을 선보여 변형 물체를 다루는 로봇의 적용 범위를 크게 넓힐 것으로 기대된다.
변형 물체 조작(Deformable Object Manipulation, DOM)은 로봇 공학의 오랜 난제 중 하나다. 변형 물체는 무한한 자유도를 가져 움직임을 예측하기 어렵고, 스스로 일부를 가리는 자기-가림(self-occlusion) 현상으로 인해 로봇이 전체적인 상태를 파악하기 어렵기 때문이다.
이러한 문제를 해결하기 위해 변형 물체 상태 표현법과 강화학습에 기반한 제어 기술이 널리 연구되고 있었다. 그러나 기존의 상태표현법은 변형 물체의 연속적으로 변형되는 표면이나 복잡한 3차원 구조를 정확히 표현하지 못했고, 상태 표현과 강화학습이 분리돼 물체 조작에 필요한 적합한 상태 표현공간을 구성하는 데 한계가 있었다.
연구팀은 이러한 한계를 극복하기 위해 ‘잠재 신경 표현(Implicit Neural Representation)’을 활용했다. 이 기술은 로봇이 관측한 부분적인 3차원 정보(점 구름, point cloud*)를 입력받아, 보이지 않는 부분을 포함한 물체의 전체 형상을 연속적인 곡면(부호화 거리 함수, SDF)으로 재구성한다. 이를 통해 로봇은 마치 사람처럼 물체의 전체적인 모습을 상상하고 이해할 수 있게 된다.
*점 구름 3차원 정보: 물체의 3차원 형상을 ‘표면을 찍은 점들의 집합’으로 표현하는 방식
나아가 연구팀은 2단계 학습 프레임워크를 도입했다. 1단계 사전학습에서는 불완전한 점 구름으로부터 완전한 형상을 복원하는 모델을 학습시켜, 가려짐에 강인하고 늘어나는 물체의 표면을 잘 나타내는 상태 표현 모듈을 확보한다. 2단계 미세조정에서는 강화학습과 대조학습을 함께 이용해, 로봇이 현재 상태와 목표 상태 간의 미묘한 차이를 명확히 구분하고 과제 수행에 필요한 최적의 행동을 효율적으로 찾아내도록 제어 정책과 상태 표현 모듈을 최적화한다.
연구팀이 개발한 INR-DOM 기술을 로봇에 탑재해 실험한 결과, 시뮬레이션 환경에서 고무링을 홈에 끼우거나(sealing), O링을 부품에 설치하거나(installation), 꼬인 고무줄을 푸는(disentanglement) 세 가지 복잡한 과제에서 모두 기존 최고 성능의 기술들보다 월등히 높은 성공률을 보였다. 특히 가장 어려운 과제였던 풀기(disentanglement) 작업에서는 성공률이 75%에 달해, 기존 최고 기술(ACID, 26%)보다 약 49% 높은 성과를 거뒀다.
연구팀은 INR-DOM 기술이 실제 환경에서도 적용 가능함을 검증하기 위해 샘플 효율적인 로봇 강화학습 기법(sample-efficient robotic reinforcement learning)과 INR-DOM을 결합해 실환경 강화학습을 수행했다.
그 결과, 실제 환경에서의 끼우기, 설치, 풀기 작업을 90% 이상의 성공률로 수행했으며, 특히 시각적으로 구별이 어려운 양방향 꼬임 풀기 작업에서 기존 이미지 기반 강화학습 기법 대비 25% 더 높은 성공률을 기록해 시각적 모호성에도 불구하고 강인한 조작이 가능함을 입증했다.
제1 저자인 송민석 연구원은 "이번 연구는 로봇이 불완전한 정보만으로도 변형 물체의 전체 모습을 이해하고, 이를 바탕으로 복잡한 조작을 수행할 수 있다는 가능성을 보여줬다”라며, "제조, 물류, 의료 등 다양한 분야에서 인간과 협력하거나 인간을 대신해 정교한 작업을 수행하는 로봇 기술 발전에 크게 기여할 것”이라고 말했다.
KAIST 전산학부 송민석 석사과정이 제1 저자로 참여한 이번 연구는 지난 6월 21~25일 LA USC에서 개최된 로봇 공학 분야 최상위 국제 학술대회인 ‘로보틱스: 사이언스 앤 시스템즈 (Robotics: Science and Systems, RSS) 2025’에서 발표됐다.
※논문명: Implicit Neural-Representation Learning for Elastic Deformable-Object Manipulations
※DOI: https://www.roboticsproceedings.org/(공개 예정), 현재는 https://arxiv.org/abs/2505.00500
한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원(IITP)의 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’(RS-2024-00336738;자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발), ‘사람중심인공지능핵심원천기술개발’(RS-2022-II220311;일상적 물건들의 다접촉 로봇 조작을 위한 목적지향 강화학습 기술 개발), ‘컴퓨팅핵심기술’(RS-2024-00509279;글로벌AI프론티어랩)과 삼성전자의 지원을 받아 수행되었다. 자세한 내용은 https://inr-dom.github.io 에서 볼 수 있다.