-
초당 9,120프레임 포착 곤충눈 모사 카메라 개발
곤충의 겹눈은 빠르게 움직이는 물체를 병렬적으로 감지하고, 어두운 환경에서는 감도를 높이기 위해 시각세포가 여러 시간의 신호를 합쳐서 반응해 움직임을 결정한다. KAIST 연구진이 곤충의 생체를 모사하여 기존 고속 카메라가 직면했던 프레임 속도와 감도 간의 한계를 극복한 저비용 고속 카메라를 개발하는데 성공했다.
우리 대학 바이오및뇌공학과 정기훈·전산학과 김민혁 교수 연구팀이 곤충의 시각 구조에서 영감을 받아 초고속 촬영과 고감도를 동시에 구현한 새로운 생체모사 카메라를 개발했다고 16일 밝혔다.
고속 및 저조도 환경에서의 고품질 이미징은 많은 응용 분야에서 중요한 과제이다. 기존의 고속 카메라는 빠른 움직임을 포착하는 데 강점을 가지고 있지만, 프레임율을 높일수록 빛을 수집할 수 있는 시간이 줄어들어 저조도 환경에서는 감도가 부족한 문제가 발생해왔다.
이를 해결하기 위해 연구팀은 곤충의 시각 기관처럼, 여러 개의 광학 채널과 시간 합산을 활용하는 방식을 채택했다. 기존 단안 카메라 시스템과 달리, 생체 모사 카메라는 겹눈을 통해 서로 다른 시간대의 프레임을 병렬적으로 획득할 수 있다.
이 과정에서 각 프레임이 중첩되는 시간 동안 빛을 합산함으로써 신호대잡음비를 증가시킬 수 있다. 연구팀은 이러한 방식을 적용한 생체 모사 카메라가 기존의 고속 카메라 대비 최대 40배 더 어두운 물체까지 포착할 수 있었다고 밝혔다.
또한 연구팀은 카메라의 속도를 크게 향상하기 위해 ‘채널 분할’ 기술을 도입하여 패키징에 사용된 이미지센서보다 수천 배 빠른 프레임률을 획득할 수 있었다. 이에 더해 ‘압축 이미지 복원’ 알고리즘을 활용해 합산된 프레임에서 발생할 수 있는 흐림 현상을 제거하며, 선명한 이미지를 재구성했다.
연구팀은 제작된 생체 모사 카메라는 두께 1mm 이하의 매우 얇고, 작은 크기에도 불구하고 초당 9,120프레임을 촬영할 수 있고, 낮은 조도에서도 선명한 이미지를 제공한다.
향후 연구팀은 3D 이미징 및 초해상도 이미징을 위한 고급 이미지 처리 알고리즘을 통해 바이오의료 응용뿐 아니라 모바일 등 다양한 카메라 응용 기술을 개발할 예정이라고 밝혔다.
제1 저자인 바이오및뇌공학과 김현경 박사과정은 “제작된 곤충 눈 카메라가 작은 크기임에도 불구하고 고속 및 저조도 촬영에서 뛰어난 성능을 발휘하는 것을 실험적으로 검증했다”라며, “이 카메라는 이동식 카메라 시스템, 보안 감시, 의료 영상 등 다양한 분야에서의 응용 가능성을 열었다”라고 말했다.
바이오및뇌공학과 김현경 박사과정이 제1 저자로 참여한 이번 연구는 국제 학술지 `사이언스 어드밴시스(Science Advances)'에 1월 출판됐다. (논문명 : Biologically-inspired microlens array camera for high-speed and high-sensitivity imaging)
DOI: https://doi.org/10.1126/sciadv.ads3389
한편 이번 연구는 국방기술진흥연구소, 과학기술정보통신부, 그리고 산업통상자원부의 지원을 받아 수행됐다.
2025.01.16
조회수 7278
-
반도체가 곤충처럼 사물 움직임 감지한다
곤충의 시신경계를 모방하여 초고속, 저전력 동작이 가능한 신개념 ‘지능형 센서’ 반도체의 개발로 다양한 혁신적 기술로 확장가능한 기술이 개발되었다. 이 기술은 교통, 안전, 보안 시스템 등 다양한 분야에 응용되어 산업과 사회에 기여할 것으로 보인다.
우리 대학 신소재공학과 김경민 교수 연구팀이 다양한 멤리스터* 소자를 융합해 곤충의 시신경에서의 시각 지능*을 모사하는 지능형 동작인식 소자를 개발하는데 성공했다고 19일 밝혔다.
*멤리스터 (Memristor): 메모리(Memory)와 저항(Resistor)의 합성어로, 입력 신호에 따라 소자의 저항 상태가 변하는 전자소자.
*시각 지능 (Visual Intelligence): 시신경 내에서 시각 정보를 해석하고 연산을 수행하는 기능.
최근 인공지능(AI) 기술의 발전과 함께, 비전 시스템은 이미지 인식, 객체 탐지 및 동작 분석과 같은 다양한 작업에서 AI를 활용해 핵심적인 역할을 수행하고 있다. 하지만 기존 비전 시스템은 이미지 센서에서 수신된 신호를 복잡한 알고리즘을 이용해 물체와 그 동작을 인식하는 것이 일반적이다. 이러한 방식은 상당한 양의 데이터 트래픽과 높은 전력 소모가 필요하여 모바일 또는 사물인터넷 장치에 적용되기 어렵다.
한편, 곤충은 기본 동작 감지기(Elementary Motion Detector) 라는 시신경 회로를 통해 시각 정보를 효과적으로 처리해 물체를 탐지하고 그 동작을 인식하는데 탁월한 능력을 보인다. <그림1> 이를 구현하는 데 있어 기존 실리콘 집적회로(CMOS) 기술에서는 복잡한 회로가 요구되기 때문에, 실제 소자로 제작하기 어려운 한계가 있었다.
김경민 교수 연구팀은 다양한 기능의 멤리스터 소자들을 집적하여 고효율⋅초고속 동작 인식이 가능한 지능형 동작인식 소자를 개발했다. 동작인식 소자는 자체 개발한 두 종류의 멤리스터 소자와 저항 만으로 구성된 단순한 구조를 가지고 있다. 두 종류의 서로 다른 멤리스터는 각각 신호 지연 기능과 신호 통합 및 발화 기능을 수행하며, 이를 통해 곤충의 시신경을 직접 모사하여 사물의 움직임을 판단할 수 있음을 확인했다. <그림2>
연구팀은 개발된 동작인식 소자의 실질적인 활용에 대한 가능성을 입증하기 위해 차량 경로를 예측하는 뉴로모픽 컴퓨팅 시스템을 설계하였으며, 여기에 개발한 동작인식 소자를 적용하였다. <그림3> 그 결과 기존 기술 대비 에너지 소비를 92.9 % 감소하여 더 정확히 사물의 움직임을 예측할 수 있음을 검증하였다.
신소재공학과 김경민 교수는 “곤충은 매우 간단한 시각 지능을 활용해 놀랍도록 민첩하게 물체의 동작을 인지하는데, 이번 연구는 신경의 기능을 재현할 수 있는 멤리스터 소자를 활용해 이를 구현할 수 있었다는 점에 큰 의의가 있다”며, “최근 AI가 탑재된 휴대폰과 같이 에지(edge)형 인공지능 소자의 중요성이 매우 커지고 있는데, 이 연구는 동작 인식을 위한 효율적인 비전 시스템 구현에 기여할 수 있어, 향후 자율주행 자동차, 차량 운송 시스템, 로봇, 머신 비전 등과 같은 다양한 분야에 적용될 수 있을 것으로 기대된다”고 밝혔다.
이번 연구는 신소재공학과 송한찬 박사과정, 이민구 박사과정 학생이 공동 제1 저자로 참여했으며, 국제 학술지 ‘어드밴스드 머티리얼즈(Advanced Materials, IF: 29.4)’에 지난 1월 29일 字 온라인 게재됐다.
한편 이번 연구는 한국연구재단 중견연구사업, 차세대지능형반도체기술개발사업, PIM인공지능반도체핵심기술개발사업, 나노종합기술원 및 KAIST 도약연구사업의 지원을 받아 수행됐다. (논문명: Fully Memristive Elementary Motion Detectors for A Maneuver Prediction, 논문링크: https://doi.org/10.1002/adma.202309708)
2024.02.19
조회수 10762
-
정기훈 교수, 곤충 눈 구조 모방한 초박형 카메라 개발
〈 왼쪽부터 장경원 박사과정, 정기훈 교수, 황순홍 박사과정 〉
우리 대학 바이오및뇌공학과 정기훈 교수 연구팀이 독특한 눈 구조를 가진 곤충인 제노스 페키(Xenos peckii)를 모사한 초박형 디지털카메라를 개발했다.
제노스 페키를 모사해 개발한 초박형 디지털카메라는 기존 이미징 시스템보다 더 얇으면서 상대적으로 넓은 광시야각과 높은 분해능을 갖는다. 감시 및 정찰 장비, 의료용 영상기기, 모바일 등 다양한 소형 이미징 시스템에 적용 가능할 것으로 기대된다.
금동민, 장경원 박사과정이 주도한 이번 연구결과는 국제 학술지 ‘빛 : 과학과 응용(Light : Science & Applications)’ 10월 24일 자에 게재됐다. (논문명: 제노스 페키의 시각기관을 모사한 초박형 디지털카메라, Xenos peckii vision inspires an ultrathin digital camera)
정 교수 연구팀은 자연계에서 발견되는 광학 구조를 모방하는 연구를 꾸준히 진행해 왔다. 반딧불이의 배 마디 구조를 분석해 광효율을 높은 LED 렌즈를 개발한 바 있고, 생체모사를 통한 무반사 기판을 제작하는 등 해당 분야를 선도하고 있다.
최근 전자기기 및 광학기기의 소형화로 초박형 디지털카메라에 대한 수요가 증가하고 있다. 그러나 기존의 카메라 모듈은 광학적 수차를 줄이기 위해 광축을 따라 복수의 렌즈로 구성돼 있어 부피가 매우 크다는 단점이 있다. 이런 모듈을 단순히 크기만 줄여 소형기기에 적용하면 분해능과 감도가 떨어지게 된다.
연구팀은 문제 해결을 위해 곤충인 제노스 페키의 시각구조를 적용한 렌즈를 제작했고 이를 이미지 센서와 결합한 초박형 디지털카메라를 개발했다.
곤충의 겹눈구조는 수백, 수천 개의 오마티디아라 불리는 아주 작은 광학 구조로 이뤄져 있다. 일반적인 겹눈구조는 수백, 수천 개의 오마티디아에서 한 개의 영상을 얻지만, 제노스 페키는 다른 곤충과는 달리 각 오마티디아에서 개별의 영상을 획득할 수 있다. 또한 오마티디아 사이에 빛을 흡수할 수 있는 독특한 구조를 가져 각 영상 간 간섭을 막는다.
연구팀이 개발한 카메라는 2mm 이내의 매우 작은 크기로 제노스 페키의 겹눈구조를 모방해 수십 개의 마이크로프리즘 어레이와 마이크로렌즈 어레이로 구성된다. 마이크로프리즘과 마이크로렌즈가 한 쌍으로 채널을 이루고 있으며 각각의 채널 사이에는 빛을 흡수하는 중합체가 존재하며 각 채널 간 간섭을 막는다.
각각의 채널은 화면의 다른 부분들을 보고 있으며 각 채널에서 관측된 영상들은 영상처리를 통해 하나의 영상으로 복원돼 넓은 광시야각과 높은 분해능을 확보할 수 있다.
정기훈 교수는 “초박형 카메라를 제작하는 새로운 방법을 제시했다”며 “이 연구는 기존의 평면 CMOS 이미지 센서 어레이에 마이크로 카메라를 완전히 장착한 초박형 곤충 눈 카메라의 첫 번째 데모이며 다양한 광학 분야에 큰 영향을 미칠 것으로 확신한다.”라고 말했다.
□ 그림 설명
그림1. (좌) 제노스 페키의 SEM 영상. (우) 형광 염색된 제노스 페키의 시각구조
그림2. (좌) MEMS 공정을 통해 제작된 마이크로프리즘 어레이의 SEM 영상. (우) 완성된 초박형 디지털 카메라의 광학 영상
그림3. (좌) Xenos peckii의 시각기관을 통해 얻은 영상. (우) 초박형 디지털 카메라를 통해 얻은 영상
2018.11.20
조회수 13403
-
양승만 교수, 액체 방울을 이용한 초소형 인조곤충눈 구조 제조
- 초정밀 극미량 물질 인식센서로 활용 - 네이처 포토닉스에서‘미세패턴기술-광자돔’이라는 제목의 하이라이트로 소개
곤충 및 갑각류 등의 눈은 포유류의 눈과는 달리 수백~수만개의 홑눈(또는 낱눈)이 모여 생긴 겹눈 구조를 갖고 있다. 각각의 홑눈은 투명한 볼록렌즈로서 빛을 모아 명암, 색깔(파장)과 같은 빛 정보를 뇌에 전해 주며 뇌에서 전달된 정보를 재조합하여 사물을 감지한다. 각 홑눈은 육방밀집구조로 서로 빈틈없이 배열되어 돔 형태의 겹눈 표면을 메우고 있다. (파리와 잠자리의 눈 사진참조)
생명화학공학과 양승만 교수의 광자유체집적소자 창의연구단은 다양한 기능을 갖는 나노입자를 제조하고 이들 입자들이 스스로 조립되는 자기조립 원리를 규명하는 연구를 수행하여 실제 곤충눈의 수백분의 일 크기의 초소형 인조겹눈구조를 실용적으로 제조할 수 있는 방법을 최근 개발했다.
이 연구결과는 최근 국제적 저명학술지인 어드밴스드 머티리얼스(Advanced Materials) 誌 10월호 표지논문(cover paper)으로 게재 됐으며 인조곤충눈 구조의 실용성을 구현하는데 크게 기여한다고 인정받아 특별히 주목해야할 논문(Advances in Advance)으로 선정됐다.
특히, 네이처 포토닉스(Nature Photonics)지는 10월호에서 양 교수팀 연구의 중요성과 응용성에 주목하여 이 연구결과를 "미세패턴기술-광자돔(Micropatterning–Photonic domes)"이라는 제목으로 "뉴스와 논평(News & Views)"란에 하이라이트로 선정하여 비중있게 게재했다.
지난 20여 년 동안 곤충눈, 오팔, 나비날개 등 빛정보를 처리할 수 있는 자연계에 존재하는 구조를 인공적으로 제조하기 위한 연구가 많은 과학자들에 의하여 시도되어 왔으나, 실용적인 구조를 얻는 데에는 한계가 있었다. 양 교수팀은 2006년부터 교육과학기술부의 ‘창의적연구진흥사업’으로부터 지원을 받아 초소형 인조곤충눈 구조를 실용적으로 제조할 수 있는 기술을 확보하기 위한 연구를 수행해 왔다.
Nature Photonics지 10월호가 하이라이트로 선정하여 주목한 양 교수팀의 이번연구에서는 실제 곤충눈 크기의 수백분의 일 정도로 초소형이며 균일한 크기와 모양을 갖는 인조곤충눈 구조를, 크기가 수십 마이크로미터인 균일한 기름방울을 이용하여 성공적으로 제조하여 규칙적으로 배열하였다. 특히 주목할 것은 제조공정이 손쉽고 빠른 나노구슬의 자기조립 원리를 이용한 점이다.
우선 크기가 수백 나노미터인 균일한 유리구슬(낱눈렌즈)을 물속에 분산시킨 후, 크기가 수십 마이크로미터인 균일한 기름방울을 주입하고 물-기름-유리구슬 사이의 표면화학적 힘의 균형을 유지시키면 유리구슬이 물과 기름방울 사이의 경계면으로 이동한다. 그 후 물-유리-기름방울의 혼합물을 기판 위에 뿌리면 기름방울이 반구의 돔 모양으로 변형되고 유리구슬렌즈는 저절로 기름방울 표면 위에 촘촘히 육방밀집구조로 배열하게 된다 (전자현미경사진 참조). 이 때 자외선을 기름방울에 쪼여서 고형화시킴으로써 종래에 수십 시간이 소요되는 인조곤충눈 조립공정을 불과 수분 만에 제조할 수 있다.
수 천개의 미세렌즈가 장착된 돔 구조의 초소형 인조곤충눈은 인간의 눈에 비해 시야각이 넓고 빛을 모으는 능력도 매우 높다. 따라서, 환경의 미세한 변화를 감지할 수 있는 능력을 보유하므로 신약개발을 비롯하여 극미량의 물질을 인식할 수 있는 초고감도 감지소자를 요구하는 다양한 분야에 응용될 수 있다.
특히 최근에 신약개발 등 바이오 산업의 실용화에 사용되고 있는 극미량의 시료를 처리할 수 있는 반도체칩 규모의 실험실인 랩언어칩(Lab on a Chip)에 초소형 인조곤충눈을 도입할 경우 높은 정밀도를 갖는 물질 감지소자로 활용될 수 있다.
이러한 인조곤충눈 구조는 세계적인 연구그룹들이 활발히 개발 중이며 최근에 수 밀리미터 크기의 실제 곤충눈 크기의 인조곤충눈은 보고된 바 있다. 그러나, 본 연구의 결과는 초소형 인공곤충눈 구조를 자기조립법으로 만든 최초의 사례로서 이 분야의 국제경쟁에서 우위를 확보하는데 필요한 핵심요소다.
2009.10.06
조회수 34057