-
배석형 교수, 3D 스케칭 통해 디자인 과정 획기적 단축 기술 개발
〈배석형 교수 연구팀. 왼쪽부터 이준협 석사, 배석형 교수, 김용관 박사, 안상균 석사과정〉
한 번쯤 자신의 그림이 종이에서 튀어나와 현실이 되는 것을 상상해봤을 것이다. 대부분 사람들에게는 단순히 즐거운 상상이지만 현장의 디자이너에게는 꼭 실현돼야 할 절실한 기술이다. 가전제품, 자동차, 게임 컨트롤러 등 장난감부터 일상 속 필수품까지 모든 입체 형상 디자인은 디자이너의 펜 끝에서 시작되기 때문이다.
디자이너의 그림이 현실로 나오기 위해서는 평면적 그림을 입체적 형상으로 바꾸는 작업이 반드시 필요하다. 화려해 보이지만 이 과정은 힘겨운 반복의 연속이다.
3D 형상을 머릿속으로 생각하며 여러 각도에서 바라본 그림을 수십 장 그린 뒤, 수정 및 보완을 거쳐 시제품을 만들어도 제품의 크기나 비율 등에서 원하는 결과가 나오지 않으면 처음부터 같은 과정을 반복해야 한다. 이는 제품 개발 과정에서 심각한 병목과 마찰을 일으켜 시간과 비용의 상승 원인이 된다.
우리 대학 산업디자인학과 배석형 교수 연구팀이 디자인 과정에서 발생하는 반복적인 작업을 획기적으로 단축시킬 수 있는 3D 스케칭 기술 ‘에어 스캐폴딩(air scaffolding)’을 개발했다.
연구팀의 기술은 지난 4월 캐나다 몬트리올에서 열린 ‘미 컴퓨터협회 인간-컴퓨터 상호작용 학회(ACM CHI 2018)’에서 전체 2천 500여 편의 논문 중 상위 1퍼센트에게만 주어지는 최우수 논문상을 수상했다.
평면 그림을 입체 형상으로 변환하는 과정은 왜 어려운 것일까. 입체 형상을 카메라로 찍거나 그림으로 표현하면 깊이 정보의 손실이 발생한다. 반대로 평면 그림, 사진으로부터 입체 형상을 만들 때는 존재하지 않는 정보가 추가적으로 필요하다. 특히 직접 그린 부정확한 그림에서 의도에 부합하는 입체 형상을 유추하는 것은 매우 어렵다.
3D 스케칭 기술은 이러한 어려움을 극복하기 위해 활발히 연구된 기술이다. 가상의 3차원 공간 안에 스케치한 그림을 돌려보거나 앞뒤로 이동하며 평면 그림에서 얻을 수 없던 입체 형상 정보를 채울 수 있다. 결과적으로 복잡한 3D 캐드 모델링 소프트웨어를 사용하지 않아도 펜과 종이를 사용하듯 입체 형상을 곧바로 그릴 수 있다.
그러나 가상현실 기술의 대중화와 더불어 주목받고 있는 기존의 공중 3D 스케칭 기술은 전체 스케칭 과정을 공중에서의 부정확한 손 움직임에 의존하기 때문에 정교한 결과물을 생성하지 못하고 장시간 사용 시 피로를 유발한다는 단점이 있었다.
배 교수 연구팀은 기존 기술의 단점을 보완해 2016년 ‘스케칭위드핸즈(SketchingWithHands)’라는 3D 스케칭 기술을 개발한 바 있다. 공중의 손 자세 정보와 태블릿 상 펜 드로잉 기법을 결합한 것으로, 적외선 손 추적 센서로 손 모양을 캡처한 뒤 그 손 정보를 3D 캔버스 안에 넣어 정보를 토대로 스케치를 할 수 있는 기술이다.
디자인 초기 단계에서부터 정확한 3차원 손 정보가 입력됐기 때문에 이를 여러 각도로 관찰해가며 아이디어를 빠르게 표현할 수 있고 즉각적인 수정 보완이 가능하다. 위에서 언급한 수 없이 반복되는 디자인 과정을 대폭 줄일 수 있다.
연구팀은 2018년 이 기술을 발전시켜 ‘에어 스캐폴딩(air scaffolding)’을 개발했다. 이전 버전이 손 정보 기반 기술이기 때문에 손으로 쥐는 제품에 국한됐다면 에어 스캐폴딩 기술은 손의 움직임 정보까지 함께 활용함으로써 한 손에 쥐기 힘든 더 큰 규모의 제품에도 적용할 수 있다.
가령 디자이너가 인라인 스케이트 제품을 디자인한다고 가정했을 때, 상상 속의 스케이트를 쓰다듬듯이 공중에서 손을 움직여 대략적 크기와 비율을 나타내면 적외선 손 추적 센서가 측정한 손 관절의 3D 이동 경로로부터 입체 그물망 형태의 밑그림(scaffolding)이 실시간으로 추출되는 것이다. 이를 통해 정확한 크기와 비율의 인라인 스케이트의 입체적 형상 디자인을 완성할 수 있다.
이 프로그램을 통해 대략적인 정보는 손으로 신속하게 입력한 뒤 세밀한 부분은 태블릿에 펜으로 채워 넣음으로써 상호 보완적인 디자인 작업이 가능해진다. 컴퓨터 소프트웨어를 아이디어 개발 과정에서부터 사용함으로써 종이에 그린 아이디어를 모델링 소프트웨어에서 다시 만들어내는 번거로운 과정을 없앤 것이다.
연구팀의 기술은 디자인 실무에 3D 스케칭의 적용 가능성을 높였을 뿐 아니라, 모두가 일상에서 손쉽게 입체적으로 아이디어를 표현하고 공유할 수 있는 기반을 제공했다. 더 나아가 3D 프린팅 등 스마트 생산 기술과 연계돼 빠르고 유연한 제조 혁신에 기여할 수 있을 것으로 기대된다.
연구를 주도한 김용관 박사는 “인간-컴퓨터 상호작용(HCI) 분야 최고의 국제 학회에서 최고의 상을 받아서 기쁘다”며 “학문적인 성공에 그치지 않고 다양한 디자인 현장에서 모든 디자이너가 직관적으로 사용하는 성공적인 제품을 만들고 싶다”고 말했다.
배 교수 연구팀은 디자인 중심의 연구실임에도 불구하고 2016년 ‘스케칭위드핸즈’ 이전에도 아이러브스케치(2008), 에브리바디러브스케치(2009) 등 지속적으로 소프트웨어를 개발하고 있다. 끊임없이 실용적인 3D 스케칭 기술 개발을 통해 디자인 프로세스의 유용성을 찾고 혁신을 시도하는 것이 연구팀의 궁극적 지향점이다.
배석형 교수는 “진보한 컴퓨터 기술을 활용해 다양한 분야의 창의적인 활동을 돕기 위한 시도들이 이뤄지고 있다. 앞으로도 디자이너에 대한 깊은 이해를 바탕으로 첨단 기술을 적용해 디자인 프로세스 혁신에 주도적 역할을 해 나갈 것이다”고 말했다.
□ 그림 설명
그림1. 연구팀이 개발한 에어 스캐폴딩 기술
그림2. ACM CHI 2018에서 시연 중인 에어 스캐폴딩 기술
2018.08.09
조회수 12702
-
멀티프로젝션 상영관 기술 세계 첫 개발
- KAIST, CJ CGV와 공동개발해 전국 40개 상영관에서 상용화 완료 -- “3D 입체영상 기술 대체해 창조경제 이바지 할 것” -
영화 시장에서 멀티프로젝션을 상영관에 도입하는 연구가 진행되고 있다.
우리 학교 문화기술(CT)대학원 노준용(42) 교수 연구팀이 CJ CGV와 공동으로 몰입감을 제공하는 멀티프로젝션 기술 ‘CGV 스크린X(이하 CGV ScreenX)’를 개발했다.
‘CGV ScreenX’는 극장 화면의 경계를 넘어 전면 스크린은 물론 좌우 벽면에 확장된 영상을 투사해 관객들의 시야를 꽉 채우기 때문에 마치 영화 속에 들어온 것과 같은 미래형 상영관이다.
이 기술은 기존 3D 입체영화와 비교하면 △전용 안경이 필요 없고 △어지러움 증을 유발하지 않으며 △옆면을 스크린으로 활용해 영화 몰입감을 극대화하는 것이 특징이다.
특히, 세계 최초로 개발한 이 기술은 할리우드를 비롯한 전 세계 극장에 역수출 할 수 있다는 장점이 있으며, 기존의 극장 구조를 그대로 이용하면서 프로젝터만 추가하면 되기 때문에 높은 투자비 없이 도입할 수 있다.
노 교수팀과 CJ CGV는 몰입형 영상 기술을 구현하기 위해 멀티프로젝션 기술, 컨텐츠 재구성 기술, 시스템관리 기술 등 핵심적인 기술을 개발했다. 멀티프로젝션 기술은 기존의 극장 옆면을 스크린으로 활용해 자연스러운 영상을 표현할 수 있도록 최적화됐으며, 기존의 광고나 영화 상영 시스템과 동기화 되도록 설계됐다.
이와 함께 서로 다른 구조를 가진 다양한 극장 환경에서 동일한 컨텐츠를 효과적으로 재생할 수 있는 컨텐츠 재구성 기술, 복잡한 시스템을 적은 인력으로도 효율적으로 다수의 극장에 설치·운영하는 시스템 관리 기술을 개발했다.
노준용 교수는 “컨텐츠의 제작, 시스템 설치, 상영 등 전 과정에서 상영 환경의 영향을 많이 받는 멀티프로젝션을 극장 환경 내에서 일반화 시킬 수 있는 기술을 개발한 것이 핵심”이라며 “기존에 한정된 환경에서만 선보여지던 값비싼 멀티프로젝션 기술의 플랫폼화, 대중화를 실현함으로써 이 분야 기술적 우위를 선점한 점에서 의미가 크다”고 이번 기술에 대한 의미를 설명했다.
최근에는 CGV ScreenX 기술을 바탕으로 국내 최고의 비주얼리스트로 불리는 김지운 감독이 영화 를 제작해 화제를 모으고 있다. 는 제18회 부산국제영화제 갈라 프레젠테이션 섹션에 공식 초청되어 뜨거운 관심을 모았으며, 영화제 기간 내내 영화업계 관계자들로부터 영화의 새로운 가능성을 보여준다는 평가를 받았다.
참고로 CGV ScreenX는 현재 CGV여의도 9개관 전관 포함, 전국 22개 극장의 40개 상영관에서 지난 1월부터 선보이고 있으며 연내 50개 상영관으로 확대될 예정이다.
1. CGV ScreenX 기술 요약
그림1. CGV ScreenX 기술 요약- 하드웨어(상영시스템), 소프트웨어(콘텐츠), 관리 기술을 포함한 기술 개발로 다양한 상영관에서의 동시운용을 실질적으로 가능하게 함
2. CGV ScreenX 주요 기술
① 표준 콘텐츠 제작
- 상영관의 통계적인 분석을 통하여 다수의 상영관을 커버할 수 있는 적절한 형태의 콘텐츠 템플릿 제공
② 상영관 특화영상 재구성
- 각 상영관의 구조를 고려하여 상영관에 적합한 형태로 표준 콘텐츠를 자동으로 재구성하여 배포하는 기술
③ 프로젝터별 보정 영상 생성
- 데이터베이스로부터 각 상영관에 설치된 다수의 프로젝터별 보정정보를 입력 받아 재구성 된 특화영상을 실시간으로 보정하여 재생하는 기술
- 상영관의 특성에 기반 한 설계를 통해 보정 과정의 많은 부분이 자동화
되어있어 기존의 방법에 비해 매우 간편함
④ 동기화 재생- 각각의 옆면 보조 프로젝터 뿐만 아니라, 중앙 프로젝터 및 광고, 영화 재생 서버와 실시간 동기화하여 재생하는 기술
2013.10.21
조회수 16601
-
공간을 자유자재로 누비는 가상스피커 개발
김양한 교수
- 3D 입체 영상과 결합해 진정한 3D TV 시대 임박 -- 이론적, 실용적 측면 모두 해결해 곧 상용화 예정 -
원하는 공간 어디서나 마치 스피커가 놓여 있는 것처럼 소리를 들을 수 있는 시스템이 개발돼 곧 상용화 예정이다.
우리 학교 기계공학과 김양한, 최정우 교수 연구팀이 공동으로 3차원 공간상에 자유롭게 가상스피커를 배치할 수 있는 ‘사운드 볼 시스템’을 개발했다.
이번에 개발된 시스템은 원하는 공간상의 위치에 자유자재로 소리를 집중시킬 수 있다. 따라서 3D TV에 적용하면 마치 소리도 사람에게 다가오는 것처럼 느껴져 시각과 청각 모두 3D 기능을 갖춘 진정한 의미의 3D TV를 경험할 수 있게 됐다.
또 오케스트라의 바이올린, 첼로 등 현악기와 플루트, 클라리넷 등의 관악기 소리를 원하는 공간에서 나게 조절할 수 있어 집안에서도 마치 실제 콘서트홀에 온 것 같은 느낌을 받을 수 있다.
게다가 여러 가지 소리를 개별적으로 제어가 가능해 방송국 음향 편집에도 활용될 수 있으며, 자동차에서는 각 좌석별로 네비게이션, 음악, TV 소리 등을 따로 전달하는 등 적용범위가 매우 다양할 것으로 예상된다.
사운드 볼 시스템은 여러 개의 스피커를 이용해 공간상의 원하는 지점에 음향 에너지를 집중시킨 후, 집중된 지점에서 다시 전파되는 소리를 이용해 가상 스피커를 만드는 기술이다.
이 기술은 2002년 김 교수팀이 미국음향학회(Acoustical Society of America)에 발표한 청취공간에 있는 사람만 소리를 듣고, 다른 영역에서는 조용하게 하는 음향 밝기·대조 기술을 발전시킨 것으로 음향 에너지 집중을 통해 소리의 방향, 움직이는 소리 및 소리의 공간감을 제어할 수 있다.
연구팀은 먼저 가상스피커에 대한 이론적 해를 완전한 적분방정식 형태로 세계 최초로 풀어내 3차원 공간 어디에서도 구현 가능하도록 했다.
이와 함께, 여러 개의 단극 음원을 조합한 다극음원(multipole)을 사용하고 지향성(directivity) 조정을 통해 원하는 음장을 만들어 탁월한 청취 선명도를 이끌어 냈다.
김양한 교수는 ”2002년 논문부터 시작된 음향제어분야의 새로운 이론적 토대를 마련한 것은 중요한 의미가 있다“며 ”이 기술을 바탕으로 지난 9월 국내 굴지 전자업체와 TV용 3차원 음향시스템 개발을 착수했다“고 말했다.
최정우 교수는 “앞으로 홈씨어터, 영화관, 공공장소 등에서 개발된 시스템이 사용되면 새로운 3차원 음장 기술이 가지고 있는 효과를 느낄 수 있을 것이다”며 “3차원 영상 기술과 함께 통합돼 새로운 영상과 음향의 세계를 경험할 날이 멀지 않았다”고 말했다.
한편, 연구팀은 이번 기술에 대한 특허출원을 완료했으며, 관련 논문은 지난 달 관련 분야 최대 학술단체인 국제전기전자공학회(IEEE)가 발간하는 국제저널(IEEE Transaction of Audio, Speech, and Language Processing)에 게재됐다.
※ 기술 개요(소리의 공간감을 자유자재로 누구나 요리해 맛볼 수 있는 기술)
오래도록 우리는 완벽한 3D사운드 혹은 소리의 공간감의 완전한 재현이 가능한 이상적인 오디오 시스템을 꿈꾸어 왔다. 그러나 3D사운드는 그 정의가 명확하지 않은 주관적인 개념이며, 그 평가에 대한 절대적인 척도 또한 존재하지 않는다.
최근 다양한 3D sound 기법이 난립하고 있으나, 이는 청취 환경에 따라 변화할 뿐만 아니라, 동일한 환경에서도 청취자가 누구냐에 따라 다르게 인지되는 근본적인 문제점을 내포하고 있다. 음장 재현 방법의 이러한 근본적인 문제는 과거의 스테레오 시스템에서 볼 수 있는 밸런스 노브(balance knob)로부터 그 해결의 실마리를 찾을 수 있다. 즉, 밸런스 노브는 보편적인 최적의 소리를 찾는 대신에 청취자가 원하는 음향 효과를 얻을 때까지 직접적으로 소리를 청취하고, 스스로 조절해 평가할 수 있는 매개체의 역할을 수행한다.
KAIST에서 개발한 Spatial Equalizer는 밸런스 노브와 같이 청취자가 원하는 3D 사운드를 스스로 평가하고 조절하기 위한 것이다. 즉, 청취자가 시공간적으로 원하는 3D사운드를 실시간으로 청취하고 변화시킬 수 있는 인터페이스의 개념 및 구현에 초점을 맞추고 있다. Spatial Equalizer는 인터페이스 상에서 하나의 점 또는 다수의 점으로 표시되는 가상 음원을 사용자가 조종함으로써 소리의 공간감을 제어할 수 있는 길을 열어 주고 있다. 이는 다수의 점 음원들의 위치를 변화시키거나 각 점에 위치한 가상 음원의 크기를 변화시킴으로써 청취자가 원하는 소리를 구현하는 원리다.
즉, 사용자가 원하는 소리의 공간감을 공간상에 위치하는 몇 개의 가상 음원의 조합으로 대치하고, 실제로 사용자는 원하는 공간감과 듣는 소리가 부합되도록 하나 또는 다수의 가상 음원의 위치 및 각 음원에 의한 소리의 크기를 조절하는 것이다. 여기서, 원하는 공간감을 얻기 위한 기본적인 요소로서의 가상 음원을 sound ball이라 정의하고 사용하기로 한다.
가상의 sound ball 혹은 가상의 스피커를 자유롭게 공간상에 만들어 내기 위해 스피커 어레이 제어 기술의 혁신이 필요하다. 다수의 스피커로 이루어진 스피커 어레이(loudspeaker array)를 사용하면 소리(sound)가 전파하는 모양을 자유자재로 만드는 것이 가능함은 잘 알려져 있다. 다수의 스피커를 개별적인 크기와 위상으로 구동하면, 각각의 스피커를 중심으로 하는 다수의 파면이 형성되고, 이들이 공간상에서 간섭(interference)되면서 고유의 형상을 갖게 되는 원리이다. 1678년 발표된 호이겐스(Huygens)의 원리로부터, 키르히호프-헬름홀츠(Kirchhoff-Helmholtz) 적분 방정식에 이르는 이론식이 관련 연구의 배경을 이루고 있다. 하지만, 이러한 이론들은 어디까지나 우리가 만들고자 하는 가상의 스피커, 즉 음원(sound source)이 공간 외부에 존재하는 경우에 적용할 수 있으며, 소리를 재현하고자 하는 공간 내부에 음원이 있을 경우는 물리적으로 불가능한 문제가 된다.
기존 WFS(wave field synthesis)등 관련 연구에서는 근사화한 적분 방정식을 사용하여 시간 역전(time-reversal)의 형태로 내부의 음원이 발생시키는 것과 유사한 음장을 만들어 낼 수 있음을 부분적으로 밝혀졌으나, 물리적으로 발생 가능한 이유와 온전한 형태의 해에 대해서는 알려진 바가 없었다. KAIST에서는 온전한 적분 방정식 형태로 일반해가 존재함을 수학적으로 밝혀내었으며, 이에 따라 전 3차원 공간에서 임의의 위치의 sound ball을 형성할 수 있는 이론적 토대를 마련하였다.
개발된 sound ball 형성 알고리듬을 사용하여, Spatial Equalizer를 실제 오디오 시스템의 형태로 구축하였다. 이 시스템의 목적은 다수의 sound ball을 사용자가 원하는 임의의 지점에 형성하는 것이므로, 이것을 고려하여 24개의 스피커로 이루어진 선형 어레이 및 50개 스피커로 구성된 구형 어레이를 제작하였다. 사용자와 Spatial Equalizer® 사이에 피드백이 실시간으로 이루어지는 제어를 수행하기 위해 스마트 폰을 사용하여 원거리에서 sound ball을 제어할 수 있는 장치를 구현하였다. 이 인터페이스는 OSC(Open Sound Control) 프로토콜을 사용함으로써 제어 장치인 스마트 폰과 호스트 PC가 원거리에서도 제어 변수를 주고 받을 수 있도록 하였다. 즉, 각각의 sound ball의 위치 및 크기가 Spatial Equalizer®의 노브로서 작동하게 되어, 사용자는 Sound ball의 위치와 크기를 조절함으로써 의도하는 소리의 공간감을 직관적으로 형성할 수 있다.
음식을 만드는 경우와 비유적으로 설명하면, sound ball을 이용하여 이제는 사용자가 원하는 시.공간적 소리를 만들 수 있게 된 것이다. 종래에는 특별한 청취 능력을 가진 사람이 이러한 소리를 만드는 즉 특별한 요리사 만이 소리의 공간 감을 만들 수 있었다 하면 이제는 이 기술을 이용하여 모든 사람이 자신이 느끼기에 좋다고 생각하는 소리를 공간상에 만들 수 있는 “소리 만들기” 요리 법과 도구를 가지게 된 것이다.
그림1. 여러 개의 스피커를 통해 가상다극음원을 만들었다. 지향성 조정을 통해 수렴음장을 제거했으며, 가상스피커로부터 원하는 음장을 재현했다.
그림2. 사운드 볼 시스템 개념도
그림3. 5.1채널 방식의 서라운드 스피커(좌)와 가상스피커(우) - 실제 피아노가 시청자 바로 앞에 놓인 것과 같은 소리를 들을 수 있다.
그림4. 사운드 볼이 형성 및 이동하면서 소리가 TV에서 튀어나오는 것과 같은 느낌을 받는다.
2012.10.10
조회수 20597