%ea%b2%80%ec%83%89%ec%97%94%ec%a7%84
-
111배 빠른 검색엔진용 CXL 3.0 기반 AI반도체 세계 최초 개발
최근 각광받고 있는 이미지 검색, 데이터베이스, 추천 시스템, 광고 등의 서비스들은 마이크로소프트, 메타, 알리바바 등의 글로벌 IT 기업들에서 활발히 제공되고 있다. 하지만 실제 서비스에서 사용되는 데이터 셋은 크기가 매우 커, 많은 양의 메모리를 요구하여 기존 시스템에서는 추가할 수 있는 메모리 용량에 제한이 있어 이러한 요구사항을 만족할 수 없었다.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)에서 대용량으로 메모리 확장이 가능한 컴퓨트 익스프레스 링크 3.0 기술(Compute eXpress Link, 이하 CXL)을 활용해 검색 엔진을 위한 AI 반도체를 세계 최초로 개발했다고 25일 밝혔다.
최근 검색 서비스에서 사용되는 알고리즘은 근사 근접 이웃 탐색(Approximate Nearest Neighbor Search, ANNS)으로 어떤 데이터든지 특징 벡터로 표현할 수 있다. 특징 벡터란 데이터가 가지는 특징들 각각을 숫자로 표현해 나열한 것으로, 이들 사이의 거리를 통해 우리는 데이터 간의 유사도를 구할 수 있다. 하지만 벡터 데이터 용량이 매우 커서 이를 압축해 메모리에 적재하는 압축 방식과 메모리보다 큰 용량과 느린 속도를 가지는 저장 장치를 사용하는 스토리지 방식(마이크로소프트에서 사용 중)이 사용되어 왔다. 하지만 이들 각각은 낮은 정확도와 성능을 가지는 문제가 있었다.
이에 정명수 교수 연구팀은 메모리 확장의 제한이라는 근본적인 문제를 해결하기 위해 CXL이라는 기술에 주목했다. CXL은 CPU-장치 간 연결을 위한 프로토콜로, 가속기 및 메모리 확장기의 고속 연결을 제공한다. 또한 CXL 스위치를 통해 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 제공한다. 하지만 CXL을 통한 메모리 확장은 로컬 메모리와 비교해 메모리 접근 시간이 증가하는 단점을 가지고 있다.
데이터를 책으로 비유하자면 기존 시스템은 집에 해당하는 CPU 크기의 제한으로 서재(메모리 용량)를 무한정 늘릴 수 없어, 보관할 수 있는 책 개수에 제한이 있는 것이다. 이에 압축 방식은 책의 내용을 압축하여 더 많은 책을 보관하는 방법이고, 스토리지 방식은 필요한 책들을 거리가 먼 도서관에서 구해오는 것과 비슷하다. CXL을 통한 메모리 확장은 집 옆에 창고를 지어 책을 보관하는 것으로 이해될 수 있다.
연구진이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 근사 근접 이웃 탐색에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도를 높이고 성능 감소를 없앴다. 또한 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 CXL-ANNS의 성능을 한 단계 향상했다. 이는 마치 창고 스스로가 필요한 책들의 내용을 요약하고 정리해 전달하고, 자주 보는 책들은 서재에 배치해 집과 창고를 오가는 시간을 줄이는 것과 유사하다.
연구진은 CXL-ANNS의 프로토타입을 자체 제작해 실효성을 확인하고, CXL-ANNS 성능을 기존 연구들과 비교했다. 마이크로소프트, 메타, 얀덱스 등의 글로벌 IT 기업에서 공개한 검색 데이터 셋을 사용한 근사 근접 이웃 탐색의 성능 비교에서 CXL-ANNS는 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히, 마이크로소프트의 상용화된 서비스에서 사용되는 방식과 비교하였을 때 92배의 성능 향상을 보여줬다.
정명수 교수는 "이번에 개발한 CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고, CXL 기반의 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다ˮ며, “제안하는 CXL 기반 메모리 확장과 데이터 근처 처리 가속의 패러다임은 검색 엔진뿐만 아니라 빅 데이터가 필요한 고성능 컴퓨팅, 유전자 탐색, 영상 처리 등의 다양한 분야에도 적용할 수 있다ˮ라고 말했다.
이번 연구는 미국 보스턴에서 오는 7월에 열릴 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2023'에 ‘CXL-ANNS’이라는 이름으로 발표된 예정이다. (논문명: CXL-ANNS: Software-Hardware Collaborative Memory Disaggregation and Computation for Billion-Scale Approximate Nearest Neighbor Search)
한편 해당 연구는 파네시아(http://panmnesia.com)의 지원을 받아 진행됐다.
2023.05.25 조회수 11513 -
전산학과 황규영 특훈교수 ACM(CIKM)에서 기조연설
전산학과 황규영 특훈교수가 지난 11월3일 홍콩 Asia World-Expo에서 열린 제18회 ACM 정보지식관리 컨퍼런스(The 18th ACM Conference on Information and Knowledge Management, ACM CIKM 2009)에서 “DB-IR 통합과 대형 병렬 검색엔진에의 응용(DB-IR Integration and Its Application to a Massively-Parallel Search Engine)”이라는 제목으로 기조연설을 해 청중으로부터 커다란 호응을 받았다.
ACM CIKM은 데이터베이스(DB), 정보검색(IR), 지식관리(KM) 분야의 2-5위의 세계적으로 권위있는 학술대회다. 이 번 학술대회에는 미국, 유럽을 비롯한 세계 각국의 최고연구자 650여명이 참여해 최근 각광 받고 있는 DB, IR, KM의 협력분야에 대해 열띤 토론을 벌였다.
황 교수는 오디세우스 DBMS/검색엔진의 DB-IR 밀결합(tight coupling)에 대해 소개하고 이를 이용한 Google-scale(300억건의 웹 페이지를 인덱스하고 하루 10억건의 질의를 처리)의 검색엔진인 ODYS의 설계와 모델, 그리고 5-node 프로토타입의 성능을 제시했다. 이는 DBMS에 기반한 대형 병렬 검색엔진의 효시로서, 구글(Google)이나 야후(Yahoo!)와 달리 SQL, 스키마, 인덱스, 갱신, 제한적인 트랜잭션 등 여러 기능을 지원함으로써, 최근 MapReduce, Hadoop과 같은 대용량 병렬 응용 프로그래밍 프레임워크에 대비되는 새로운 방향을 제시했다는데 의의가 있다.
또한 황 교수는 향후 10-20년의 발전 방향으로 현재 Google의 한계를 넘어서는 exabyte computing(beyond petabytes, beyond Google)의 비전을 제시했다. 황교수는 KAIST 특훈교수이며 IEEE 석학회원(Fellow)이다.
2009.11.17 조회수 22200 -
황규영교수팀, DB 분야 최고 권위 국제학술대회「최우수 시스템 시연 논문상」수상
15년간에 걸쳐 개발 중인 오디세우스 DBMS 기술 실용성 인정70억달러 규모의 검색엔진시장에서 막대한 부가가치 창출 기대
KAIST 전산학과 황규영(黃奎永, 54, 첨단정보기술연구센터/과학재단 ERC 소장) 교수팀이 개발한 ‘오디세우스 DBMS(database management system)’가 최근 일본 동경에서 개최된 ‘국제전기표준회의 데이터공학 국제학술대회(IEEE ICDE) 2005’에서 “최우수 시스템 시연 논문상(Best Demonstration Award)”을 수상했다.
시스템 시연 논문(Demonstration Paper)은 저자들이 제시한 기술을 실제 시스템에 구현한 후, 그 구현된 시스템을 시연하고자 하는 목적으로 작성하는 논문이다. 이러한 논문에서는 기술의 우수성뿐만 아니라 그 기술이 실제 시스템에 적용될 수 있는지의 실용성 여부가 중점적으로 평가되므로 黃 교수팀의 연구가 실용성은 물론 학계/산업계에 큰 파급 효과를 미칠 것으로 보인다.
이번 黃 교수의 ‘최우수 시스템 시연 논문상’ 수상 기술은 KAIST 첨단정보기술연구센터에서 15년간 개발 중인 객체 관계형 DBMS 오디세우스에 구현된 정보 검색(information retrieval)과의 밀결합(tight-coupling) 기술이다.
‘밀결합 기술’이란 다양한 응용에 필요한 기능들을 DBMS에 성능 저하 없이 추가할 수 있는 최첨단의 고난도 기술로서 첨단정보기술연구센터는 밀결합 기술에 대한 국내 및 국제 특허를 보유하고 있다.
이러한 밀결합을 통해 오디세우스는 객체 관계형 DBMS의 장점과 정보 검색 엔진의 장점을 모두 가지고 있다. 따라서, 오디세우스는 네이버, 야후, 구글 등의 웹 검색 엔진을 비롯한 정보 검색 응용에서 최적의 성능을 발휘할 수 있으며, 병렬 아키텍처(parallel architecture, 동시에 여러 대의 서버에서 검색을 나누어 수행하는 아키텍처)를 이용하면 수십 억 건의 웹 문서를 색인 할 수 있다.
黃 교수는 “세계 검색 엔진 시장의 규모는 2007년이 되면 약 70억 달러 규모로 성장할 것”으로 전망하면서, “향후 지속적인 연구 개발을 통해 세계 시장에 진출함으로써 막대한 부가 가치를 창출하겠다”는 원대한 포부를 밝혔다.
국제전기표준회의 데이터공학 국제학술대회(IEEE ICDE)는 데이터베이스 분야 최고 권위의 국제 학술대회로서, 올해로 21회째를 맞고 있다. 이번 최우수 시스템 시연 논문상은 두 단계의 엄격한 심사를 거쳐 최종적으로 1편이 선정됐다. 우선, 학술대회에 제출된 80여 편의 시스템 시연 논문 중에서 19편이 게재 승인되었으며, 이 19편의 시스템 시연 논문 중에서 심사위원들의 평가 점수와 학회 참가자들의 평가 점수를 합산하여 최종적으로 黃 교수팀의 논문이 최우수 논문으로 선정됐다.
2005.06.10 조회수 22534