‘메타버스’의 핵심이 되는 고차원적인 ‘3차원 공간 복원’

“다양한 시각 센서 정보를 통해 인공지능이 인간의 시각지능을 뛰어넘고 싶다” 사진=임성희 기자 “다른 물리적 공간에서 상호작용이 가능한 공간 복원 기술 구현” “메타버스 원천기술 선점 기대”
코로나 팬데믹 시대에 재택근무 비중이 늘어나 화상회의의 프로그램 대중화가 두드러진다.
로봇공학도에서 컴퓨터 비전 연구자로 학부 시절 로봇 동아리 활동을 하면서 로봇에 푹 빠졌던 주경동 교수는 좀 더 깊이 있는 로봇 연구를 위해 대학원에 진학했다. 로봇 중에서도 시각지능에 관심을 가져 KAIST에서 석박사 과정(권인서 교수 연구실)을 거쳐 인공지능 및 로보틱스 분야 세계 최고의 대학인 카네기 멜랑대에서 연구개발을 진행했다. 카이스트 때는 페이스북(오큘러스)에서 6개월 정도 연구 인턴을 했어요. 연구 개발 과정에서 페이스북으로부터 job 제안을 받기도 했지만, 한국의 우수한 연구자, 학생들과 컴퓨터 비전 분야를 연구하고 성장해 나가고 싶었습니다.”그가 로봇의 시각 정보에 관심을 가진 것은, 시각 정보가 인공 지능 중에서 가장 뛰어난 학습 정보를 제공하고 있기 때문이다. 이 때문에 시각정보를 연구하는 뛰어난 연구자들이 많지만 주 교수는 인간의 3차원(3D) 인지능력을 최대로 모방할 수 있는 기술개발을 통해 특유의 연구차별화를 꾀하고 있다. “다양한 시각 센서 정보를 통해 인공지능이 인간의 시각지능을 뛰어넘게 하고 싶습니다”
인간 시각 수준의 시각 지능을 갖춘 인공지능 주경동 교수의 연구는 컴퓨터 비전 중에서도 3차원 비전으로 특징지어지는데 현재 진행 중인 실내 환경의 부분 영상에서 3차원 장면 그래프 확장 기법의 과제가 모든 내용을 담고 있다. 독립적인 평면 모델이 아닌 그래프 구조를 이용하여 평면 및 객체간의 상관관계와 의미정보까지 내포하는 고차원적인 모델에 관한 연구이다. 현재는 가상공간에서 이야기할 수 있는 정도의 가상현실이 실현되지만 주 교수는 이를 넘어 각 공간을 3차원으로 복원하고 나아가 공간 속에 있는 물체를 물리적 의미론적으로 인식해 물체 간의 상관관계까지 파악하는 수준에서 기술을 연구하고 있다. “서로의 공간이 3차원으로 보일 뿐 아니라 상대방 공간의 “의자”를 인식하고 앉을 수 있다는 의미론적인 측면까지 생각하는 시각 지능 기술입니다” 여기서 키워드는 “복원”입니다. 인위적으로 가상공간을 만드는 것이 아니라 인공지능을 활용해 실제 공간을 가상공간과 동일하게 복원하는 것이다. 평면을 넘어선 3차원이라는 것도 새로운데 물체의 상관관계까지 인식할 수 있다니 바로 신세계의 탄생이다.메타버스 실현을 위해서는 상호작용을 하기 위한 공간 복원과 행동의 주체인 사람 복원, 크게 두 축이 필요하다. 주경동 교수 연구진이 공간 복원에 집중하고 있고 여기에 3차원 비전 국내 연구진이 많지 않다는 희소성까지 더해지면 메타버스 원천기술의 선점을 상당히 기대할 수 있다. 얼마 전, 「Facebook」이 「메타」로 개명해, 주목을 끌었다. 그만큼 메타버스의 기류가 심해지고 있음을 알 수 있다. 메타버스 기술의 확장성은 상당하며, 인간 생활 다양한 분야(게임, 의료, 교육 등)에서 활용할 수 있다. 이 밖에도 RVILab에서는, 자동 주행의 필수 기술인 다중 센서 융합과 이것을 기반으로 하는 3 차원 인지 기술의 연구도 행해지고 있다.

3차원 비전 분야를 선도할 인재 양성에 최선을 다하겠다는 추경동 교수는 메타버스 등 앞으로 엄청난 수요가 예상되는 만큼 고급 인력 양성의 책임감도 크다고 말했다(사진=임선희 기자). 하지만 연구자 그룹이 워낙 희귀해 3차원 비전 분야를 견인할 인재 양성에 관심이 많습니다. 그래서 나는 연구실 학생들이 성장해 독립적인 연구 능력을 갖출 수 있도록 최대한 돕고 싶다고 말했고, 주경동 교수는 로마가 하루아침에 이루어지지 못한 것처럼 화려하게 보이는 이면에는 많은 노력과 시간이 필요합니다. 학생들이 ‘3차원 컴퓨터 비전’의 기반이 되는 기초 지식도 차곡차곡 쌓아가며 연구를 해 달라”며 학생들에게 주문도 빼놓지 않았다. 전자, 로봇, 컴퓨터 등 여러 전공 분야를 융합해 기존에 다루지 않았던 새로운 연구에 도전할 계획이라며 젊은 연구자로서의 열정을 보이면서도 끊임없이 도전하고 실패하고 도전하고 의미 있는 연구를 계속해 나가는 연구자로서의 본분을 지키도록 노력하겠다고 연구 철학을 전한 주경동 교수. 신진 연구자이긴 하지만 연구 주제만큼은 높은 관심을 받는 최첨단 기술이기 때문에 앞으로의 행보가 더욱 기대된다.
취재/임선희 기자