유진이는 점심시간에 무엇을 먹을지 고민하다가 파스타를 먹기로 결정했다. 익숙한 듯 스마트폰을 꺼내 ‘스캔서치’ 어플리케이션으로 주위에 맛있는 파스타집을 찾았다. 스마트폰이 가리키는 곳으로 가다보니 어느새 파스타집에 도착했다. 이 때 ‘스캔서치’는 바로 증강현실 기술을 이용한 어플리케이션이다.

현실에 가상세계가 더해진 증강현실

일기예보를 볼 때 기상캐스터는 뒤의 배경을 보며 내일의 날씨를 설명한다. 이때 기상캐스터를 제외한 모든 화면에 컴퓨터 그래픽을 사용한다. 축구경기를 볼 때도 경기장에 태극기가 그려져 있는 모습을 볼 수 있다. 이 역시 잔디에 진짜 태극기가 깔린 것이 아닌 컴퓨터 그래픽이 겹쳐진 것이다.

이처럼 실제 환경에 가상의 개체인 이미지와 애니메이션, 오디오, 정보 등을 포함하는 컴퓨터 그래픽 영상을 삽입해 사용자로 하여금 현실에 존재하는 것처럼 보이도록 하는 기술을 증강현실(AR : augmented reality)이라고 한다. 다시 말해 현실의 세계에 가상의 세계를 합성해서 보여주는 기술이다.

증강현실은 가상현실(VR : virtual reality)이 등장하기 시작한 때부터 연구됐다. 박종일<공대 컴퓨터공학부> 교수는 “1960년대 후반 미디어아티스트인 마이론 크루거가 처음으로 가상화면에 사람의 움직임을 실시간으로 반영하는 기술을 개발해 저서 「Artificial Reality」에 기술해놓았다”고 설명했다. 현재 우리에겐 익숙해진 이 기술은 그 당시에는 혁신적이었다. 이때부터 본격적으로 가상과 현실이 실시간으로 공존하는 개념이 사람들에게 받아들여지기 시작한 것이다.

증강현실 기술은 1980년대부터 본격적으로 활용되기 시작했다. 우주비행 교육 시 실제로 비행을 경험해볼 수 없기 때문에 가상 비행을  위해 사용됐으며 방송에서도 사용됐다. 스튜디오에서 블루스크린을 통해 화면을 컴퓨터 그래픽 영상으로 합성해 보여줌으로써 시청자들은 화면 속의 배경에 출연자가 직접 가 있는 듯한 영상을 볼 수 있게 됐다.

현재에는 군사 훈련 시에 야간 투시경이나 의료 분야에서 수술 시에 의사에게 필요한 정보를 주는 형태로도 쓰이고 있다. 그러나 일반 사람들에게 증강현실 기술이 직접적으로 알려지는 데는 무리가 있었다. 기술 자체가 고도의 컴퓨팅 기술이 필요하기 때문이다.

하지만 최근 들어 증강현실 기술이 날로 상용화되고 있다. 이에 결정적인 역할을 한 것이 바로 스마트폰을 이용한 모바일 증강현실이다. 특별한 장비 없이도 실생활에 다양한 방법으로 사용될 수 있는 것이다. 박 교수는 스마트폰을 ‘세상을 보는 또 다른 창’이라고 말했다.

현재 증강현실은 특정 매개체를 수반하지 않고 바로 구현되기는 힘들다. 이에 사람들이 가장 가깝게 증강현실에 다가갈 수 있는 것이 바로 스마트폰이라는 설명이다. 스마트폰에는 사용자의 위치를 파악할 수 있는 GPS시스템, 각종 센서와 복잡한 영상처리를 위해 고도화된 멀티미디어칩 등이 포함돼있기 때문에 증강현실을 위한 기본적인 시스템이 갖춰져 있는 것이다.

현재 증강현실 기술을 이용한 스마트폰 어플리케이션으로 ‘스캔서치’를 꼽을 수 있다. ‘영상자체를 인식해서 정보를 제공하는 서비스’를 토대로 개발된 스캔서치는 초기에는 물체를 인식할 수 있는 기술이 존재하지 않았다. 그러나 1년의 시행착오를 거쳐 스캔서치의 기본 콘셉트는 ‘검색’으로 정해졌고 이를 바탕으로 스캔서치라는 이름이 탄생하게 됐다. 스캔서치가 출시된 후 이전에 보지 못했던 기술이 담긴 어플리케이션의 등장에 사용자들은 즉각적인 반응을 보였다. 현재도 스캔서치는 사용자들의 사용 후기를 중심으로 수정돼야 할 기능들을 꾸준히 보완하고 있다.

증강현실을 구현하기 위한 조건
빈 컵에 음료수가 담겨 있는 것처럼 표현하기 위해서는 컵을 인식하고 컵 안에 음료수를 합성하는 것이 가장 기본적이다. 박 교수는 “증강현실에서 가장 중요한 것은 물체가 인식되고 원하는 그래픽을 합성했을 때 가장 자연스러워 보이는 것”이라고 말한다. 이를 ‘트랙킹’이라고 하는데 현실에 있는 객체의 위치와 방향을 인식해 가상객체와 가장 자연스럽게 맞물리게 하는 것이다. 컵 안에 음료수를 담긴 것처럼 표현했을 때 조금만 움직여도 음료수가 담겨 있는 모양이 컵 밖으로 이탈되거나 담긴 모습이 어색해지는데, 이는 트랙킹이 잘못된 것이다.

경기 중 그라운드에 태극기를 합성시켰을 때 그라운드 위의 선수들까지도 태극기가 합성된다면 방송사는 더 이상 그래픽담당자를 고용할 가치가 없어진다. 선수영역을 분할해 표현해야하는 영역분할기술을 사용하지 못하는 기술자이기 때문이다.

트랙킹과 더불어 중요한 것으로 박 교수는 ‘현실감’을 꼽았다. 증강현실은 가상세계에 현실을 덧입히는 기술인만큼 오감을 만족시켜야 한다. 현재로서는 후각과 미각을 실현하기에는 기술적으로 무리가 있고 가장 상용화된 것이 시각과 청각이다. 현재 방에 새가 있음을 표현하고자 할 때 새의 위치에 따라 새의 울음소리가 다르게 들리는지가 중요하다. 새가 있는 위치에서 울음소리가 날 때 현실감이 높아지는 것이다.

앞으로 증강현실이 사회에 미칠 영향은 무궁무진하다. 박 교수는 “증강현실은 우리 생활에 큰 부분을 차지할 것”이라고 전했다. 이어 “증강현실을 일반 사람들이 가장 쉽게 접할 수 있는 매체는 스마트폰의 어플리케이션”이라며 “앞으로는 상상할 수 없을 정도로 기술이 발전돼있을 것”이라고 말했다.

또 아직 상용화되지는 않았지만 특정 개체의 정보를 인식해 보여주는 등의 기술도 앞으로 충분히 가능하게 될 것이다. 어떤 장소를 인식하면 그 곳의 옛 모습을 현실감 있게 보여주거나 박물관에 전시된 도자기를 인식하면 도자기의 정보를 실시간으로 화면에 띄워주는 것이다.

현재 이 기술들은 전문적인 기술을 사용해야 하기 때문에 일반 사람들이 접하기에는 어려운 게 사실이다. 이에 박 교수는 “동영상 편집기술 같은 경우도 10년 전만 해도 할 줄 아는 사람이 얼마 없었다”며 “증강현실 기술도 곧 일반화될 것”이라고 말했다. 하지만 “증강현실이 발전함에 따라 가상세계와 현실세계를 구분하지 못하게 되는 또 다른 문제가 발생할 수 있다”고 언급했다.