모션 캡처

모션 캡처(motion capture)란 몸에 센서를 부착시키거나, 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다.

동일한 작품을 연주하는 2명의 피아니스트의 오른쪽 손의 모션 캡처. (슬로 모션, 무음)

1970년대 말부터 알려지기 시작한 기술로 1980년대 들어 컴퓨터를 이용하면서 인간의 동작분석이 학문적으로 시작됐다. 신체 여러 부분에 센서를 부착한 뒤에 센서의 위치값을 통해 가상캐릭터가 같은 동작으로 움직이게 하는 것이 이 기술의 핵심이다. 어떠한 실제 물체의 움직임을 수치 데이터로 저장하였다가 컴퓨터로 만든 가상의 물체에 모션 데이터를 넘겨주는 과정을 모션 캡처라 할 수 있다.

영화의 등장 인물을 나타내는 데에도 쓰이는데, 《반지의 제왕》에 등장한 골룸이 한 예다. 영화에서 골룸의 얼굴 표정과 동작 등을 실제 배우의 연기를 여러 대의 적외선 카메라로 찍어 컴퓨터로 기록한 다음 그 움직임을 컴퓨터 그래픽으로 만든 골룸 캐릭터로 표현하도록 합성하는 것이다. 영화 《리얼 스틸》에 나타나는 로봇의 제어 방식 역시 모션 캡처 방식을 이용한 것이라고 볼 수 있다. 또한 병원 재활의학과에서 환자의 보행을 교정하거나, 체육선수들의 자세 교정에도 이용하고 있다.

또한 인물의 동작뿐만 아니라 감정 표현을 위한 얼굴 표정까지 3D 데이터로 추출하여 보다 빠르고 자연스럽게 캐릭터의 움직임을 제작할 수 있는 컴퓨터 그래픽 연산기술이다. 어떤 실제 물체의 움직임을 수치적 데이터로 저장하였다가 컴퓨터로 만든 가상의 물체에 모션 데이터를 넘겨주는 과정이라고 할 수 있다.

역사

CG를 사용하며 가상현실을 영상에 담는 기술이 개발되기 시작하여 사용할 수 있게 되었으며 그 동안 많은 양의 데이터를 더욱 빠르게 처리할 수 있는 컴퓨터 하드웨어가 발전하게 되었고, 이와 동시에 CG 영상도 2D에서 3D로 넘어오게 되었다. CG로 제작된 영상을 보다 현실적으로 보여주기 위한 노력 끝에 물체의 움직임을 데이터화시켜 CG로 작업을 하는 ‘모션 캡처’ 기법까지 사용하게 되었다.

여기서 말하는‘모션 캡처’란 실제 물체의 움직임을 컴퓨터에 입력해 수치적 데이터로 컴퓨터에 저장하는 것을 말한다. 간단히 과정을 살펴보면 움직임을 감지할 수 있는 센서를 물체에 부착하고, 물체가 이동할 때의 수치 데이터를 일정 간격을 두고 저장하는 것이다. 이렇게 ‘모션 캡처’를 활용해 CG 처리된 영상은 부드러운 곡선을 그리며 보다 현실적인 움직임으로 퀄리티 높은 영상을 보여주는 장점이 있다. 때문에 모션 캡처 장비가 몇 억이 드는 고가의 장비임에도 불구하고, 보다 멋진 영상을 담기 위해 사용하는 것이다. 이러한 경우에는 사람의 관절에 '특수마커(센서)'를 부착시킨다. 그리고 마커들의 위치, 회전 데이터를 특수 장치에 의해 실시간으로 인식시켜 'motion data set' 혹은 '모션커브(motion curve)'를 만들게 된다.

'키 프레임 애니메이션(Key Frame Animation)'과 '시뮬레이션'과 같은 기존 애니메이션 기술에 비해 '모션 캡처'의 가장 큰 이점은 실시간 애니메이션 영상과 자연스럽게 보이는 높은 Quality의 영상을 제공할 수 있는 장점을 지니고 있다는 점이다.

방법 및 시스템

모션 트래킹 또는 모션 캡처는 1970년대와 1980년대에 생물역학 연구에서 광도계 분석으로 시작했으며, 텔레비전, 영화, 비디오 게임을 위한 교육, 훈련, 스포츠 및 최근 컴퓨터 애니메이션으로 확대되었다. 20세기 이후 배우는 각 관절 근처에 마커를 착용하여 마커 사이의 위치나 각도로 움직임을 식별했고, 음향, 관성, LED, 자기 또는 반사 마커의 조합은 원하는 운동의 주파수 속도의 최소 두배 이상으로 추적하였다. 모션이 흐트러지면 분해능이 낮아지는 것과 거의 동일한 문제가 발생하기 때문에 공간 분해능(해상도)과 시간 분해능(해상도)이 개발되었고, 대부분의 현대 시스템은 배경에서 배우의 관절 각을 수학적 실루엣에 맞추어 계산하게 되었다. 이동시 실루엣의 변화를 볼 수 없지만. 마커와 실루엣이 모두 활용가능한 하이브리드 시스템이 있다.

광학 시스템

광학 시스템은 이미지 센서에서 캡처한 데이터를 사용하여 보정된 두 개 이상의 카메라 사이에서 대상의 3D 위치를 삼각형을 통해 겹치는 투영을 제공한다. 데이터 획득은 원래 연기자에게 부착된 특수 마커를 사용하여 구현되지만, 최근의 시스템은 각각 동적으로 식별된 표면 기능을 추적함으로써 정확한 데이터를 생성할 수 있게 되었다. 많은 수의 배우들을 추적하거나, 캡처 영역을 확대하는 것은 카메라의 수를 늘리는 것으로 해결되었다. 순환 정보는 세 개 이상의 방향에서 추론해야한다. 최신 하이브리드 시스템은 관성 센서와 광학 센서를 결합하여 폐광을 줄이고 사용자 수를 증가시키며 데이터를 수동으로 정리하지 않고도 추적 기능을 개선한다.

패시브 마커

패시브 마커 시스템은 카메라 렌즈 근처에서 발생되는 빛을 반사하기 위해 역반사 물질로 덮인 마커를 사용한다. 마커의 중심은 포착된 2차원 영상 내의 위치로 추정된다. 각 픽셀의 흑백 값은 가우스 중심을 찾음으로써 부분 픽셀의 정확도를 제공하는 데 사용할 수 있다. 알려진 위치에 마커가 부착된 물체를 사용하여 카메라를 보정하고 각 카메라의 렌즈 변형을 측정한다. 보정된 카메라 두 대가 마커를 인식하면 3차원적 고정 장치를 얻을 수 있다. 일반적으로 시스템은 약 2-48개의 카메라로 구성된다. 300개 이상의 카메라 시스템이 있어 마커 교환을 줄일 수 있다. 포착 대상과 여러 대상 주변을 완전하게 적용하려면 추가 카메라가 필요하다. 모든 패시브 마커가 동일하게 표시되므로 공급 업체는 마커 교환 문제를 줄이기 위해 소프트웨어를 제한한다. 액티브 마커 시스템이나 마그네틱 시스템과 달리 패시브 마커 시스템은 사용자가 전선이나 전자 장비를 착용할 필요가 없다. 대신, 수백 개의 고무공이 반사 테이프로 부착되고 주기적으로 교체된다. 마커는 일반적으로 피부에 직접 부착하거나 모션 캡처 용으로 특별히 고안된 전신 스판덱스 라이크라 슈트에 접착된다. 패시브 마커 시스템은 분해능을 낮추고 10000fps까지 추적할 수 있는 관심 영역을 추적하더라도 약 120~160fps의 프레임 속도로 대량의 마커를 캡처할 수 있다.

액티브 마커

액티브 마커 시스템은 한 번에 하나의 LED를 매우 빠르게 점등하여 위치 값을 삼각측량하거나 소프트웨어가 있는 여러 개의 LED로 위치를 식별한다. 외부에서 발생하는 빛을 반사하는 것이 아니라, 마커 자체가 빛을 발산할 수 있게 전원이 공급된다. 역제곱 법칙은 거리의 2배에서 4분의 1의 전력을 제공하므로, 이를 통해 캡처할 거리와 볼륨이 증가할 수 있다. 또한 신호 대 잡음비를 활성화하여 오류가 적고 측정 분해능이 높다. 보정된 볼륨 내에서 0.1mm로 낮아지기도 한다.컬러 LED 마커를 사용하여 위치를 찾는 것도 가능하며, 이 시스템에서 각 색상은 신체의 특정 지점에 지정된다. 1980년대 초기의 액티브 마커 시스템 중 하나는 회전식 거울과 유색 유리 반사 마커가있는 하이브리드 패시브 액티브 모션 캡처 시스템이 있었다.