電影《魔戒》里的咕嚕姆、《泰迪熊》里的毛絨熊、《阿凡達》里的部落公主……電影里那些經(jīng)典虛擬形象生動的表演總能深深打動觀眾，而它們被賦予生命的背后都源于一項重要的科技技術(shù)——動作捕捉。

動作捕捉（Motion capture），簡稱動捕（Mocap），是指記錄并處理人或其他物體動作的技術(shù)。多個攝影機捕捉真實演員的動作后，將這些動作還原并渲染至相應(yīng)的虛擬形象身上。這個過程的技術(shù)運用即動作捕捉，英文表述為Motion Capture。

動作捕捉技術(shù)涉及尺寸測量、物理空間里物體的定位及方位測定等方面可以由計算機直接理解處理的數(shù)據(jù)。在運動物體的關(guān)鍵部位設(shè)置跟蹤器，由Motion capture系統(tǒng)捕捉跟蹤器位置，再經(jīng)過計算機處理后得到三維空間坐標的數(shù)據(jù)。當數(shù)據(jù)被計算機識別后，可以應(yīng)用在動畫制作，步態(tài)分析，生物力學，人機工程等領(lǐng)域。

動作捕捉技術(shù)的背景

動作捕捉的起源普遍被認為是費舍爾（Fleischer）在1915年發(fā)明的影像描摹（rotoscope）。這是一個在動畫片制作中產(chǎn)生出的一種技術(shù)。藝術(shù)家通過精細的描繪播放給他們的真人錄影片段當中的每一幀靜態(tài)畫面來模擬出動畫人物在虛擬世界中的具備真實感的表演。

這個過程本身是枯燥乏味的。但是對于這些動畫師來說，幸運且具有紀念意義的是，1983年麻省理工學院（MIT）研發(fā)出了一套圖形牽線木偶。

這套系統(tǒng)使用了早期的光學動作捕捉系統(tǒng)，叫做“Op-Eye”，它依賴于一系列的發(fā)光二極管，通過制定動 作，來生成動畫腳本（Sturman,1999）。本質(zhì)上，這個牽線木偶充當了套“動作捕捉服裝”。它自帶非常有限數(shù)量的感應(yīng)球,這些球能粗略的定位人體結(jié)構(gòu)的關(guān)鍵骨骼點的位置。

這套技術(shù)的產(chǎn)生，迅速的奠定了動作捕捉在之后迅速發(fā)展的基礎(chǔ)，為后續(xù)各種動作捕捉提供了追尋的方向，也了之后動作捕捉技術(shù)的風潮，包括今天的動作捕捉技術(shù)在內(nèi)。

動作捕捉技術(shù)基本原理

動作捕捉系統(tǒng)是指用來實現(xiàn)動作捕捉的專業(yè)技術(shù)設(shè)備。不同的動作捕捉系統(tǒng)依照的原理不同，系統(tǒng)組成也不盡相同。

總體來講，動作捕捉系統(tǒng)通常由硬件和軟件兩大部分構(gòu)成。硬件一般包含信號發(fā)射與接收傳感器、信號傳輸設(shè)備以及數(shù)據(jù)處理設(shè)備等；軟件一般包含系統(tǒng)設(shè)置、空間定位定標、運動捕捉以及數(shù)據(jù)處理等功能模塊。

信號發(fā)射傳感器通常位于運動物體的關(guān)鍵部位，例如人體的關(guān)節(jié)處，持續(xù)發(fā)出的信號由定位傳感器接收后，通過傳輸設(shè)備進入數(shù)據(jù)處理工作站，在軟件中進行運動解算得到連貫的三維運動數(shù)據(jù)，包括運動目標的三維空間坐標、人體關(guān)節(jié)的6自由度運動參數(shù)等，并生成三維骨骼動作數(shù)據(jù)，可用于驅(qū)動骨骼動畫，這就是動作捕捉系統(tǒng)普遍的工作流程。

運動捕捉技術(shù)組成

傳感器

所謂傳感器是固定在運動物體特定部位的跟蹤裝置，它將向 motion capture 系統(tǒng)提供運動物體運動的位置信息，一般會隨著捕捉的細致程度確定跟蹤器的數(shù)目。

信號捕捉設(shè)備

這種設(shè)備會因 motion capture 系統(tǒng)的類型不同而有所區(qū)別，它們負責位置信號的捕捉。對于機械系統(tǒng)來說是一塊捕捉電信號的線路板，對于光學 motion capture 系統(tǒng)則是高分辨率紅外攝像機。

數(shù)據(jù)傳輸設(shè)備

motion capture 系統(tǒng)，特別是需要實時效果的 motion capture 系統(tǒng)需要將大量的運動數(shù)據(jù)從信號捕捉設(shè)備快速準確地傳輸?shù)接嬎銠C系統(tǒng)進行處理，而數(shù)據(jù)傳輸設(shè)備就是用來完成此項工作的。

數(shù)據(jù)處理設(shè)備

經(jīng)過 motion capture 系統(tǒng)捕捉到的數(shù)據(jù)需要修正、處理后還要有三維模型向結(jié)合才能完成計算機動畫制作的工作，這就需要我們應(yīng)用數(shù)據(jù)處理軟件或硬件來完成此項工作。軟件也好硬件也罷它們都是借助計算機對數(shù)據(jù)高速的運算能力來完成數(shù)據(jù)的處理，使三維模型真正、自然地運動起來。劇中湯姆漢克斯穿著一套布滿150個感應(yīng)器的黑色緊身衣，這樣電腦就能把他的眼瞼、嘴唇、眉毛、乃至每個身體的表情和動作捕捉到。

動作捕捉技術(shù)的種類

動作捕捉系統(tǒng)種類較多，一般地按照技術(shù)原理可分為：機械式、聲學式、電磁式、慣性傳感器式、光學式等五大類，其中光學式根據(jù)目標特征類型不同又可分為標記點式光學和無標記點式光學兩類。近期市場上出現(xiàn)所謂的熱能式動作捕捉系統(tǒng)，本質(zhì)上屬于無標記點式光學動作捕捉范疇，只是光學成像傳感器主要工作在近紅外或紅外波段。

機械式動作捕捉系統(tǒng)依靠機械裝置來跟蹤和測量運動軌跡。典型的系統(tǒng)由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有角度傳感器，可以測得關(guān)節(jié)轉(zhuǎn)動角度的變化情況。裝置運動時，根據(jù)角度傳感器所測得的角度變化和連桿的長度，可以得出桿件末端點在空間中的位置和運動軌跡。

這里產(chǎn)品的普遍優(yōu)點是成本低，精度高，采樣頻率高，但較大的缺點是動作表演不方便，連桿式結(jié)構(gòu)和傳感器線纜對表演者動作約束和限制很大，特別是連貫的運動受到阻礙，難以實現(xiàn)真實的動態(tài)還原。

聲學式

聲學式動作捕捉系統(tǒng)一般由發(fā)送裝置、接收系統(tǒng)和處理系統(tǒng)組成。發(fā)送裝置一般是指超聲波發(fā)生器，接收系統(tǒng)一般由三個以上的超聲探頭陣列組成。通過測量聲波從一個發(fā)送裝置到傳感器的時間或者相位差，確定到接受傳感器的距離，由三個呈三角排列的接收傳感器得到的距離信息解算出超聲發(fā)生器到接收器的位置和方向。其較大優(yōu)點是成本低，但缺點是精度較差，實時性不高，受噪聲和多次反射等因素影響較大。

 電磁式

電磁式動作捕捉系統(tǒng)一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時空規(guī)律分布的電磁場；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動作在電磁場中運動,接收傳感器將接收到的信號通過電纜或無線方式傳送給處理單元，根據(jù)這些信號可以解算出每個傳感器的空間位置和方向。

這類產(chǎn)品特點是使用簡單、魯棒性和實時性好，缺點是對金屬物體敏感，金屬物引起的電磁場畸變對精度影響大，采樣率較低，不利于快速動作的捕捉，線纜式的傳感器連接同樣對動作表演形成束縛和障礙，不利于復雜動作的表演。

慣性式

慣性傳感器式動作捕捉系統(tǒng)由姿態(tài)傳感器、信號接收器和數(shù)據(jù)處理系統(tǒng)組成。姿態(tài)傳感器固定于人體各主要肢體部位，通過藍牙等無線傳輸方式將姿態(tài)信號傳送至數(shù)據(jù)處理系統(tǒng)，進行運動解算。其中姿態(tài)傳感器集成了慣性傳感器、重力傳感器、磁感應(yīng)計等元素，得到各部分肢體的姿態(tài)信息，再結(jié)合骨骼的長度信息和骨骼層級連接關(guān)系，計算出關(guān)節(jié)點的空間位置信息。

這類產(chǎn)品主要的優(yōu)點是便攜性強，操作簡單，表演空間幾乎不受限制，便于進行戶外使用，但由于技術(shù)原理的局限，缺點也比較明顯，一方面?zhèn)鞲衅鞅旧聿荒苓M行空間絕對定位，通過各部分肢體姿態(tài)信息進行積分運算得到的空間位置信息造成不同程度的積分漂移，空間定位不準確；另一方面原理本身基于單腳支撐和地面約束假設(shè)，系統(tǒng)無法進行雙腳離地的運動定位解算；此外，傳感器的自身重量以及線纜連接也會對動作表演形成一定的約束，并且設(shè)備成本隨捕捉對象數(shù)量的增加成倍增長，有些傳感器還會受周圍環(huán)境鐵磁體影響精度。

光學式

光學式動作捕捉系統(tǒng)基于計算機視覺原理，由多個高速相機從不同角度對目標特征點的監(jiān)視和跟蹤來完成運動捕捉的任務(wù)。理論上對于空間中的任意一個點，只要它能同時為兩部相機所見，就可以確定這一時刻該點在空間中的位置。當相機以足夠高的速率連續(xù)拍攝時，從圖像序列中就可以得到該點的運動軌跡。

這類系統(tǒng)采集傳感器通常都是光學相機，不同的是目標傳感器類型不一，一種是在物體上不額外添加標記，基于二維圖像特征或三維形狀特征提取的關(guān)節(jié)信息作為探測目標，這類系統(tǒng)可統(tǒng)稱為無標記點式光學動作捕捉系統(tǒng)，另一種是在物體上粘貼標記點作為目標傳感器，這類系統(tǒng)稱為標記點式光學動作捕捉。

1、無標記式光學

無標記點式光學動作捕捉原理大致有三種：第一種是基于普通視頻圖像的運動捕捉，通過二維圖像人形檢測提取關(guān)節(jié)點在二維圖像中的坐標，再根據(jù)多相機視覺三維測量計算關(guān)節(jié)的三維空間坐標。由于普通圖像信息冗雜，這種計算通常魯棒性較差，速度很慢，實時性不好，且關(guān)節(jié)缺乏定量信息參照，計算誤差較大，這類技術(shù)目前多處于實驗室研究階段。

第二種是基于主動熱源照射分離前后景信息的紅外相機圖像的運動捕捉，即所謂的熱能式動作捕捉，原理與種類似，只是經(jīng)過熱光源照射后，圖像前景和背景分離使得人形檢測速度大幅提升，提升了三維重建的魯棒性和計算速率，但熱源從固定方向照射，導致動作捕捉時人體運動方向受限，難以進行360度多方位的動作捕捉，例如轉(zhuǎn)身、俯仰等動作并不適用，且同樣無法突破因缺乏明確的關(guān)節(jié)參照信息導致計算誤差大的技術(shù)壁壘。

第三種是三維深度信息的運動捕捉，系統(tǒng)基于結(jié)構(gòu)光編碼投射實時獲取視場內(nèi)物體的三維深度信息，根據(jù)三維形貌進行人形檢測，提取關(guān)節(jié)運動軌跡，這類技術(shù)的代表產(chǎn)品是微軟公司的kinect傳感器，其動作識別魯棒性較好，采樣速率高，價格非常低廉，有不少愛好者嘗試使用kinect進行動作捕捉，效果并不盡如人意，這是因為kinect的應(yīng)用定位是一款動作識別傳感器，而不是準確捕捉，同樣存在關(guān)節(jié)位置計算誤差大，層級骨骼運動累積變形等問題。

總體來講，無標記點式動作捕捉普遍存在的問題是動作捕捉精度低，并且由于原理固有的局限導致運動自由度解算缺失（如骨骼的自旋信息等）造成動作變形等問題。

2、標記式光學
標記點式光學動作捕捉系統(tǒng)一般由光學標識點（Markers）、動作捕捉相機、信號傳輸設(shè)備以及數(shù)據(jù)處理工作站組成，人們常稱的光學式動作捕捉系統(tǒng)通常是指這類標記點式動作捕捉系統(tǒng)。在運動物體關(guān)鍵部位（如人體的關(guān)節(jié)處等）粘貼Marker點，多個動作捕捉相機從不同角度實時探測Marker點，數(shù)據(jù)實時傳輸至數(shù)據(jù)處理工作站，根據(jù)三角測量原理準確計算Marker點的空間坐標，再從生物運動學原理出發(fā)解算出骨骼的6自由度運動。

這里根據(jù)標記點發(fā)光技術(shù)不同還分為主動式和被動式光學動作捕捉系統(tǒng)：

（1）主動式光學

主動式光學動作捕捉系統(tǒng)的Marker點由LED組成，LED粘貼于人體各個主要關(guān)節(jié)部位，LED之間通過線纜連接，由綁在人體表面的電源裝置供電。

其主要優(yōu)點是采用高亮LED作為光學標識，可在一定程度上進行室外動作捕捉，LED受脈沖信號控制明暗，以此對LED進行時域編碼識別，識別魯棒性好，有較高的跟蹤準確率；

（2）被動光學式

被動式光學動作捕捉系統(tǒng)，也稱反射式光學動作捕捉系統(tǒng)，其Marker點通常是一種高亮回歸式反光球，粘貼于人體各主要關(guān)節(jié)部位，由動作捕捉鏡頭上發(fā)出的LED照射光經(jīng)反光球反射至動捕相機，進行Marker的檢測和空間定位。

該類動作捕捉以O(shè)ptitrack動作捕捉系統(tǒng)為代表，技術(shù)成熟，精度高、采樣率高、動作捕捉準確，表演和使用靈活快捷，Marker點可以很低成本地隨意增加和布置，適用范圍很廣。且因其使用不可見反射光進行識別，即便是在戶外環(huán)境下也可以很好的使用，適用場景并不局限在室內(nèi)穩(wěn)定光照環(huán)境。

動作捕捉技術(shù)主要應(yīng)用領(lǐng)域

動畫制作

將運動捕捉技術(shù)用于動畫制作，可較大地提高動畫制作的水平。它較大地提高了動畫制作的效率，降低了成本，而且使動畫制作過程更為直觀，效果更為生動。

虛擬現(xiàn)實系統(tǒng)

為實現(xiàn)人與虛擬環(huán)境及系統(tǒng)的交互，需要確定參與者的頭部、手、身體等的位置與方向，準確地跟蹤測量參與者的動作，將這些動作實時檢測出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)。這些工作對虛擬現(xiàn)實系統(tǒng)是必不可少的，這也正是運動捕捉技術(shù)的研究內(nèi)容。

機器人遙控

機器人將危險環(huán)境的信息傳送給控制者，控制者根據(jù)信息做出各種動作，運動捕捉系統(tǒng)將動作捕捉下來，實時傳送給機器人并控制其完成同樣的動作。與傳統(tǒng)的遙控方式相比，這種系統(tǒng)可以實現(xiàn)更為直觀、細致、復雜、靈活而快速的動作控制，大大提高機器人應(yīng)付復雜情況的能力。在當前機器人全自主控制尚未成熟的情況下，這一技術(shù)有著特別重要的意義。

互動式游戲

可利用運動捕捉技術(shù)捕捉游戲者的各種動作，用以驅(qū)動游戲環(huán)境中角色的動作，給游戲者以一種全新的參與感受，加強游戲的真實感和互動性。

體育訓練

運動捕捉技術(shù)可以捕捉運動員的動作，便于進行量化分析，結(jié)合人體生理學、物理學原理，研究改進的方法，使體育訓練擺脫純粹的依靠經(jīng)驗的狀態(tài)，進入理論化、數(shù)字化的時代。還可以把成績差的運動員的動作捕捉下來，將其與良好運動員的動作進行對比分析，從而幫助其訓練。

另外，在人體工程學研究、模擬訓練、生物力學研究等領(lǐng)域，動作捕捉技術(shù)同樣大有可為?？梢灶A計，隨著技術(shù)本身的發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，動作捕捉技術(shù)將會得到越來越廣泛的應(yīng)用。凌云作為國內(nèi)3D視覺解決方案提供商，愿為行業(yè)用戶提供更多、更較好的視覺器件整體解決方案，助力行業(yè)客戶勇攀行業(yè)高峰！