基于測地距的徑向基函數(shù)人臉表情重定向與動畫方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于運動捕捉數(shù)據(jù)的人臉表情重定向和動畫算法。通過建立一個基于測地距的徑向基函數(shù)人臉表情的重定向模型，實現(xiàn)了從運動捕捉數(shù)據(jù)空間到目標人臉模型運動空間的轉(zhuǎn)換，在轉(zhuǎn)換的過程中考慮了人臉網(wǎng)格的結(jié)構(gòu)，著重解決了使用徑向基函數(shù)進行空間轉(zhuǎn)換過程中全局性問題。在人臉表情動畫階段，利用了空間轉(zhuǎn)換的結(jié)果，使用基于測地距徑向基函數(shù)的人臉變形模型，對運動數(shù)據(jù)進行插值，獲取整個模型的變形結(jié)果。本發(fā)明專利技術(shù)可將同一個捕捉序列應(yīng)用到不同的人臉模型，模型轉(zhuǎn)換比較容易，同時針對不同的捕捉序列也可用于同一個目標模型，實現(xiàn)了運動捕捉數(shù)據(jù)的重用，同時也具有較強的動畫真實感。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及，屬于圖像處理

技術(shù)介紹
近年來，隨著動漫產(chǎn)業(yè)、三維游戲及三維影視制作等領(lǐng)域的發(fā)展，計算機人臉表情動畫技術(shù)得到了廣泛的關(guān)注。人臉表情動畫主要研究如何在計算機中真實地模擬人臉表情變化。面部表情是人們之間信息交流的ー種方式，通過表情的變化也可以判斷出人們的感情狀態(tài)。在數(shù)字娛樂領(lǐng)域，特別是 在影視和游戲制作中，人臉表情動畫發(fā)揮著舉足輕重的作用。此外，在視頻會議、計算機輔助教學(xué)、虛擬現(xiàn)實、人機交互界面設(shè)計及心理學(xué)等領(lǐng)域，人臉表情動畫的相關(guān)研究和應(yīng)用也越來越吸引人們的注意。因此，提高人臉表情動畫制作的效率，增強動畫的真實感，降低動畫制作的成本，對于推動整個數(shù)字娛樂產(chǎn)業(yè)的發(fā)展，促進國家文化產(chǎn)業(yè)的進步和國民經(jīng)濟增長具有現(xiàn)實意義。人臉是ー個生理結(jié)構(gòu)及其精細的組織，復(fù)雜的肌肉收縮可以產(chǎn)生細微的表情變化。同時，人們很容易感知到不自然的表情。這樣，要制作真實感的人臉表情動畫常常需要技術(shù)嫻熟的專業(yè)動畫制作人員花費大量的時間。運動捕捉技木通過粘貼在表演者體表或面部的標記點來記錄其相應(yīng)位置的運動信息，這些運動信息可以被用于驅(qū)動其他的計算機合成的虛擬模型產(chǎn)生類似的動作或者表情變化?；谶\動捕捉的人臉表情動畫通過重用表演者的表情運動數(shù)據(jù)，使其他的虛擬模型產(chǎn)生真實感的表情。數(shù)據(jù)的重用節(jié)約了動畫制作的成本,而且數(shù)據(jù)是來自真實的表情運動,也增加了動畫的真實感。為了使計算機合成的虛擬模型利用捕捉的表情運動數(shù)據(jù)產(chǎn)生表情，需要解決兩個方面的問題首先，由于捕捉模型和最終的目標動畫模型不是同一個模型，相應(yīng)的表情運動也不屬于同一個坐標空間，為了使目標模型產(chǎn)生相似的表情，需要對原始的運動空間進行轉(zhuǎn)換，即將原始表情重定向到目標模型，實現(xiàn)從原始人臉模型的運動空間到目標人臉模型的運動空間的轉(zhuǎn)換。很多學(xué)者就該問題也提出了許多解決辦法，其中比較常用的是徑向基函數(shù)(Radical basis functions,徑向基函數(shù))方法。徑向基函數(shù)方法是ー種全局的插值方法，但是人臉是ー個具有開放區(qū)域的特殊結(jié)構(gòu)，特別是在眼睛和嘴部區(qū)域，運動存在不連續(xù)的情況。這樣，在使用全局的徑向基函數(shù)方法將原始模型的運動重定向到目標模型時，忽略了人臉特殊的網(wǎng)格結(jié)構(gòu)，使得求解出的目標模型的運動產(chǎn)生錯誤，利用這樣的運動信息驅(qū)動目標人臉必然使模型的運動失真，產(chǎn)生不自然的表情。其次，使用運動捕捉技術(shù)得到的只是原始人臉模型上稀疏的標記點的運動信息，通過重定向方法得到是目標人臉模型上相應(yīng)標記點的運動情況，而計算機合成的目標人臉模型上至少有上千個頂點，如何利用少量的標記點運動變形整個人臉模型產(chǎn)生表情動畫是ー個重要的問題。不少學(xué)者也提出了各種動畫方案，其中，基于物理模型的方法，通過建立一個人臉的仿生模型，利用動力學(xué)方程使得人臉模型產(chǎn)生動畫，但是由于人臉結(jié)構(gòu)的復(fù)雜性，該方法的建模難度比較大，并且很難實現(xiàn)表情的重定向。形狀融合方法，將人臉表情看作是關(guān)鍵表情的加權(quán)和，只要找到關(guān)鍵表情和表情融合的權(quán)重就可使目標ホ旲型廣生表情動畫。這種方法可以產(chǎn)生真實的人臉動畫，但是需要大量的表情來構(gòu)建關(guān)鍵表情，而且動畫的質(zhì)量依賴于融合權(quán)重的求解。此外，使用徑向基函數(shù)方法對標記點進行插值求解其余頂點的運動也比較常見，徑向基函數(shù)方法的優(yōu)點是運算量比較小，能夠滿足實時動畫的效率要求。徑向基函數(shù)方法通過標記點和頂點之間的關(guān)聯(lián)求解頂點運動，這種關(guān)聯(lián)是通過它們之間的歐式距離來反應(yīng)的，一般距離越小，頂點受到標記點的影響就越大。但是，在實際的人臉表情運動中，并不是所有頂點都是這樣，特別是在嘴唇張開時，上下嘴唇上的運動是沒有關(guān)聯(lián)的。這樣，僅僅根據(jù)歐式距建立 的這種關(guān)聯(lián)是不正確的，最終得到的動畫質(zhì)量也難以保證。
技術(shù)實現(xiàn)思路
為了克服上述的不足，本專利技術(shù)的目的在于提供Equation Chapter ISection I，該方法通過使用基于測地距的徑向基函數(shù)方法，著重解決人臉表情重定向過程中的空間轉(zhuǎn)換問題和動畫過程中的變形問題，從而有效避免了動畫過程中的失真情況，并且該方法相對簡單，計算量較小，可以有效地保證動畫的效率。本專利技術(shù)采取的技術(shù)方案如下第一歩首幀運動捕捉數(shù)據(jù)的預(yù)處理，其包括以下3個步驟步驟I :導(dǎo)入ー個表情運動捕捉序列，提取首幀運動捕捉序列，對首幀序列中的標記點位置進行三角剖分，形成一個首幀序列的三角網(wǎng)格；步驟2 :根據(jù)人臉的語義特征，在首幀序列的三角網(wǎng)格中，去除眼睛及嘴部區(qū)域的偽關(guān)聯(lián)；步驟3 :依據(jù)去除偽關(guān)聯(lián)后的首幀序列的三角網(wǎng)格中標記點之間的關(guān)聯(lián)，求解標記點之間的測地距；第二步構(gòu)建表情運動重定向模型；建立首幀運動捕捉數(shù)據(jù)與目標人臉模型標記點之間的映射關(guān)系，其可以表示如下m, = Σ wZザ(I I Pf — P0J I Igeo ) + iIiP0i ),所述ズ是首巾貞運動捕捉序列中的標記點的空間坐標(X^ypZi);所述Xi, Yi和Zi的単位均為毫米；Ilズ-パIU是首幀序列中兩個標記點之間的測地距，所述測地距單位是毫米％是待求的權(quán)值系數(shù)；n是標記點的個數(shù)，所述η是ー個整數(shù)，根據(jù)初始設(shè)置的標記點個數(shù)其值為60 是目標人臉模型上第i個標記點的空間坐標(Xi^pZi);所述Xi，Yi和Zi的単位均為毫米，I彡i，j彡n;g(/)是ー個多項式，其是ー個仿射變換，在求解公式 η =2>,#(|| pf -p] IU) + 9(ズ)組成的線性系統(tǒng)時，同時計算該多項式項權(quán)利要求1.，其特征在于 第一歩首幀運動捕捉數(shù)據(jù)的預(yù)處理，其包括以下3個步驟 步驟I :導(dǎo)入一個表情運動摘捉序列，提取首巾貞運動摘捉序列，對首巾貞序列中的標記點位置進行三角剖分，形成一個首幀序列的三角網(wǎng)格； 步驟2:根據(jù)人臉的語義特征，在首幀序列的三角網(wǎng)格中，去除眼睛及嘴部區(qū)域的偽關(guān)聯(lián)； 步驟3 :依據(jù)去除偽關(guān)聯(lián)后的首幀序列的三角網(wǎng)格中標記點之間的關(guān)聯(lián)，求解標記點之間的測地距； 第二步構(gòu)建表情運動重定向模型； 建立首幀運動捕捉數(shù)據(jù)與目標人臉模型標記點之間的映射關(guān)系，其可以表示如下全文摘要本專利技術(shù)公開了一種基于運動捕捉數(shù)據(jù)的人臉表情重定向和動畫算法。通過建立一個基于測地距的徑向基函數(shù)人臉表情的重定向模型，實現(xiàn)了從運動捕捉數(shù)據(jù)空間到目標人臉模型運動空間的轉(zhuǎn)換，在轉(zhuǎn)換的過程中考慮了人臉網(wǎng)格的結(jié)構(gòu)，著重解決了使用徑向基函數(shù)進行空間轉(zhuǎn)換過程中全局性問題。在人臉表情動畫階段，利用了空間轉(zhuǎn)換的結(jié)果，使用基于測地距徑向基函數(shù)的人臉變形模型，對運動數(shù)據(jù)進行插值，獲取整個模型的變形結(jié)果。本專利技術(shù)可將同一個捕捉序列應(yīng)用到不同的人臉模型，模型轉(zhuǎn)換比較容易，同時針對不同的捕捉序列也可用于同一個目標模型，實現(xiàn)了運動捕捉數(shù)據(jù)的重用，同時也具有較強的動畫真實感。文檔編號G06T13/40GK102855652SQ20121028473公開日2013年1月2日 申請日期2012年8月10日 優(yōu)先權(quán)日2012年8月10日專利技術(shù)者魏小鵬, 張強, 李蓓蓓 申請人:大連大學(xué)本文檔來自技高網(wǎng)...

【技術(shù)保護點】
基于測地距的徑向基函數(shù)人臉表情重定向與動畫方法，其特征在于：第一步：首幀運動捕捉數(shù)據(jù)的預(yù)處理，其包括以下3個步驟：步驟1：導(dǎo)入一個表情運動捕捉序列，提取首幀運動捕捉序列，對首幀序列中的標記點位置進行三角剖分，形成一個首幀序列的三角網(wǎng)格；步驟2：根據(jù)人臉的語義特征，在首幀序列的三角網(wǎng)格中，去除眼睛及嘴部區(qū)域的偽關(guān)聯(lián)；步驟3：依據(jù)去除偽關(guān)聯(lián)后的首幀序列的三角網(wǎng)格中標記點之間的關(guān)聯(lián)，求解標記點之間的測地距；第二步：構(gòu)建表情運動重定向模型;建立首幀運動捕捉數(shù)據(jù)與目標人臉模型標記點之間的映射關(guān)系，其可以表示如下所述是首幀運動捕捉序列中的標記點的空間坐標(xi,yi,zi)；所述xi，yi和zi的單位均為毫米；是首幀序列中兩個標記點之間的測地距，所述測地距單位是毫米；wj是待求的權(quán)值系數(shù)；n是標記點的個數(shù)，所述n是一個整數(shù)，根據(jù)初始設(shè)置的標記點個數(shù)其值為60；是目標人臉模型上第i個標記點的空間坐標(xi,yi,zi)；所述xi，yi和zi的單位均為毫米，1≤i,j≤n；是一個多項式，其是一個仿射變換，在求解公式組成的線性系統(tǒng)時，同時計算該多項式項：若將上述線性系統(tǒng)寫成如下矩陣形式：M=Φ·W,所述M∈Rn+3，3是目標人臉模型上標記點的空間位置矩陣，Φ是基于首幀序列的標記點間測地距的徑向基函數(shù)組成的矩陣，所述權(quán)值矩陣W通過公式下式求出,W=Φ？1M,通過上述權(quán)值矩陣的求解公式，得到了首幀序列標記點與目標人臉模型上標記點之間的映射關(guān)系,對于第k幀捕捉序列,將公式M＝Φ·W中的Φ換成關(guān)于當前幀標記點位置的所述k是表情運動序列的長度，即幀長度；從而可以求得當前幀目標人臉模型上標記點的位置矩陣M；第三步：基于測地距的徑向基函數(shù)目標人臉表情動畫模型，其有以下幾個步驟：步驟1：在目標人臉模型上搜索與每個標記點空間上最匹配的頂點，由于目標模型上的標記點是依據(jù)原始人臉模型上標記點的位置手動設(shè)定的，它與目標人臉模型上的頂點沒有直接的關(guān)聯(lián)，在求解目標人臉模型上標記點與頂點之間的測地距之前，要保證所有標記點與頂點在同一個網(wǎng)格上,并且頂點與面片之間的關(guān)系已經(jīng)建立；步驟2：預(yù)計算目標人臉模型上頂點和標記點之間的測地距是目標人臉模型上第i個頂點的空間坐標(xi,yi,zi)，所述xi，yi和zi的單位均為毫米；m′j是目標人臉模型上與第j個標記點最匹配的頂點的空間坐標(xj,yj,zj),所述xj,yj和zj的單位均為毫米；為了保證動畫的效率,可以進一步預(yù)計算目標人 臉模型上標記點和頂點之間的徑向函數(shù)信息并且所述r為經(jīng)驗值,r=0.375；所述目標人臉模型上標記點之間的徑向基函數(shù)信息可先行計算，以便于實時求解每一幀的徑向基權(quán)值矩陣,這里標記點之間的距離是歐式距離；步驟3：針對每一幀的運動數(shù)據(jù),在目標人臉模型標記點和當前幀標記點的位移之間構(gòu)建一個徑向基函數(shù)訓(xùn)練模型,求解出每一幀的徑向基權(quán)值矩陣W=Φ？1M,Φ使用步驟2中預(yù)計算標記點之間的徑向基函數(shù)以減少實時運算的消耗,M為每一幀目標人臉模型上標記點的位移矩陣，這里的位移是第二步求解出的當前幀標記點的空間位置與目標人臉模型標記點的空間位置的差值；步驟4：利用下面的公式建立一個變形模型所述是第k幀運動序列中第i個頂點的位移,該位移用一個三維坐標表示,其中和的單位都是毫米，是步驟2中預(yù)計算的目標人臉模型標記點和頂點之間的徑向函數(shù)信息,是根據(jù)步驟3求得的第k幀運動序列的徑向基權(quán)值矩陣W中提取的權(quán)值系數(shù)；步驟5：利用下面的公式求出每一幀目標人臉模型上每個頂點的位置vi=vik+vi0,所述是目標人臉模型上第i個頂點在初始狀態(tài),即靜止時的空間位置；是步驟4求得的第k幀運動序列中第i個頂點的位移,vi就是第k幀運動序列中第i個頂點的空間位置；對于一個運動捕捉序列,重復(fù)步驟3到步驟5,即可求 出目標人臉模型上每一幀每個頂點的位置,實時更新每個頂點的空間坐標位置就可產(chǎn)生人臉表情動畫。FDA00001997793800011.jpg,FDA00001997793800012.jpg,FDA00001997793800013.jpg,FDA00001997793800014.jpg,FDA00001997793800015.jpg,FDA00001997793800016.jpg,FDA00001997793800021.jpg,FDA00001997793800022.jpg,FDA00001997793800023.jpg,FDA00001997793800024.jpg,FDA00001997793800025.jpg,FD...

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：魏小鵬，張強，李蓓蓓，
申請(專利權(quán))人：大連大學(xué)，
類型：發(fā)明
國別省市：