人臉視頻傳輸方法技術

本發明專利技術公開了一種人臉視頻傳輸方法，該方法包括步驟：S1采集視頻，通過對所述視頻進行訓練，得到人臉模型；S2將所述人臉模型在發送端和接收端之間共享；S3利用人臉模型對所述視頻進行人臉定位和參數擬合，得到模型參數；S4根據傳輸速率限制對模型參數進行優化，使得模型參數傳輸時滿足傳輸速率的限制要求，將優化后的模型參數發送給接收端；S5接收端接收到發送端發送的模型參數后，對發送端發送的模型參數進行還原；S6接收端利用還原的模型參數和共享的人臉模型進行人臉圖像重建。本發明專利技術的人臉視頻傳輸方法，大大降低傳輸需要的數據量，在適應傳輸通道特性的同時最小化參數誤差，避免了每幀傳輸參數造成的冗余，提高了數據傳輸的速率。

【技術實現步驟摘要】

本專利技術涉及視頻傳輸領域，特別涉及一種。
技術介紹
自從二十世紀九十年代以來，從數字電視廣播到無線多媒體通信等技術已在世界各國陸續得到普遍應用。互聯網的普及使得多媒體通信擺脫了電視的局限Skype、G00gleTalk等視頻聊天軟件的出現讓人們可以通過電腦進行視頻通話、遠程會議等多媒體通信。而今，隨著智能手機的快速發展，移動終端上，例如Face time和Tango等的應用使多媒體通信在移動網絡上普及，越來越多的用戶期望得到方便、快捷、無所不在的多媒體通信服務。如何大幅降低視頻數據量的編碼方法是保證移動多媒體業務持續發展的關鍵技術。 現有技術中采用的視頻編碼方法為DCT或小波變換的混合編碼方法，這些方法可減少空間冗余和時間冗余的幀間預測，將視頻數據視為具有某些統計特征的隨機信號進行編碼，而對視頻的具體內容不予考慮。然而，移動視頻通信的一個重要組成部分一人臉視頻(如視頻通話、會議等)具有相當明顯的特征，且人們對于其主體(即人臉)有著非常豐富的先驗知識。傳統視頻編碼方法將所有信息一視同仁地編碼傳輸，其中很多關于人臉的共性冗余信息被視為新信息重復傳遞，浪費了大量網絡帶寬資源。
技術實現思路
(一)要解決的技術問題本專利技術要解決的技術問題是如何提供一種，來減少視頻傳輸過程中大量關于人臉的共性冗余信息重復傳遞，節省網絡帶寬資源，提高傳輸速率，并提高數據傳輸的準確率。(二)技術方案為解決上述技術問題，本專利技術提供了一種，該方法包括步驟SI、采集視頻，通過對視頻進行訓練，得到人臉模型；S2、將所述人臉模型在發送端和接收端之間共享；S3、利用人臉模型對所述視頻進行人臉定位和參數擬合，得到模型參數；S4、根據傳輸速率限制對模型參數進行優化，使得模型參數傳輸時滿足傳輸速率的限制要求，將優化后的模型參數發送給接收端；S5、接收端接收到發送端發送的模型參數后，對發送端發送的模型參數進行還原；S6、接收端利用還原的模型參數和共享的人臉模型進行人臉圖像重建。優選的，所述步驟SI對視頻進行訓練的方法為SI. I、根據視頻定位得到特征點位置向量，即人臉形狀，對所有人臉形狀取平均值，得到平均形狀；SI. 2、將視頻變形并歸一化得到無形狀外觀向量；SI. 3、對特征點位置向量和無形狀外觀向量分別進行主成分分析得到形狀參數向量和外觀參數向量；SI. 4、將形狀參數向量和外觀參數向量進行聯合主成分分析得到主成分單位列正交矩陣、主成分權值、和聯合參數向量。優選的，所述人臉模型中含有人臉外觀和形狀參量。優選的，所述發送端和接收端之間的人臉模型通過云存儲、介質存儲或閑時傳輸的方式進行共享。優選的，所述步驟S3中參數擬合的方法為S3. I、通過人臉定位，得出人臉特征點位置向量； S3. 2、將特征點位置向量經過普氏分析姿態歸一化，得到形狀參數向量和姿態參數；S3. 3、將視頻進行變形并歸一化，得到無形狀外觀向量和光照參數；S3. 4、對外觀和形狀向量分別進行主成分投影，得到外觀和形狀參數向量；S3. 5、對外觀和形狀參數向量進行聯合主成分分析，得到聯合參數向量。優選的，所述步驟S4利用最優比特分配算法和參數幀間插值算法對模型參數進行優化。優選的，所述最優比特分配算法通過降低參數的量化級別來滿足速率限制。優選的，所述參數巾貞間插值算法為以η巾貞為傳輸間隔，每隔η巾貞傳輸一巾貞模型參數，如果當前幀為(η+1)的倍數，則準備參數進行傳輸，否則直接丟幀。優選的，所述步驟S5利用參數糾錯和線性插值還原模型參數，所述參數糾錯根據相應模型參數及接收到的上一模型參數進行糾錯。優選的，所述步驟S6人臉圖像重建的方法為接收端得到還原的模型參數后，根據共享的人臉模型，首先恢復正常形狀下人臉外觀，然后通過系統的變形拉伸，重建出所傳人臉當時的表情和動作。(三)有益效果本專利技術的，人臉圖像可以由模型參數表示，大大降低傳輸需要的數據量，在適應傳輸通道特性的同時最小化參數誤差，避免了每幀傳輸參數造成的冗余，提高了數據傳輸的速率。附圖說明圖I是本專利技術實施例的流程圖。圖2是本專利技術實施例人臉視頻傳輸處理發送流程圖。圖3是本專利技術實施例人臉視頻傳輸接收重建流程圖。具體實施例方式下面結合附圖和實施例，對本專利技術的具體實施方式作進一步詳細描述。以下實施例用于說明本專利技術，但不用來限制本專利技術的范圍。如圖I所示本專利技術實施例提供一種，該方法包括步驟SI采集視頻，通過對所述視頻進行訓練，得到人臉模型。S2將所述人臉模型在發送算和接收端之間共享；S3利用人臉模型對所述視頻進行人臉定位和參數擬合，得到模型參數；S4根據傳輸速率限制對模型參數進行優化，使得模型參數傳輸時滿足傳輸速率的限制要求，將優化后的模型參數發送給接收端；S5接收端接收到發送端發送的模型參數后，對發送端發送的模型參數進行還原；S6接收端利用還原的模型參數和共享的人臉模型進行人臉圖像重建。步驟SI中 對第i幀視頻進行訓練，運行人臉定位算法，得出算法標注的特征點位置向量Si ；將之稱為該幀內人臉的形狀。對所有Si進行平均，得到平均形狀^同時，只保留第i幀中人臉定位算法得出的人臉內范圍的像素，不考慮其他背景像素。將通過分片線性變形將圖像I中的特征點Sa變形至Sb的操作記作變形函數W(I ;sa, Sb)。對于第i幀訓練視頻進行變形，使其等于料/04)。同時，對于圖像像素強度進行歸一化，使像素強度均值為0，標準差為I。將第i幀變形并歸一化后的圖像稱為無形狀外觀向量gi。對于所有Si和gi分別進行主成分分析，得到滿足如下等式的主成分單位列正交矩陣Ps和Pg (其每一列均分別為用戶面部形狀和外觀變化的一種模式)，及主成分權值λ s和λ g:Si = s + P^b1sgt=g + Pgbia其中，&1和&|分別為第i幀人臉圖像經主成分分析得出的形狀和外觀參數向量。下一步，將的和％聯合進行主成分分析。因為圮和岵具有不同的單位(6〖的單位為距離，而4的單位為像素強度)，需要估算一個單位轉換矩陣ws，以便構造一個串聯參數向量_ =設形狀參數向量長度為N，計算Ws的方法為I)定義一個微擾動量」\ = (PO為.,O.0)，對于第i幀圖像的第η個形狀參數V η-Λ/向量玢《)進行擾動，得到spn = s + Psipl + 4&s)s「,n = s + Ps(bls — Abs)2)用sf和s「變形第i幀的無形狀外觀gi，得到gpn = WQi-, s+, s)g；'n = WQi-, sf, s)3)對于任意n，計算形狀參數向量擾動對于外觀的平均影響記作‘設訓練視頻共有K巾貞,則等于β零Iiai24)定義Ws SNXN對角矩陣，其對角元為在得到串聯參數向量\后，再對所有\進行主成分分析，得到滿足如下等式的主成分單位列正交矩陣Q，主成分權值λ b，以及聯合參數向量Ci:Bi = b + Qci至此，由Ps、Pg、Q、入s、入g、Ab、S、■、5組成的人臉模型的訓練完成。本專利技術實施例中采用的人臉定位算法為Subspace Constrained Mean-Shifts算法。該算法可以在人臉上定位63個特征點的位置，供模型訓練與擬合使用。該方法在人臉定位和特征標注結果的基礎上，對于目標人臉的形狀、運動、外表特點進行建模，使得人臉圖像可以由模本文檔來自技高網...

【技術保護點】
一種人臉視頻傳輸方法，其特征在于，該方法包括步驟：S1、采集視頻，通過對視頻進行訓練，得到人臉模型；S2、將所述人臉模型在發送端和接收端之間共享；S3、利用人臉模型對所述視頻進行人臉定位和參數擬合，得到模型參數；S4、根據傳輸速率限制對模型參數進行優化，使得模型參數傳輸時滿足傳輸速率的限制要求，將優化后的模型參數發送給接收端；S5、接收端接收到發送端發送的模型參數后，對發送端發送的模型參數進行還原；S6、接收端利用還原的模型參數和共享的人臉模型進行人臉圖像重建。

【技術特征摘要】

【專利技術屬性】
技術研發人員：陶曉明，李揚，葛寧，陸建華，
申請(專利權)人：清華大學，
類型：發明
國別省市：