三維手勢識別方法和系統技術方案

提供了一種3D手勢識別方法和系統。所述3D手勢識別系統包括：特征提取單元，從輸入的視頻序列的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征；匹配單元，將特征提取單元提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息；支持向量機SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來識別當前幀中的手勢。根據本發明專利技術的3D手勢識別方法和系統沒有手朝向的限制，并且能夠成功解決自身遮擋問題。

【技術實現步驟摘要】

本專利技術涉及智能識別領域，具體地講，涉及一種三維(3D)手勢識別方法和系統。
技術介紹
基于虛擬現實的沉浸式(immersive)大型顯示器需要人通過傳統方式進行交互。但是，當前的計算機/用戶交互采用的多是簡單的交互方式，并存在交互障礙，因此消費者更愿意通過多媒體或虛擬現實的方式進行交互。例如，計算機鍵盤提供鍵盤交互性能，但該鍵盤交互不是直覺的，而電視遙控器會讓用戶感覺更直覺，但電視遙控器提供的交互性能有限。另外，一些柔性界面(例如，儀器防護服)既笨重又價格昂貴。當前，大多數現有的手勢識別系統僅為ニ維(2D)手勢識別，且限于ー些特定視角，另外，也難以對不同朝向的手勢感知也非常困難。因此，需要ー種不限于特定視角和不受朝向影響的3D手勢識別方法和系統。
技術實現思路
根據本專利技術示例性實施例的一方面，提供了ー種3D手勢識別系統，所述3D手勢識別系統包括特征提取単元，從輸入的視頻序列的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征；匹配単元，將特征提取單元提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息；支持向量機SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來識別當前幀中的手勢。所述3D手勢識別系統還可包括時域確認單元，根據視頻序列的多個先前幀的識別結果來計算當前幀屬于特定手勢的概率，并將概率最大的手勢確定為當前幀的手勢。時域確認單元可通過如下公式來確定當前幀的手勢c = arg max (p (Ci))p(c) = ProMCri = Ci)/ Ctv1 = C1, . . . , Ti^n = cn)) = I, 2, . . . , N其中，Iv1. . . IVn表示多個先前幀的識別結果，Γ 表示當前幀的當前識別結果，Ci表示第i種手勢，N表示手勢的總數，η表示先前幀的數量，p(Ci)表示第i種手勢的概率，ProbO表示用于獲得概率的函數，c表示將與最大概率相應的手勢作為當前幀的手勢。匹配単元可通過下面的公式來計算表示提取的⑶F特征f和模板的⑶F特征Ti之間的相似度的距離權利要求1.一種3D手勢識別系統，所述3D手勢識別系統包括 特征提取單元，從輸入的視頻序列的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征； 匹配單元，將特征提取單元提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息； 支持向量機SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來識別當前幀中的手勢。2.如權利要求I所述的3D手勢識別系統，還包括時域確認單元，根據視頻序列的多個先前幀的識別結果來計算當前幀屬于特定手勢的概率，并將概率最大的手勢確定為當前幀的手勢。3.如權利要求2所述的3D手勢識別系統，其中，時域確認單元通過如下公式來確定當前幀的手勢c = arg max (p (Ci))P(Ci) = prob (= Ci)/ Ov1 = C1, . . . , Ti^n = cn)) = 1,2,——,N 其中，Iv1. . . ινη表示多個先前幀的識別結果，r,表示當前幀的當前識別結果，Ci表示第i種手勢，N表示手勢的總數，η表示先前幀的數量，p(Ci)表示第i種手勢的概率，probO表示用于獲得概率的函數，c表示將與最大概率相應的手勢作為當前幀的手勢。4.如權利要求I所述的3D手勢識別系統，其中，匹配單元通過下面的公式來計算表示提取的GDF特征f和模板的GDF特征Ti之間的相似度的距離 (HsifJi) = YjWn ·|/;, -Γ〃,| 其中，N是特征維數，Wn表示第η維特征的權重；fn表示第η維特征；Tin表示第i個模板的第η維特征。匹配單元將距離最小的模板所標記的朝向確定為當前幀中手勢的朝向，從而獲得所述朝向信息。5.如權利要求I所述的3D手勢識別系統，其中，特征提取單元將當前幀均分成多個塊，通過計算每個塊中像素的深度的平均值來計算塊的深度值，并對每個塊的深度值進行歸一化，以獲得當前幀的GDF特征。6.如權利要求I所述的3D手勢識別系統，其中，特征提取單元計算當前幀的每一水平層的圖像區域的不變矩特征，然后組合所有水平層的特征，以構成當前幀的LSM特征。7.如權利要求I所述的3D手勢識別系統，其中，特征提取單元計算邊界像素的曲率值，對邊界像素的曲率值進行直方圖分析，從而獲得當前幀的HOC特征。8.如權利要求I所述的3D手勢識別系統，其中，通過以下操作來獲得SVM分類器 從視圖樣本數據庫中的每個樣本圖像提取GDF特征； 通過K-medoids方法基于⑶F特征對視圖樣本數據庫中的每個樣本圖像進行聚類，以獲得朝向息； 通過朝向信息對視圖樣本做標記； 對做了標記的視圖樣本進行SVM訓練，從而獲得SVM分類器。9.一種3D手勢識別方法，所述3D手勢識別方法包括以下步驟從待識別的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征； 將提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息； SVM分類器基于提取的LSM特征和/或HOC特征以及獲得的朝向信息來識別當前幀中的手勢。10.一種3D手勢識別系統，所述3D手勢識別系統包括 特征提取單元，從待識別的當前幀中提取網格深度特征GDF特征； 實際增強樹RBT分類器，基于特征提取單元提取的GDF特征識別當前幀中的手勢。11.一種3D手勢識別方法，所述3D手勢識別方法包括以下步驟 從待識別的當前幀中提取網格深度特征GDF特征； 實際增強樹RBT分類器基于提取的GDF特征識別當前幀中的手勢。12.如權利要求11所述的3D手勢識別方法，所述3D手勢識別方法還包括步驟根據視頻序列的多個先前幀的識別結果來計算當前幀屬于特定手勢的概率，并將概率最大的手勢確定為當前幀的手勢。13.如權利要求11所述的3D手勢識別方法，其中，通過以下操作來獲得RBT分類器從視圖樣本數據庫中的每個樣本圖像中提取GDF特征，對提取的GDF特征加上類別標簽來對視圖樣本數據庫中的樣本圖像進行訓練，以獲得RBT分類器。全文摘要提供了一種3D手勢識別方法和系統。所述3D手勢識別系統包括特征提取單元，從輸入的視頻序列的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征；匹配單元，將特征提取單元提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息；支持向量機SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來識別當前幀中的手勢。根據本專利技術的3D手勢識別方法和系統沒有手朝向的限制，并且能夠成功解決自身遮擋問題。文檔編號G06K9/46GK102855488SQ20111018653公開日2013年1月2日 申請日期2011年6月30日 優先權日2011年6月30日專利技術者王西本文檔來自技高網...

【技術保護點】
一種3D手勢識別系統，所述3D手勢識別系統包括：特征提取單元，從輸入的視頻序列的當前幀中提取網格深度特征GDF特征，并提取水平設置瞬間LSM特征和/或曲率直方圖HOC特征；匹配單元，將特征提取單元提取的GDF特征與通過離線進行視圖聚類而獲得的多個聚類模板中的GDF特征進行匹配，以獲得當前幀中的手勢的朝向信息；支持向量機SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來識別當前幀中的手勢。

【技術特征摘要】

【專利技術屬性】
技術研發人員：王西穎，任海兵，張帆，
申請(專利權)人：北京三星通信技術研究有限公司，三星電子株式會社，
類型：發明
國別省市：