基于深度相機的空間手勢姿態(tài)指令處理方法技術

基于深度相機的空間手勢姿態(tài)指令處理方法。涉及基于深度相機的空間手勢姿態(tài)指令處理方法。在復雜多變的環(huán)境中，能夠快速、準確識別空間手勢指令信息，極大程度提高工作效率及準確度，且魯棒性高、實用性強、抗干擾能力好。包括以下步驟：1）通過深度相機獲取實時的圖像；2）利用三維點云計算得到手勢點云數(shù)據，得手勢點云信息；3）將手勢點云信息進行平面配準，提取輪廓特征點信息；4）恢復出手勢姿態(tài)；5）進行手勢姿態(tài)識別；6）識別相應運動軌跡定義其操作內容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標輸出點進行數(shù)據平滑。本發(fā)明專利技術能快速、準確全方位獲取目標信息；建立空間運動檢測區(qū)域，提取不同深度信息，實現(xiàn)多點觸摸，從而改善整體操作性能。

【技術實現(xiàn)步驟摘要】

本專利技術涉及基于深度相機非接觸式三維虛擬空間領域，尤其涉及一種。
技術介紹
近幾年，人機交互、機器人和虛擬現(xiàn)實等領域的快速發(fā)展和廣泛應用，三維交互輸入新技術成為人機虛擬交互領域中眾多研究學者研究的熱點。隨著這項技術的發(fā)展和不斷深入，大眾對其使用需求越來越高，非接觸、高速、實時定位與三維操作成為該技術發(fā)展的方向。然而，通常利用動態(tài)手勢實現(xiàn)三維鼠標模擬裝置，利用三維空間位置傳感器或搭建虛擬三維場景輔助實現(xiàn)，且其操作方式有限。由于受復雜環(huán)境、光照條件和干擾等因素的影響較為嚴重，與理想環(huán)境相比，普通相機在室內環(huán)境中，采集的圖像信息無法準確表達動態(tài)三維手勢鼠標的操作信息，魯棒性有更大程度的降低，所以，其實用性和定位操作精度會大大下降，使其非接觸鼠標操作裝置性能降低。在復雜環(huán)境下，能克服光照條件和膚色背景等條件的干擾是解決非接觸鼠標操作裝置最先完成的工作部分，即對空間中手勢分割性能指標提出更高的要求，并準確定位出手勢鼠標的位置。但是，目前在復雜背景下的分割方法有手勢模板、膚色檢測等方法能在一定條件下提高操作穩(wěn)定性，但無法滿足光照條件變化及抗干擾的要求。如果無法準確定位手勢的空間位置，那么后續(xù)的動態(tài)識別操作將受到影響，如動態(tài)手勢鼠標跟蹤、識別等。2010年12月在《光電工程》的第37卷第12期公開了名為《基于動態(tài)手勢控制的交互式體三維顯示》文獻，公開了通過對二維相機水平面圍繞顯示空間捕獲二維信息的手勢圖像處理，實現(xiàn)了人機交互。上述文獻在靜態(tài)手勢檢測部分，通過檢測二維圖像數(shù)據相鄰幀差中特定區(qū)域，確定初始動態(tài)跟蹤區(qū)域，結合手部膚色模型進行靜態(tài)手型檢測，其方案抗外界干擾能力差，無法適應較復雜環(huán)境；在動態(tài)手勢特征提取，是通過在二維平面上對手勢軌跡做Freeman八方向編碼處理,提取出動態(tài)手勢特征，其計算數(shù)據較大，無法精確、快速獲取數(shù)據。同時，上述文獻通過二維相機水平面圍繞顯示空間捕獲二維信息，其裝置結構復雜，效率較低。
技術實現(xiàn)思路
本專利技術針對上述問題，提供了一種在復雜多變的環(huán)境中，能夠快速、準確識別空間手勢指令信息，極大程度提高工作效率及準確度，且魯棒性高、實用性強、抗干擾能力好的。本專利技術的技術方案包括以下步驟I)、通過深度相機獲取實時的圖像，所述圖像包括深度圖像和RGB彩色圖像；利用OpenNI應用框架對兩所述圖像中人體進行用戶定位和骨骼跟蹤，根據所述骨骼跟蹤獲取所述人體的手部關節(jié)點坐標信息；根據所述手部關節(jié)點坐標信息，獲得所述手勢的手掌中心點坐標信息，同時設定所述手勢深度信息的閾值，將手勢從兩所述圖像中分割出來，實時得到所述人體的手勢深度信息和RGB彩色信息，同時有效地圈出動態(tài)手勢的位置；2)、對上述 步驟I)中所述手勢深度信息，利用三維點云計算得到手勢點云數(shù)據，計算后的所述手勢點云數(shù)據只包括所述點的三維坐標位置信息，然后對所述手勢點云數(shù)據做數(shù)據濾波處理，濾除掉所述手勢點云數(shù)據中的噪聲干擾點；得手勢點云信息；3)、將步驟2)中所述手勢點云信息，通過旋轉、平移將手勢點云信息三維信息進行平面配準，保存配準后手勢點云信息，然后提取出手勢點云信息的輪廓特征點信息，所述輪廓特征點包括指尖點、指尖凹點和手掌中心點；4)、根據步驟3)中所述輪廓特征點信息結合深度圖像的像素深度值映射出所述輪廓特征點的深度值，通過歐式距離法做距離閾值判斷、篩選出關鍵指尖點信息，根據所述指尖點信息和對應指尖凹點信息結合所述平面配準的平面獲取五個手指特征矢量，根據所述特征矢量恢復出手勢姿態(tài)；5)、根據步驟4)所述特征矢量的條件篩選進行三種手勢姿態(tài)識別；所述三種手勢姿態(tài)的指令及相應指令處理”Grab”手勢，定義為模擬抓取當前三維空間位置物體；” Fist”手勢在空間連續(xù)運動時，定義為拖動操作，表示運動手勢模擬拽拖或移動當前空間位置物體；”Kick”手勢定義為點擊操作，表示運動手勢模擬點擊當前空間位置信息，且連續(xù)輸出空間坐標的信息；6)、根據步驟5)手勢姿態(tài)識別的結果，在特定手勢姿態(tài)下，跟蹤步驟I)中所述的動態(tài)手勢的運動軌跡，自動標定一垂直于深度體感相機的虛擬參考平面，當動態(tài)手勢在標定平面上有運動變化時，測出手勢鼠標在標定平面上的相應運動，識別其運動軌跡做并做相應模擬手勢鼠標處理操作；當動態(tài)手勢出現(xiàn)垂直于相機的運動軌跡時，識別相應運動軌跡定義其操作內容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標輸出點進行數(shù)據平滑。所述手勢深度信息的閾值范圍為8(Tl00mm。步驟2)中所述三維點云計算為 權利要求1.，其特征在于，包括以下步驟 1)、通過深度相機獲取實時的圖像，所述圖像包括深度圖像和RGB彩色圖像； 利用OpenNI應用框架對兩所述圖像中人體進行用戶定位和骨骼跟蹤，根據所述骨骼跟蹤獲取所述人體的手部關節(jié)點坐標信息； 根據所述手部關節(jié)點坐標信息，獲得所述手勢的手掌中心點坐標信息，同時設定所述手勢深度信息的閾值，將手勢從兩所述圖像中分割出來，實時得到所述人體的手勢深度信息和RGB彩色信息，同時有效地圈出動態(tài)手勢的位置； 2)、對上述步驟I)中所述手勢深度信息，利用三維點云計算得到手勢點云數(shù)據，計算后的所述手勢點云數(shù)據只包括所述點的三維坐標位置信息，然后對所述手勢點云數(shù)據做數(shù)據濾波處理，濾除掉所述手勢點云數(shù)據中的噪聲干擾點；得手勢點云信息； 3)、將步驟2)中所述手勢點云信息，通過旋轉、平移將手勢點云信息三維信息進行平面配準，保存配準后手勢點云信息，然后提取出手勢點云信息的輪廓特征點信息，所述輪廓特征點包括指尖點、指尖凹點和手掌中心點； 4)、根據步驟3)中所述輪廓特征點信息結合深度圖像的像素深度值映射出所述輪廓特征點的深度值，通過歐式距離法做距離閾值判斷、篩選出關鍵指尖點信息，根據所述指尖點信息和對應指尖凹點信息結合所述平面配準的平面獲取五個手指特征矢量，根據所述特征矢量恢復出手勢姿態(tài)； 5)、根據步驟4)所述特征矢量的條件篩選進行三種手勢姿態(tài)識別；所述三種手勢姿態(tài)的指令及相應指令處理”Grab”手勢，定義為模擬抓取當前三維空間位置物體；”Fist”手勢在空間連續(xù)運動時，定義為拖動操作，表示運動手勢模擬拽拖或移動當前空間位置物體；”Kick”手勢定義為點擊操作，表示運動手勢模擬點擊當前空間位置信息，且連續(xù)輸出空間坐標的信息； 6)、根據步驟5)手勢姿態(tài)識別的結果，在特定手勢姿態(tài)下，跟蹤步驟I)中所述的動態(tài)手勢的運動軌跡，自動標定ー垂直于深度體感相機的虛擬參考平面，當動態(tài)手勢在標定平面上有運動變化時，測出手勢鼠標在標定平面上的相應運動，識別其運動軌跡做并做相應模擬手勢鼠標處理操作；當動態(tài)手勢出現(xiàn)垂直于相機的運動軌跡時，識別相應運動軌跡定義其操作內容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標輸出點進行數(shù)據平滑。2.根據權利要求1所述，其特征在于，所述手勢深度信息的閾值范圍為8(Tl00mm。3.根據權利要求1所述，其特征在于，步驟2)中所述三維點云計算為4.根據權利要求1所述，其特征在于，所述步驟2)的所述濾波處理設置濾波的歐氏距離閾值范圍為O. 02mm，最近鄰搜索k-D樹搜索次數(shù)設為100。5.根據權利要求I所述，其特征在 于，所述步驟3)中點云信息配準公式為6.根據權利要求I所述，其特征在于，步驟3)中所述歐式距離法做距離閾值判斷、篩選出關鍵指尖點本文檔來自技高網...

【技術保護點】
基于深度相機的空間手勢姿態(tài)指令處理方法，其特征在于，包括以下步驟：1）、通過深度相機獲取實時的圖像，所述圖像包括深度圖像和RGB彩色圖像；利用OpenNI應用框架對兩所述圖像中人體進行用戶定位和骨骼跟蹤，根據所述骨骼跟蹤獲取所述人體的手部關節(jié)點坐標信息；根據所述手部關節(jié)點坐標信息，獲得所述手勢的手掌中心點坐標信息，同時設定所述手勢深度信息的閾值，將手勢從兩所述圖像中分割出來，實時得到所述人體的手勢深度信息和RGB彩色信息，同時有效地圈出動態(tài)手勢的位置；2）、對上述步驟1）中所述手勢深度信息，利用三維點云計算得到手勢點云數(shù)據，計算后的所述手勢點云數(shù)據只包括所述點的三維坐標位置信息，然后對所述手勢點云數(shù)據做數(shù)據濾波處理，濾除掉所述手勢點云數(shù)據中的噪聲干擾點；得手勢點云信息；3）、將步驟2）中所述手勢點云信息，通過旋轉、平移將手勢點云信息三維信息進行平面配準，保存配準后手勢點云信息，然后提取出手勢點云信息的輪廓特征點信息，所述輪廓特征點包括指尖點、指尖凹點和手掌中心點；4）、根據步驟3）中所述輪廓特征點信息結合深度圖像的像素深度值映射出所述輪廓特征點的深度值，通過歐式距離法做距離閾值判斷、篩選出關鍵指尖點信息，根據所述指尖點信息和對應指尖凹點信息結合所述平面配準的平面獲取五個手指特征矢量，根據所述特征矢量恢復出手勢姿態(tài)；5）、根據步驟4）所述特征矢量的條件篩選進行三種手勢姿態(tài)識別；所述三種手勢姿態(tài)的指令及相應指令處理：”Grab”手勢，定義為模擬抓取當前三維空間位置物體；”Fist”手勢在空間連續(xù)運動時，定義為拖動操作，表示運動手勢模擬拽拖或移動當前空間位置物體；”Kick”手勢定義為點擊操作，表示運動手勢模擬點擊當前空間位置信息，且連續(xù)輸出空間坐標的信息；6）、根據步驟5）手勢姿態(tài)識別的結果，在特定手勢姿態(tài)下，跟蹤步驟1）中所述的動態(tài)手勢的運動軌跡，自動標定一垂直于深度體感相機的虛擬參考平面，當動態(tài)手勢在標定平面上有運動變化時，測出手勢鼠標在標定平面上的相應運動，識別其運動軌跡做并做相應模擬手勢鼠標處理操作；當動態(tài)手勢出現(xiàn)垂直于相機的運動軌跡時，識別相應運動軌跡定義其操作內容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標輸出點進行數(shù)據平滑。...

【技術特征摘要】

【專利技術屬性】
技術研發(fā)人員：莫建文，
申請(專利權)人：桂林電子科技大學，
類型：發(fā)明
國別省市：