一種基于體感的虛擬礦井自然交互方法技術

本發明專利技術請求保護一種基于體感的虛擬礦井自然交互方法，該方法包括：運用Kinect體感器獲取用戶的手勢信號、深度信息以及骨骼點信息；通過圖像預處理對手勢信號里的圖像、深度信息及骨骼信息進行平滑濾波；利用深度直方圖分割出手勢圖像，再運用八鄰域輪廓跟蹤算法找出手勢輪廓，識別靜態手勢；根據骨骼信息，用改進動態時間規劃進行動態手勢的特征匹配識別；利用手勢識別結果觸發相應的Win32指令消息，并將消息發送給虛擬現實引擎，把指令消息分別映射到虛擬礦井交互系統原本的鍵盤鼠標操作，實現對虛擬礦井的體感交互控制。本發明專利技術方法提高了人機交互的自然高效性，增加了虛擬礦井表現的沉浸感、自然感。能有效的普及虛擬現實與體感交互技術在煤礦及其他領域的應用。

【技術實現步驟摘要】

本專利技術屬于體感技術、虛擬現實、自然人機交互等領域，具體涉及基于體感的虛擬 礦井自然交互。
技術介紹
近年來，隨著語音識別技術、傳感器技術、攝像照相技術以及計算機視覺技術 的深入發展，尤其是觸摸屏技術的廣泛應用，人機交互界面已經從早期的命令行、圖形 用戶、鼠標鍵盤交互等逐漸的轉變為當前的研宄熱點一自然用戶界面（Natural User Interface, NUI)〇 體感交互技術是自然人機交互（Human-Computer Interface, HCI)的最新技術，可 以讓人們直接通過身體運動與環境互動，"隨心所欲"地操控環境，其核心價值在于，它讓計 算機有了更精準有效的"眼睛"去觀察這個世界，并根據人的動作來完成各種指令，實現與 人的實時交互。手勢識別是通過計算機設備對人的手勢進行精確解釋，已成為一種基于體 感的自然人機交互的有效手段。2011年，微軟公司開發的集圖像識別、視頻捕捉、語音控制 等多種技術于一體的體感器Kinect，實現了用戶不需要借助任何手持設備，即可與計算機 進行自然交互，大幅降低了操作成本，為實現自然人機交互提供了一種有效方法。 體感技術與虛擬現實（Virtual Reality，VR)技術的有機結合，可以生成一個完全 逼真的，集視、聽、觸、情等多種感知的智能虛擬環境，給予人們自然、真實感受的同時，更能 從數字化虛擬空間自由獲得豐富、準確的信息與知識。目前，VR技術在煤礦領域的應用研 宄還比較有限。運用VR技術，以計算機系統為基礎，結合圖像合成、數據庫建立、人工智能 和物理環境模擬仿真等就可以模擬礦井常規工作、井下的搶險救災、典型礦井事故等逼真 的三維虛擬礦井環境。然而，目前虛擬礦井中人機交互主要使用傳統的鍵盤、鼠標等圖形用 戶界面（Graphical User Interface,⑶I)方式，讓用戶難以獲得VR技術"身臨其境"的真 實感，嚴重制約了虛擬礦井的實用價值。盡管一些虛擬礦井中，用戶可以佩戴傳感頭盔、數 據手套、操縱桿等專用設備來與系統進行交互，實現對虛擬礦井穩定而精確的控制，但是其 缺點也是顯而易見的：頭盔數據手套等專用設備昂貴、笨重且不方便，也很難讓操作人員產 生真實、自然的感覺。
技術實現思路
針對現有技術中現有虛擬礦井人機交互中自然性差、使用成本高、效率低、缺乏真 實感等問題的問題，本專利技術提供了一種提高了人機交互的自然高效性，增加了虛擬礦井表 現的沉浸感、自然感的基于體感的虛擬礦井自然交互方法，本專利技術的技術方案如下：一種基 于體感的虛擬礦井自然交互方法，其包括以下步驟： ，其特征在于，包括以下步驟： 101、建立手勢識別模板庫，然后進行數據獲取步驟：運用Kinect體感器獲取用戶 的手勢信號、深度信息以及骨骼點信息； 102、手勢數據預處理步驟：將步驟101所獲取的手勢信號通過A/D轉換處理，將其 轉換為數字信號，所述手勢信號包括單幀靜態圖像和連續多幀圖像，然后通過圖像預處理 對手勢信號里的圖像、深度信息及骨骼點信息進行平滑濾波，得到平滑濾波過的單幀靜態 圖像和平滑濾波過的連續多幀圖像； 103、靜態手勢識別步驟：al、針對通過步驟102平滑濾波處理后的單幀靜態圖像， 利用深度直方圖分割出靜態手勢圖像；a2、在靜態手勢圖像分割完成之后，將分割出的手勢 圖片進行二值化處理，轉化為二值圖；a3、再運用八鄰域輪廓跟蹤算法找出手勢輪廓；a4、 最后，利用K曲率算法對手勢輪廓的邊界點進行判斷得出手勢輪廓的尖峰點個數即指尖點 個數，然后特征匹配識別，判斷是否為模板手勢； 104、動態手勢識別步驟：針對經過步驟102平滑濾波處理過的連續多幀圖像，根 據骨骼點的信息，將手部、腕部、肘部以及肩部關節點的運動軌跡作為動態手勢的特征，然 后再用改進動態時間規劃算法進行動態手勢的特征匹配識別，識別出是否為模板手勢； 105、虛擬礦井交互，根據步驟103與步驟104的手勢識別結果觸發相應的Win32 指令消息，并將Win32指令消息發送給虛擬現實引擎，把Win32指令消息分別映射到虛擬礦 井交互系統原本的鍵盤鼠標操作，實現對虛擬礦井的體感交互控制。 進一步的，所述靜態手勢為單幀圖像，動態手勢為連續多幀圖像，所述深度信息 即為人到Kinect體感器的距離，主要為人手的深度信息，所述骨骼點信息為Kinect for Windows SDK開發包所提供的人體20個關節點信息，主要為手部、腕部、肘部、肩部關節點 信息。 進一步的，步驟103中a3步驟中八鄰域輪廓跟蹤算法具體為：以變量dir = 0為 初始掃描方向，掃描二值圖，按照若dir為奇數取（dir+7)mod 8 ;若dir為偶數取（dir+6) mod 8的規則搜索當前像素的3*3鄰域，如果在此鄰域中搜索到的像素點值為1，則記錄該 像素點，并標記該像素點為輪廓點，繼而得到手形輪廓。 進一步的，步驟103中的K曲率算法對輪廓邊界點進行處理具體為：判斷手勢輪廓 上的點P(i)和它前k個點P(i-k)之間向量，以及P(i)和它后k個點P(i+k)間向量的夾 角0是否在一定角度0范圍內，從而判斷P(i)是否為尖峰點，若是尖峰點則確定為指尖， 所述夾角0的判斷范圍是〇到55度，k的取值為22。 進一步的，步驟104中的動態時間規劃算法具體為： 首先，選取模板手勢手部關節點運動軌跡在三維空間XYZ三個平面的投影位置， 手部、肘部關節點的旋轉角度混合組成特征數據向量V;其次，定義模板手勢集為：L = (Ip 12, 13,. . .，ln)，待識別手勢集為：R = (rp r2, r3,. . .，rm)，其中m辛n，待識別手勢R與模 板手勢結構相同，表示待識別的手勢數據；并定義ln(i)為第n個模板手勢的第i個特征數 據，相應的，r m(j)為第m個待識別手勢的第j個特征數據，并用上述特征向量V來表示模板 手勢的特征數據；最后，輸入待識別手勢，計算其與所有模板手勢對應幀之間的歐幾里得距 離d之和，所述對應幀即為關鍵幀，表示i幀和j幀在兩個手部動作序列中所 對應的動作是相同的，計算所得歐幾里得距離之和最小的待識別手勢，即為對應的模板手 勢。 本專利技術的優點及有益效果如下： 1、根據虛擬環境中人機交互的技術特點及要求，基于體感交互技術，首次提出了 基于體感的虛擬礦井自然交互方法，該方法用Kinect體感器采集用戶的手勢信息，然后對 手勢語義進行識別解釋，針對識別結果實時發出各種控制指令到虛擬現實引擎，使得用戶 在貼近自己習慣的交互機制下，即可利用自己的手勢動作與虛擬礦井進行交互，完全擺脫 了傳統的鼠標鍵盤以及數據手套等復雜的動作捕捉設備。從而降低了用戶的認知負荷，提 高了人機交互的自然高效性，增加了虛擬礦井表現的沉浸感、自然感。 2、本專利技術方法基于Kinect開發包提供的20個人體骨架節點信息以及深度信息， 分別采用基于Kinect的靜態手勢識別和基于Kinect的動態手勢識別算法進行手勢識別， 并通過識別出實際操作人員不同的靜態手勢以及動態手勢得到相應的控制指令，具有計算 效率高、識別率高、實時性強等優點。 3、本專利技術方法是一種模塊化的即插即用式虛擬礦井自然交互方法，即將基于 Kinect的手勢識別程序與虛擬現實引擎分離開本文檔來自技高網...

【技術保護點】
一種基于體感的虛擬礦井自然交互方法，其特征在于，包括以下步驟：101、建立手勢識別模板庫，然后進行數據獲取步驟：運用Kinect體感器獲取用戶的手勢信號、深度信息以及骨骼點信息；102、手勢數據預處理步驟：將步驟101所獲取的手勢信號通過A/D轉換處理，將其轉換為數字信號，所述手勢信號包括單幀靜態圖像和連續多幀圖像，然后通過圖像預處理對手勢信號里的圖像、深度信息及骨骼點信息進行平滑濾波，得到平滑濾波過的單幀靜態圖像和平滑濾波過的連續多幀圖像；103、靜態手勢識別步驟：a1、針對通過步驟102平滑濾波處理后的單幀靜態圖像，利用深度直方圖分割出靜態手勢圖像；a2、在靜態手勢圖像分割完成之后，將分割出的手勢圖片進行二值化處理，轉化為二值圖；a3、再運用八鄰域輪廓跟蹤算法找出手勢輪廓；a4、最后，利用K曲率算法對手勢輪廓的邊界點進行判斷得出手勢輪廓的尖峰點個數即指尖點個數，然后特征匹配識別，判斷是否為模板手勢；104、動態手勢識別步驟：針對經過步驟102平滑濾波處理過的連續多幀圖像，根據骨骼點的信息，將手部、腕部、肘部以及肩部關節點的運動軌跡作為動態手勢的特征，然后再用改進動態時間規劃算法進行動態手勢的特征匹配識別，識別出是否為模板手勢；105、虛擬礦井交互，根據步驟103與步驟104的手勢識別結果觸發相應的Win32指令消息，并將Win32指令消息發送給虛擬現實引擎，把Win32指令消息分別映射到虛擬礦井交互系統原本的鍵盤鼠標操作，實現對虛擬礦井的體感交互控制。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：蔡林沁，張建榮，劉彬彬，虞繼敏，楊卓，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：重慶;85