一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法技術(shù)

本發(fā)明專利技術(shù)公開一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，通過Kinect傳感器獲取人體骨骼跟蹤數(shù)據(jù)，所述人體骨骼跟蹤數(shù)據(jù)至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)；提取手勢(shì)軌跡特征并對(duì)其進(jìn)行預(yù)處理，所述預(yù)處理包括手勢(shì)起止檢測(cè)、平滑濾波處理、重采樣和位置歸一化；使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行手勢(shì)識(shí)別；將手勢(shì)識(shí)別的結(jié)果轉(zhuǎn)化對(duì)應(yīng)成控制指令控制無人機(jī)的飛行。本發(fā)明專利技術(shù)能夠準(zhǔn)確識(shí)別手勢(shì)，從而使得用戶可以更自由、便捷地控制無人機(jī)飛行。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法
本專利技術(shù)涉及人機(jī)交互
，更具體地，涉及一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法。
技術(shù)介紹
手勢(shì)識(shí)別技術(shù)是新一代自然人機(jī)交互的一項(xiàng)關(guān)鍵技術(shù)，相對(duì)于傳統(tǒng)的鼠標(biāo)，鍵盤等接觸式的操作方式，手勢(shì)具有自然直觀、容易理解、操作簡單、體驗(yàn)性好等優(yōu)點(diǎn)，更加符合人類日常交流習(xí)慣，手勢(shì)識(shí)別已經(jīng)成為人機(jī)交互方案的研究熱點(diǎn)。手勢(shì)作為一門自然、方便的語言，在情感上和實(shí)用性上都非常適合用于人機(jī)交互。手勢(shì)識(shí)別技術(shù)的研究意義在于將手勢(shì)這種自然且直觀的交流方式應(yīng)用到人機(jī)交互的接口技術(shù)上，使得人機(jī)接口更加接近于人類的使用習(xí)慣，進(jìn)而使得人機(jī)交互變得更自然方便。隨著機(jī)器人控制技術(shù)的發(fā)展，人與機(jī)器人之間的交互活動(dòng)變得越來越普遍。利用手勢(shì)來控制機(jī)器人可方便地操縱機(jī)器人，向機(jī)器人發(fā)布命令，與機(jī)器人進(jìn)行交互。手勢(shì)是指人手產(chǎn)生的各種姿勢(shì)和動(dòng)作，廣義的手勢(shì)可分為兩種，一種為由連續(xù)手部動(dòng)作組成的動(dòng)態(tài)手勢(shì)(gesture)，另一種為靜態(tài)的手部姿勢(shì)(posture)。靜態(tài)手勢(shì)識(shí)別考慮某個(gè)時(shí)間點(diǎn)上手勢(shì)的外形特征，動(dòng)態(tài)手勢(shì)關(guān)注一段時(shí)間內(nèi)手部及手臂的一系列動(dòng)作，增加了時(shí)間信息和動(dòng)作特征。研究靜態(tài)手勢(shì)對(duì)于理解分析動(dòng)態(tài)手勢(shì)具有重要的意義。由于動(dòng)態(tài)手勢(shì)的識(shí)別可以歸結(jié)為幾個(gè)靜態(tài)姿勢(shì)識(shí)別的綜合，所以兩種手勢(shì)識(shí)別的過程和方法基本一致。但是，動(dòng)態(tài)手勢(shì)的識(shí)別需要考慮時(shí)間、空間等因素，即不同因素會(huì)造成手勢(shì)軌跡在時(shí)間上的非線性波動(dòng)，因此，動(dòng)態(tài)手勢(shì)識(shí)別必須考慮如何消除這些波動(dòng)的影響，比靜態(tài)手勢(shì)識(shí)別更富有技術(shù)挑戰(zhàn)性。旋翼無人機(jī)具有成本低廉、可垂直起降、易于操控等優(yōu)點(diǎn)，在搜索、救援、測(cè)繪、農(nóng)業(yè)、航拍等領(lǐng)域具有廣闊的應(yīng)用前景。研究人體與旋翼飛行器之間的人機(jī)交互具有良好的應(yīng)用價(jià)值。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)為克服上述現(xiàn)有技術(shù)所述的至少一種缺陷，提供一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，能夠準(zhǔn)確識(shí)別手勢(shì)，從而使得用戶可以更自由、便捷地控制無人機(jī)飛行。為解決上述技術(shù)問題，本專利技術(shù)的技術(shù)方案如下：一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，所述方法包括以下步驟：S1：通過Kinect傳感器獲取人體骨骼跟蹤數(shù)據(jù)，所述人體骨骼跟蹤數(shù)據(jù)至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)；S2：提取手勢(shì)軌跡特征并對(duì)其進(jìn)行預(yù)處理，所述預(yù)處理包括手勢(shì)起止檢測(cè)、平滑濾波處理、重采樣和位置歸一化；S3：使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行手勢(shì)識(shí)別；S4：將手勢(shì)識(shí)別的結(jié)果轉(zhuǎn)化對(duì)應(yīng)成控制指令控制無人機(jī)的飛行。在一種優(yōu)選的方案中，步驟S1中，通過Kinect傳感器獲取實(shí)時(shí)的人體骨骼跟蹤數(shù)據(jù)的具體方法包括以下步驟：S1.1：通過Kinect傳感器獲取深度圖像；S1.2：微軟提供KinectSDK從深度圖像中獲得20個(gè)關(guān)節(jié)骨骼點(diǎn)的三維位置信息和四元數(shù)旋轉(zhuǎn)信息；S1.3：獲取右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)，從而定位用戶手部位置。在一種優(yōu)選的方案中，步驟S2中，提取手勢(shì)軌跡特征的具體方法為：S2.1.1：將左手LH、左肘LE、右手RH、右肘RE的骨骼點(diǎn)位置信息三維坐標(biāo)值(x,y,z)的每一幀分別按順序排列成一列向量，此時(shí)代表動(dòng)態(tài)手勢(shì)的原始三維軌跡特征為：其中，表示第n幀深度圖的4個(gè)骨骼點(diǎn)的特征向量，表示第n幀深度圖中左手的x軸坐標(biāo)；S2.1.2：定義基準(zhǔn)點(diǎn)A(xa,ya,za)為左肩和右肩連線的中心，則基準(zhǔn)點(diǎn)A即為左肩節(jié)點(diǎn)LS(xLS,yLS,zLS)和右肩節(jié)點(diǎn)RS(xRS,yRS,zRS)的中間值；S2.1.3：計(jì)算出基準(zhǔn)點(diǎn)A后，釆用左肩和右肩的距離作為標(biāo)準(zhǔn)長度對(duì)右手RH、左手LH、右肘RE及左肘LE這4個(gè)骨骼點(diǎn)進(jìn)行歸一化處理：其中，表示第n幀深度圖基準(zhǔn)點(diǎn)，表示第n幀深度圖的左肩，表示第n幀深度圖的右肩；S2.1.4：采用歸一化后的骨骼點(diǎn)的空間坐標(biāo)變化來表示一段手勢(shì)的特征向量：其中，表示手勢(shì)的特征向量，是由按順序排列組成的列向量，N代表這個(gè)序列有N幀深度圖。在一種優(yōu)選的方案中，步驟S2中，所述手勢(shì)起止檢測(cè)包括以下步驟：S2.2.1：定義手勢(shì)的運(yùn)動(dòng)能量函數(shù)E為前后兩幀深度圖中手部骨骼點(diǎn)的三維位置的變化之和，即左手、左肘、右手、右肘這4個(gè)骨骼點(diǎn)的移動(dòng)距離之和，則手勢(shì)的運(yùn)動(dòng)能量函數(shù)為：E＝dLH+dLE+dRH+dRE(8)S2.2.2：如果連續(xù)M幀E的值都大于預(yù)設(shè)的E的閾值，M≥1，則將第一次檢測(cè)到E大于該閾值的那一幀作為手勢(shì)開始的起點(diǎn)；S2.2.3：當(dāng)檢測(cè)到連續(xù)M幀E的值都小于預(yù)設(shè)的E的閾值，則將第一次檢測(cè)到的E小于該閾值的那一幀作為手勢(shì)結(jié)束的終點(diǎn)，即可從長序列中截取出手勢(shì)序列。在一種優(yōu)選的方案中，步驟S2中，平滑濾波處理、重采樣和位置歸一化的具體方法包括以下步驟：S2.3.1：平滑濾波處理：對(duì)左手、左肘、右手、右肘這4個(gè)骨骼點(diǎn)進(jìn)行平滑濾波處理，使這4個(gè)骨骼點(diǎn)的坐標(biāo)為對(duì)其前后幀的坐標(biāo)值取均值；S2.3.2：重采樣：對(duì)于獲得的長短不一的手勢(shì)序列段，重采樣利用均勻線性重采樣的方式將所有手勢(shì)序列進(jìn)行處理使得兩兩相鄰軌跡點(diǎn)的間隔相等，以消除不同用戶做手勢(shì)的速度差異；S2.3.3：位置歸一化：為了使最終的手勢(shì)軌跡具有位置不變性，將骨骼點(diǎn)的軌跡序列的每一點(diǎn)均減去初始的軌跡點(diǎn)；S2.3.4：將左手、右手、左肘及右肘4個(gè)骨骼點(diǎn)的手勢(shì)軌跡分別采用上述的方法進(jìn)行平滑濾波、重采樣與位置歸一化的處理，并將經(jīng)過上述預(yù)處理的手勢(shì)軌跡特征向量作為神經(jīng)網(wǎng)絡(luò)算法的輸入，其中VLH、VRH、VLE、VRE分別表示左手、右手、左肘和右肘預(yù)處理后的軌跡序列。在一種優(yōu)選的方案中，步驟S3中，所述神經(jīng)網(wǎng)絡(luò)算法采用網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)目自適應(yīng)算法，其具體方法包括以下步驟：(1)先給定神經(jīng)網(wǎng)絡(luò)目標(biāo)精度為ε＝10-5，設(shè)定隱藏層神經(jīng)元數(shù)目范圍，最小值最大值其中n、m分為為輸入節(jié)點(diǎn)數(shù)和輸出節(jié)點(diǎn)數(shù)，l為搜索窗口的步長，取l＝20；(2)通過計(jì)算當(dāng)隱藏層節(jié)點(diǎn)數(shù)目分別為min，max時(shí)的權(quán)值矩陣W和網(wǎng)絡(luò)最小均方誤差MSEmin,MSEmax，判斷MSEmin,MSEmax跟ε的大小關(guān)系，然后調(diào)整min，max的范圍直到計(jì)算出來的MSEmin,MSEmax的范圍包含ε的值；(3)在確定的[min，max]的范圍里面使用二分法找的最先使得MSE≤ε的值，即為所要找到的最小的隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)目。在一種優(yōu)選的方案中，步驟S4中，右手向左揮動(dòng)、右手向右揮動(dòng)，右手向前平推、右手向后收回、畫圓、畫“S”形手勢(shì)，分別對(duì)應(yīng)無人機(jī)向左飛行、向右飛行、前進(jìn)、后退、飛圓形、“S”軌跡。在一種優(yōu)選的方案中，步驟S4中，設(shè)置一對(duì)開始交互和結(jié)束交互的動(dòng)作指令，開始交互動(dòng)作指令表示開始動(dòng)作，結(jié)束交互動(dòng)作指令表示動(dòng)作結(jié)束。與現(xiàn)有技術(shù)相比，本專利技術(shù)技術(shù)方案的有益效果是：本專利技術(shù)公開一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，通過Kinect傳感器獲取人體骨骼跟蹤數(shù)據(jù)，所述人體骨骼跟蹤數(shù)據(jù)至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)；提取手勢(shì)軌跡特征并對(duì)其進(jìn)行預(yù)處理，所述預(yù)處理包括手勢(shì)起止檢測(cè)、平滑濾波處理、重采樣和位置歸一化；使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行手勢(shì)識(shí)別；將手勢(shì)識(shí)別的結(jié)果轉(zhuǎn)化對(duì)應(yīng)成控制指令控制無人機(jī)的飛行。本專利技術(shù)能夠準(zhǔn)確識(shí)別手勢(shì)，從而使得用戶可以更自由、便捷地控制無人機(jī)飛行。附圖說明圖1為MIMO-Chevby本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，其特征在于，所述方法包括以下步驟：S1：通過Kinect傳感器獲取人體骨骼跟蹤數(shù)據(jù)，所述人體骨骼跟蹤數(shù)據(jù)至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)；S2：提取手勢(shì)軌跡特征并對(duì)其進(jìn)行預(yù)處理，所述預(yù)處理包括手勢(shì)起止檢測(cè)、平滑濾波處理、重采樣和位置歸一化；S3：使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行手勢(shì)識(shí)別；S4：將手勢(shì)識(shí)別的結(jié)果轉(zhuǎn)化對(duì)應(yīng)成控制指令控制無人機(jī)的飛行。

【技術(shù)特征摘要】
1.一種基于三維連續(xù)動(dòng)態(tài)手勢(shì)識(shí)別的無人機(jī)人機(jī)交互方法，其特征在于，所述方法包括以下步驟：S1：通過Kinect傳感器獲取人體骨骼跟蹤數(shù)據(jù)，所述人體骨骼跟蹤數(shù)據(jù)至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼點(diǎn)跟蹤數(shù)據(jù)；S2：提取手勢(shì)軌跡特征并對(duì)其進(jìn)行預(yù)處理，所述預(yù)處理包括手勢(shì)起止檢測(cè)、平滑濾波處理、重采樣和位置歸一化；提取手勢(shì)軌跡特征的具體方法為：S2.1.1：將左手LH、左肘LE、右手RH、右肘RE的骨骼點(diǎn)位置信息三維坐標(biāo)值(x，y，z)的每一幀分別按順序排列成一列向量，此時(shí)代表動(dòng)態(tài)手勢(shì)的原始三維軌跡特征為：其中，表示第n幀深度圖的4個(gè)骨骼點(diǎn)的特征向量，表示第n幀深度圖中左手的x軸坐標(biāo)；S2.1.2：定義基準(zhǔn)點(diǎn)A(xa，ya，za)為左肩和右肩連線的中心，則基準(zhǔn)點(diǎn)A即為左肩節(jié)點(diǎn)LS(xLS，yLS，zLS)和右肩節(jié)點(diǎn)RS（xRS，yRS，zRS)的中間值；S2.1.3：計(jì)算出基準(zhǔn)點(diǎn)A后，釆用左肩和右肩的距離作為標(biāo)準(zhǔn)長度對(duì)右手RH、左手LH、右肘RE及左肘LE這4個(gè)骨骼點(diǎn)進(jìn)行歸一化處理：其中，表示第n幀深度圖基準(zhǔn)點(diǎn)，表示第n幀深度圖的左肩，表示第n幀深度圖的右肩；S2.1.4：采用歸一化后的骨骼點(diǎn)的空間坐標(biāo)變化來表示一段手勢(shì)的特征向量：其中，表示手勢(shì)的特征向量，是由按順序排列組成的列向量，N代表這個(gè)序列有N幀深度圖；所述手勢(shì)起止檢測(cè)包括以下步驟：S2.2.1：定義手勢(shì)的運(yùn)動(dòng)能量函數(shù)E為前后兩幀深度圖中手部骨骼點(diǎn)的三維位置的變化之和，即左手、左肘、右手、右肘這4個(gè)骨骼點(diǎn)的移動(dòng)距離之和，則手勢(shì)的運(yùn)動(dòng)能量函數(shù)為：E＝dLH+dLE+dRH+dRES2.2.2：如果連續(xù)M幀E的值都大于預(yù)設(shè)的E的閾值，M≥1，則將第一次檢測(cè)到E大于該閾值的那一幀作為手勢(shì)開始的起點(diǎn)；S2.2.3：當(dāng)檢測(cè)到連續(xù)M幀E的值都小于預(yù)設(shè)的E的閾值，則將第一次檢測(cè)到的E小于該閾值的那一幀作為手勢(shì)結(jié)束的終點(diǎn)，即可從長序列中截取出手勢(shì)序列；平滑濾波處理、重采樣和位置歸一化的具體方法包括以下步驟：S2.3.1：平滑濾波處理：對(duì)左手、左肘、右手、右肘這4個(gè)骨骼點(diǎn)進(jìn)行平滑濾波處理，使這4個(gè)骨骼點(diǎn)的坐標(biāo)為對(duì)其前后幀的坐標(biāo)值取均值；S2.3.2：重采樣：對(duì)于獲得的長短不一的手勢(shì)序列段，重采樣利用均勻線性重采樣的方式將所有手勢(shì)序列進(jìn)行處理使得兩兩相鄰軌跡點(diǎn)的間隔相等，以消除不同用戶做手勢(shì)的速度差異；...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：成慧，唐薇，江澤宇，
申請(qǐng)(專利權(quán))人：中山大學(xué)，
類型：發(fā)明
國別省市：廣東;44