基于RGBD圖像的三維操控空間的建立方法及設(shè)備技術(shù)

本發(fā)明專(zhuān)利技術(shù)提供了一種基于RGBD圖像的三維操控空間的建立方法及設(shè)備。該方法包括以下步驟：采集用戶(hù)的連續(xù)幀RGBD圖像，其中，RGBD圖像包括彩色信息和深度信息；根據(jù)連續(xù)幀RGBD圖像獲取建立三維操控空間的指令；以RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以特定點(diǎn)為中心建立操控邊界面，并獲取操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息；將操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶(hù)手部穿越指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令。該設(shè)備包括采集模塊、指令獲取模塊、坐標(biāo)建立模塊、邊界面建立模塊和指令劃分模塊。本發(fā)明專(zhuān)利技術(shù)通過(guò)利用RGBD圖像的彩色信息和深度信息建立三維操控空間，能使得用戶(hù)的空間手勢(shì)操控更加方便、準(zhǔn)確、快捷，改善了用戶(hù)體驗(yàn)。

Method and equipment for establishing three-dimensional control space based on RGBD image

The invention provides a method and a device for establishing a three-dimensional control space based on RGBD images. The method comprises the following steps: continuous frame RGBD image acquisition, the image of RGBD users, including the color and depth information; according to the successive frames RGBD images to build three-dimensional space control commands; with RGBD image point as the origin of the coordinate system; to a specific point for the establishment of the boundary control center, and access control on the boundary of position information in three-dimensional coordinate system; will control the boundary division multiple instruction area, to identify the instruction according to user hand through the instruction area through information. The equipment includes acquisition module, instruction fetch module, coordinate establishment module, edge interface establishment module and instruction division module. The invention utilizes the color information and the depth information of the RGBD image to establish a three-dimensional control space, which can make the user's space gesture manipulation more convenient, accurate and fast, and improve the user experience.

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于RGBD圖像的三維操控空間的建立方法及設(shè)備
本專(zhuān)利技術(shù)涉及空間手勢(shì)操控
，特別是涉及一種基于RGBD圖像的三維操控空間的建立方法及設(shè)備。
技術(shù)介紹
利用RGBD相機(jī)獲取RGBD圖像，圖像中的像素信息包括彩色信息和深度信息，其彩色信息與深度信息一一對(duì)應(yīng)。對(duì)RGBD圖像中的目標(biāo)區(qū)域進(jìn)行跟蹤，可以根據(jù)目標(biāo)區(qū)域的深度信息自動(dòng)獲取其彩色信息，反之亦然。對(duì)RGBD相機(jī)獲取的RGBD圖像進(jìn)行處理，其中深度圖像的每一個(gè)像素值，對(duì)應(yīng)于該像素所反映目標(biāo)在物理空間中到深度相機(jī)的距離。對(duì)深度圖像中的目標(biāo)區(qū)域，可以直接獲取其空間位置信息，進(jìn)一步根據(jù)深度圖像可以實(shí)現(xiàn)3D物體重建、手勢(shì)識(shí)別手勢(shì)操控等功能。因而相比彩色信息，深度信息在對(duì)手部位置跟蹤，運(yùn)動(dòng)軌跡獲取等方面具有優(yōu)勢(shì)?，F(xiàn)有的手勢(shì)操控中，需要定位屏幕光標(biāo)，因此，要求用戶(hù)在特定的空間范圍內(nèi)進(jìn)行操作，并需要將用戶(hù)的手勢(shì)的空間位置轉(zhuǎn)換為操控界面的坐標(biāo)，即將用戶(hù)的手勢(shì)映射到操控界面中，才能實(shí)現(xiàn)利用手勢(shì)定位屏幕光標(biāo)的目的。上述手勢(shì)操控方法將用戶(hù)手勢(shì)限制在一個(gè)固定的區(qū)域內(nèi)，才可以實(shí)現(xiàn)用戶(hù)的手勢(shì)與操控界面的對(duì)應(yīng)關(guān)系，并且，用戶(hù)需要根據(jù)光標(biāo)在操控界面內(nèi)的位置來(lái)進(jìn)行手勢(shì)操控，因而，給用戶(hù)的操作帶來(lái)了不便，用戶(hù)體驗(yàn)不佳。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)提供一種基于RGBD圖像的三維操控空間的建立方法及設(shè)備，能夠解決現(xiàn)有技術(shù)存在的空間三維操控需映射到操控界面導(dǎo)致操控不便，體驗(yàn)不佳的問(wèn)題。為解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)采用的一個(gè)技術(shù)方案是：提供一種基于RGBD圖像的三維操控空間的建立方法，該方法包括以下步驟：采集用戶(hù)的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶(hù)手部穿越所述指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令。其中，所述根據(jù)所述RGBD圖像獲取建立所述三維操控空間的指令的步驟包括：根據(jù)所述RGBD圖像識(shí)別用戶(hù)的手部區(qū)域；根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作；若是，則獲取建立所述三維操控空間的指令。其中，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟之前包括：預(yù)先設(shè)定一個(gè)手勢(shì)動(dòng)作作為特定的手勢(shì)動(dòng)作，并保存；所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對(duì)所述手部區(qū)域的形態(tài)變化形成的所述手勢(shì)動(dòng)作進(jìn)行識(shí)別；將識(shí)別到的所述手勢(shì)動(dòng)作與預(yù)設(shè)的所述特定的手勢(shì)動(dòng)作進(jìn)行匹配，若匹配成功，則判斷所述手部區(qū)域完成所述特定的手勢(shì)動(dòng)作。其中，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識(shí)別所述手部區(qū)域的手部中心點(diǎn)；利用所述手勢(shì)動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識(shí)別手部中心點(diǎn)的空間位置；所述以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系的步驟和所述以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息的步驟中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。其中，所述特定的手勢(shì)動(dòng)作為手部從張開(kāi)到握拳的手勢(shì)動(dòng)作。為解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)采用的另一個(gè)技術(shù)方案是：提供一種建立基于RGBD圖像的三維操控空間的設(shè)備，該設(shè)備包括：采集模塊、指令獲取模塊、坐標(biāo)建立模塊、邊界面建立模塊和指令劃分模塊。采集模塊用于采集用戶(hù)的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；指令獲取模塊與所述采集模塊連接，用于根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；坐標(biāo)建立模塊與所述指令獲取模塊連接，用于以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；邊界面建立模塊與所述坐標(biāo)建立模塊連接，用于以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；指令劃分模塊與所述邊界面建立模塊連接，用于將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶(hù)手部穿越所述指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令。其中，所述指令獲取模塊進(jìn)一步包括第一識(shí)別模塊和判斷模塊；第一識(shí)別模塊與所述采集模塊連接，用于根據(jù)所述RGBD圖像識(shí)別用戶(hù)的手部區(qū)域；判斷模塊與所述第一識(shí)別模塊連接，用于根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作，并在完成所述特定的手勢(shì)動(dòng)作時(shí)，獲取建立所述三維操控空間的指令。其中，所述設(shè)備還包括預(yù)設(shè)模塊，所述預(yù)設(shè)模塊用于預(yù)先設(shè)定一個(gè)手勢(shì)動(dòng)作作為特定的手勢(shì)動(dòng)作，并保存；所述判斷模塊進(jìn)一步包括第二識(shí)別模塊和匹配模塊；第二識(shí)別模塊與所述第一識(shí)別模塊連接，用于利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對(duì)所述手部區(qū)域的形態(tài)變化形成的所述手勢(shì)動(dòng)作進(jìn)行識(shí)別；匹配模塊與所述第二識(shí)別模塊和所述預(yù)設(shè)模塊連接，用于將識(shí)別到的所述手勢(shì)動(dòng)作與預(yù)設(shè)的所述特定的手勢(shì)動(dòng)作進(jìn)行匹配，并在匹配成功時(shí)判斷所述手部區(qū)域完成所述特定的手勢(shì)動(dòng)作。其中，所述判斷模塊進(jìn)一步包括第三識(shí)別模塊和第四識(shí)別模塊；第三識(shí)別模塊與所述第一識(shí)別模塊連接，用于利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識(shí)別所述手部區(qū)域的手部中心點(diǎn)；第四識(shí)別模塊與所述第三識(shí)別模塊連接，用于利用所述手勢(shì)動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識(shí)別手部中心點(diǎn)的空間位置；其中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。其中，所述特定的手勢(shì)動(dòng)作為手部從張開(kāi)到握拳的手勢(shì)動(dòng)作。本專(zhuān)利技術(shù)的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本專(zhuān)利技術(shù)由于建立了三維操控空間，能夠限定用戶(hù)在提高手勢(shì)操控指令時(shí)手勢(shì)動(dòng)作的空間位置，防止誤識(shí)別了用戶(hù)并非用于手勢(shì)遙控的手勢(shì)動(dòng)作，例如，在三維操控空間外的其他人的手勢(shì)動(dòng)作，或者，用戶(hù)另一個(gè)手的手勢(shì)動(dòng)作等。相對(duì)與現(xiàn)有技術(shù)對(duì)用戶(hù)手勢(shì)操控的限定，本專(zhuān)利技術(shù)中，用戶(hù)在操作的時(shí)候，不需要將手勢(shì)映射到顯示屏幕中，手的位置也不需要與顯示屏幕中顯示的按鍵等對(duì)應(yīng)來(lái)進(jìn)行操控，而是通過(guò)手與三維操控空間的位置關(guān)系來(lái)觸發(fā)指令，由于本專(zhuān)利技術(shù)建立三維操控空間的指令是通過(guò)連續(xù)幀RGBD圖像來(lái)獲取，由于RGBD圖像具有彩色信息和深度信息，其具有較高的分辨率，因而可以獲取更加準(zhǔn)確信息，因而能清晰準(zhǔn)確地識(shí)別出RGBD圖像中的指令。并且，三維操控空間的建立是以用戶(hù)的RGBD圖像中的特定點(diǎn)為原點(diǎn)來(lái)建立，而該三維操控空間的原點(diǎn)位置是深度圖像中用戶(hù)在觸發(fā)建立三維操控空間時(shí)某一特定點(diǎn)位置，因此，該三維操控空間建立在一個(gè)能方便于用戶(hù)操作的位置。另外，本專(zhuān)利技術(shù)由于將三維操控空間的操控邊界面劃分為多個(gè)指令區(qū)域，并通過(guò)用戶(hù)手部穿越指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令，提高了指令的觸發(fā)相應(yīng)速度。因而，本專(zhuān)利技術(shù)能使得用戶(hù)的空間手勢(shì)操控更加方便，改善了用戶(hù)體驗(yàn)。附圖說(shuō)明為了更清楚地說(shuō)明本專(zhuān)利技術(shù)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于RGBD圖像的三維操控空間的建立方法，其特征在于，包括以下步驟：采集用戶(hù)的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶(hù)手部穿越所述指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令。

【技術(shù)特征摘要】
1.一種基于RGBD圖像的三維操控空間的建立方法，其特征在于，包括以下步驟：采集用戶(hù)的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶(hù)手部穿越所述指令區(qū)域時(shí)的穿越信息來(lái)識(shí)別指令。2.根據(jù)權(quán)利要求1所述的三維操控空間的建立方法，其特征在于，所述根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令的步驟包括：根據(jù)所述RGBD圖像識(shí)別用戶(hù)的手部區(qū)域；根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作；若是，則獲取建立所述三維操控空間的指令。3.根據(jù)權(quán)利要求2所述的三維操控空間的建立方法，其特征在于，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟之前包括：預(yù)先設(shè)定一個(gè)手勢(shì)動(dòng)作作為特定的手勢(shì)動(dòng)作，并保存；所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對(duì)所述手部區(qū)域的形態(tài)變化形成的所述手勢(shì)動(dòng)作進(jìn)行識(shí)別；將識(shí)別到的所述手勢(shì)動(dòng)作與預(yù)設(shè)的所述特定的手勢(shì)動(dòng)作進(jìn)行匹配，若匹配成功，則判斷所述手部區(qū)域完成所述特定的手勢(shì)動(dòng)作。4.根據(jù)權(quán)利要求3所述的三維操控空間的建立方法，其特征在于，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢(shì)動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識(shí)別所述手部區(qū)域的手部中心點(diǎn)；利用所述手勢(shì)動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識(shí)別手部中心點(diǎn)的空間位置；所述以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系的步驟和所述以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息的步驟中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。5.根據(jù)權(quán)利要求2所述的三維操控空間的建立方法，其特征在于，所述特定的手勢(shì)動(dòng)作為手...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：黃源浩，肖振中，許宏淮，
申請(qǐng)(專(zhuān)利權(quán))人：深圳奧比中光科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：廣東,44