一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)及操作方法技術(shù)方案

本發(fā)明專利技術(shù)公開了一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)及操作方法，該系統(tǒng)包括攝像頭和人機(jī)交互模塊。攝像頭將采集到的視頻信息傳輸至人機(jī)交互模塊，人機(jī)交互模塊對所得到的視頻信息進(jìn)行處理，識別出用戶的手勢類型，生成控制文物的效果并將結(jié)果通過VR顯示單元顯示出來。該系統(tǒng)摒棄現(xiàn)有博物館交互系統(tǒng)對情境的大力渲染，將人機(jī)交互技術(shù)應(yīng)用于博物館文物，實(shí)現(xiàn)了人與文物的互動，包括人控制文物進(jìn)行放大、縮小等操作，也包括人主動去了解文物的相關(guān)歷史知識等；同時系統(tǒng)將手勢識別技術(shù)與虛擬現(xiàn)實(shí)技術(shù)結(jié)合，并集成為可以攜帶的一體機(jī)，改變了傳統(tǒng)的博物館排隊(duì)游覽模式，極大的方便了個人用戶使用。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)及操作方法
本專利技術(shù)屬于人機(jī)交互
，具體涉及一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)及操作方法。
技術(shù)介紹
現(xiàn)今博物館普遍存在一種現(xiàn)象：歷史文物資料記載雖然完備，但人們在游覽的時候卻無法進(jìn)行翻閱了解；歷史文物放在展柜進(jìn)行展覽的模式，讓人與歷史文物之間產(chǎn)生一種很強(qiáng)的距離感，這讓人們直觀了解文物歷史存在困難。上述問題一直未得到很好的解決，同時，新興的科技博物館卻因其互動性強(qiáng)、科技色彩濃厚，吸引了越來越多的人，人們發(fā)現(xiàn)在人機(jī)互動的情況下，不但可以真正把自己融入進(jìn)去了解知識，還不會產(chǎn)生傳統(tǒng)歷史博物館帶來的隔閡感。目前人們提出的方案，一種是對博物館文物進(jìn)行三維成像，給用戶展現(xiàn)虛擬場景；一種是將博物館文物信息進(jìn)行數(shù)字化展示，將文物等形成圖文知識展現(xiàn)給用戶；這些方案要么專注于用戶的體驗(yàn)效果，以渲染場景氣氛為主旋律，偏離文物主體；要么羅列文物知識，毫無互動感，無法引起人們共鳴。人們對文物本身的專注是當(dāng)今博物館交互系統(tǒng)未能滿足的，博物館的真正意義是呈現(xiàn)歷史，解決人們無法近距離接觸歷史文物的問題才是我們提出本文物交互系統(tǒng)的出發(fā)點(diǎn)。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供了一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)及操作方法，解決人們無法近距離接觸歷史文物的問題。本專利技術(shù)采用以下技術(shù)方案：一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，包括攝像頭、人機(jī)交互單元和顯示單元，所述攝像頭設(shè)置在所述人機(jī)交互單元的下部，用于采集用戶的手勢動作，所述人機(jī)交互單元包括手勢識別單元和效果匹配單元，所述手勢識別單元用于識別人體的手勢動作并發(fā)送給所述效果匹配單元，所述效果匹配單元根據(jù)所述手勢動作生成控制效果，對文物進(jìn)行虛擬控制并將結(jié)果傳輸至所述顯示單元。進(jìn)一步的，所述手勢識別單元包括數(shù)據(jù)預(yù)處理單元和預(yù)測單元，所述數(shù)據(jù)預(yù)處理單元將所述攝像頭采集的手勢動作視頻數(shù)據(jù)進(jìn)行處理后發(fā)送給所述預(yù)測單元，所述預(yù)測單元接收處理后的所述視頻數(shù)據(jù)進(jìn)行手勢預(yù)測。進(jìn)一步的，所述顯示單元采用頭戴式VR眼鏡。進(jìn)一步的，所述攝像頭、人機(jī)交互單元與所述VR眼鏡為一體式結(jié)構(gòu)。一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)的控制方法，包括以下步驟：S1、攝像頭采集用戶的手勢動作視頻數(shù)據(jù)，并將視頻數(shù)據(jù)傳輸至人機(jī)交互單元；S2、數(shù)據(jù)預(yù)處理單元對所述視頻數(shù)據(jù)進(jìn)行預(yù)處理，再將處理過的數(shù)據(jù)送入預(yù)測單元進(jìn)行手勢判斷；S3、效果匹配單元根據(jù)預(yù)測的所述手勢類型匹配對應(yīng)的控制效果，使文物產(chǎn)生相應(yīng)變化效果；S4、將步驟S3產(chǎn)生的效果傳輸至顯示單元并以虛擬現(xiàn)實(shí)的方式呈現(xiàn)文物變化效果。進(jìn)一步的，步驟S2中，采用深度遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢識別，使用預(yù)先標(biāo)定好的手勢視頻集當(dāng)作訓(xùn)練數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)訓(xùn)練，然后將訓(xùn)練好的網(wǎng)絡(luò)模型和參數(shù)保存至預(yù)測單元；在進(jìn)行實(shí)際使用時，數(shù)據(jù)預(yù)處理單元首先對攝像頭傳來的視頻按幀取數(shù)據(jù)，進(jìn)行去噪和下采樣處理，再將處理過的數(shù)據(jù)送入預(yù)測單元，預(yù)測單元使用預(yù)訓(xùn)練好的模型和參數(shù)進(jìn)行手勢預(yù)測，從而識別出當(dāng)前手勢類型。進(jìn)一步的，所述控制效果包括放大效果、縮小效果、旋轉(zhuǎn)效果，查看內(nèi)部結(jié)構(gòu)效果，瀏覽歷史記載效果和文物制作流程效果。與現(xiàn)有技術(shù)相比，本專利技術(shù)至少具有以下有益效果：本專利技術(shù)一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，通過在人機(jī)交互單元上設(shè)置攝像頭實(shí)時采集用戶的視頻數(shù)據(jù)，經(jīng)過手勢識別和效果匹配后，將結(jié)果傳輸至顯示單元對文物進(jìn)行虛擬控制實(shí)現(xiàn)交互，將當(dāng)下最流行的手勢識別技術(shù)與虛擬現(xiàn)實(shí)技術(shù)結(jié)合起來，提供了一種更加具有“沉浸式”的用戶體驗(yàn)。進(jìn)一步的，攝像頭、人機(jī)交互單元和顯示單元為一體機(jī)式結(jié)構(gòu)，用戶無需其余設(shè)備即可使用，易于攜帶、操作簡單、設(shè)備價(jià)格低廉，方便個人用戶使用。本專利技術(shù)還提供一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)的控制方法，以文物為主體，通過人機(jī)交互單元和顯示單元，讓用戶通過控制文物模型看到文物細(xì)節(jié)，了解歷史知識，又不失娛樂性，通過深度遞歸神經(jīng)網(wǎng)絡(luò)的方式實(shí)現(xiàn)手勢識別，使得手勢識別的抗干擾性得到很大提高，通過深度網(wǎng)絡(luò)的訓(xùn)練改善了復(fù)雜環(huán)境下的識別率。進(jìn)一步的，預(yù)測單元通過調(diào)用提前訓(xùn)練好的網(wǎng)絡(luò)模型和參數(shù)對視頻流數(shù)據(jù)進(jìn)行處理，可以直接得到視頻中手勢類別。流程簡單，預(yù)測準(zhǔn)確率高進(jìn)一步的，本專利技術(shù)圍繞現(xiàn)有博物館存在的問題，摒棄現(xiàn)有的博物館交互系統(tǒng)注重歷史情境渲染、單一羅列歷史知識等問題，讓用戶對歷史文物進(jìn)行深入了解，易于推廣使用。下面通過附圖和實(shí)施例，對本專利技術(shù)的技術(shù)方案做進(jìn)一步的詳細(xì)描述。【附圖說明】圖1為本專利技術(shù)的整體結(jié)構(gòu)框圖；圖2為本專利技術(shù)的工作流程圖；圖3為本專利技術(shù)的用戶使用示意圖。其中：100.攝像頭；200.人機(jī)交互單元；210.手勢識別單元；211.數(shù)據(jù)預(yù)處理單元；212.預(yù)測單元；220.效果匹配單元；400.顯示單元；300.手勢動作。【具體實(shí)施方式】請參閱圖1和圖3所示，本專利技術(shù)一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，包括攝像頭100，人機(jī)交互單元200和顯示單元400，所述攝像頭100設(shè)置在所述人機(jī)交互單元200的上部，用于采集用戶的手勢動作300，所述人機(jī)交互單元200包括手勢識別單元210和效果匹配單元220，所述手勢識別單元210用于識別人體的手勢動作并發(fā)送給所述效果匹配單元220，所述效果匹配單元220根據(jù)所述手勢動作生成控制效果，對文物進(jìn)行虛擬控制并將結(jié)果傳輸至所述顯示單元400實(shí)現(xiàn)交互。具體的，顯示單元400采用頭戴式VR眼鏡，在用戶使用時，戴上VR眼鏡后選擇文物，根據(jù)想要對文物進(jìn)行的控制做出手勢動作，攝像頭100首先采集用戶手勢動作視頻數(shù)據(jù)，接著人機(jī)交互單元200便通過一系列數(shù)據(jù)處理分析預(yù)測出用戶手勢類型，并匹配相應(yīng)文物效果，最后將結(jié)果傳輸至VR眼鏡進(jìn)行顯示，實(shí)現(xiàn)虛擬現(xiàn)實(shí)下的人與文物交互。其中，人機(jī)交互單元200包括手勢識別單元210和效果匹配單元220，手勢識別單元210包括數(shù)據(jù)預(yù)處理單元211和預(yù)測單元212。上述人機(jī)交互單元200通過深深度遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢識別，數(shù)據(jù)處預(yù)理程序2111首先對攝像頭傳來的視頻按幀取數(shù)據(jù)，進(jìn)行去噪預(yù)處理和下采樣處理，再將處理過的數(shù)據(jù)送入入測單元進(jìn)行手勢預(yù)測，從而預(yù)測出手勢類型。上述人機(jī)交互單元200通過效果匹配單元220進(jìn)行手勢動作效果匹配，效果匹配單元能夠根據(jù)預(yù)測的手勢類型匹配相應(yīng)的文物效果，使文物產(chǎn)生相應(yīng)的變化效果。文物效果包括文物放大效果、文物縮小效果、文物進(jìn)行旋轉(zhuǎn)效果，查看文物內(nèi)部結(jié)構(gòu)效果，瀏覽文物歷史記載效果和瀏覽文物制作流程效果。例如，若判斷出用戶做出將文物順時針旋轉(zhuǎn)的手勢動作，則將文物進(jìn)行順時針旋轉(zhuǎn)，使得用戶可以觀察到文物另一面。其中，手勢動作與文物產(chǎn)生的變化效果一一對應(yīng)，即包括將文物進(jìn)行放大、縮小、逆時針旋轉(zhuǎn)、順時針旋轉(zhuǎn)、查看文物內(nèi)部結(jié)構(gòu)效果、瀏覽文物歷史記載效果和瀏覽文物制作流程效果的手勢動作。上述人機(jī)交互單元200將生成的結(jié)果傳輸至VR眼鏡進(jìn)行顯示，以虛擬現(xiàn)實(shí)的方式呈現(xiàn)文物效果。需要說明的是，雖然上述將本專利技術(shù)的基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)分為三大模塊，并細(xì)分為各工作單元，但本專利技術(shù)將各部分集成設(shè)計(jì)，所述攝像頭100、人機(jī)交互單元200與所述VR眼鏡為一體式結(jié)構(gòu)，用戶使用的為一體機(jī)設(shè)備。請參閱圖2所示，本專利技術(shù)還提供一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)的控制方法，包括以下步驟：S1、攝像頭采集視頻數(shù)據(jù)。用戶使用時，首先戴上VR眼鏡選擇文物本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，其特征在于：包括攝像頭(100)、人機(jī)交互單元(200)和顯示單元(400)，所述攝像頭(100)設(shè)置在所述人機(jī)交互單元(200)的下部，用于采集用戶的手勢動作(300)，所述人機(jī)交互單元(200)包括手勢識別單元(210)和效果匹配單元(220)，所述手勢識別單元(210)用于識別人體的手勢動作并發(fā)送給所述效果匹配單元(220)，所述效果匹配單元(220)根據(jù)所述手勢動作生成控制效果，對文物進(jìn)行虛擬控制并將結(jié)果傳輸至所述顯示單元(400)。

【技術(shù)特征摘要】
1.一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，其特征在于：包括攝像頭(100)、人機(jī)交互單元(200)和顯示單元(400)，所述攝像頭(100)設(shè)置在所述人機(jī)交互單元(200)的下部，用于采集用戶的手勢動作(300)，所述人機(jī)交互單元(200)包括手勢識別單元(210)和效果匹配單元(220)，所述手勢識別單元(210)用于識別人體的手勢動作并發(fā)送給所述效果匹配單元(220)，所述效果匹配單元(220)根據(jù)所述手勢動作生成控制效果，對文物進(jìn)行虛擬控制并將結(jié)果傳輸至所述顯示單元(400)。2.根據(jù)權(quán)利要求1所述的一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，其特征在于：所述手勢識別單元(210)包括數(shù)據(jù)預(yù)處理單元(211)和預(yù)測單元(212)，所述數(shù)據(jù)預(yù)處理單元(211)將所述攝像頭(100)采集的手勢動作視頻數(shù)據(jù)進(jìn)行處理后發(fā)送給所述預(yù)測單元(212)，所述預(yù)測單元(212)接收處理后的所述視頻數(shù)據(jù)進(jìn)行手勢預(yù)測。3.根據(jù)權(quán)利要求1所述的一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，其特征在于：所述顯示單元(400)采用頭戴式VR眼鏡。4.根據(jù)權(quán)利要求3所述的一種基于虛擬現(xiàn)實(shí)的文物交互系統(tǒng)，其特征在于：所述攝像頭(100)、人機(jī)交互單元(200)與所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孫其功，焦李成，王浩然，張丹，李秀芳，馬文萍，馬晶晶，楊淑媛，侯彪，王爽，張向榮，
申請(專利權(quán))人：西安電子科技大學(xué)，
類型：發(fā)明
國別省市：陜西,61