本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法，將條形碼技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合，用條形碼做索引進(jìn)行樣本圖像及虛擬信息資源搜索，將復(fù)雜的圖像搜索通過(guò)條形碼、二維碼及其衍生的編解碼方式，簡(jiǎn)化為整形數(shù)據(jù)搜索或者字符串匹配，降低了系統(tǒng)是實(shí)現(xiàn)的難度，相應(yīng)的，本發(fā)明專(zhuān)利技術(shù)還公開(kāi)了一種基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)及移動(dòng)終端，極大提高了增強(qiáng)現(xiàn)實(shí)在海量樣本圖像數(shù)據(jù)下的應(yīng)用的可行性。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及移動(dòng)增強(qiáng)現(xiàn)實(shí)領(lǐng)域，尤其涉及一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法、系統(tǒng)及移動(dòng)終端。
技術(shù)介紹
近年來(lái)，條形碼技術(shù)(包括一維條形碼、二維條形碼等)得到了廣泛應(yīng)用，同時(shí)增強(qiáng)現(xiàn)實(shí)(AR, Augumented Reality)技術(shù)也在一些應(yīng)用中開(kāi)始出現(xiàn),增強(qiáng)現(xiàn)實(shí)是在真實(shí)環(huán)境呈現(xiàn)的場(chǎng)景中，借助與計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)，將虛擬信息實(shí)時(shí)“無(wú)縫”與之融合，利用虛擬信息對(duì)真實(shí)場(chǎng)景進(jìn)行補(bǔ)充、增強(qiáng)，能可給予用戶完全區(qū)別于傳統(tǒng)PC平臺(tái)的全新的感知體驗(yàn)和交互模式。現(xiàn)有條形碼技術(shù)和增效現(xiàn)實(shí)技術(shù)一般都是單獨(dú)使用的，單獨(dú)使用條形碼只能得到 條形碼對(duì)應(yīng)的網(wǎng)址，使用起來(lái)不夠炫；而單獨(dú)使用現(xiàn)有增強(qiáng)現(xiàn)實(shí)技術(shù)，系統(tǒng)的響應(yīng)時(shí)間長(zhǎng)，海量數(shù)據(jù)應(yīng)用可行性低。當(dāng)然也有少數(shù)公開(kāi)方案將條形碼與增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合，如中國(guó)專(zhuān)利技術(shù)專(zhuān)利CN200910224378. 9(公布號(hào)CN102087743A)中公開(kāi)了一種條形碼擴(kuò)充實(shí)境系統(tǒng)與方法，其技術(shù)方案中，條形碼擴(kuò)充實(shí)境方法主要是根據(jù)取得的條形碼標(biāo)志的空間信息，將虛擬信息堆棧到實(shí)境影像或另一背景圖像中(參見(jiàn)權(quán)利要求16及說(shuō)明書(shū)、段)，該方法虛擬信息的堆棧位置，主要取決于條形碼標(biāo)志的影像信息，如果在虛擬信息堆棧過(guò)程中，將該條形碼部分或全部遮擋，該方法將無(wú)法找到虛擬信息堆棧位置，造成堆棧位置偏差，影響用戶體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)的目的是提供一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法、系統(tǒng)及移動(dòng)終端，用完全不同于上述專(zhuān)利公開(kāi)的技術(shù)，將人們開(kāi)始廣泛使用的二維碼與增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合，既解決了單獨(dú)使用條形碼不夠炫，又能解決單獨(dú)使用現(xiàn)有增強(qiáng)現(xiàn)實(shí)技術(shù)響應(yīng)時(shí)間長(zhǎng)的問(wèn)題，能給予用戶完全區(qū)別于傳統(tǒng)拍照應(yīng)用的全新感知體驗(yàn)和交互模式。為了實(shí)現(xiàn)上述專(zhuān)利技術(shù)目的，本專(zhuān)利技術(shù)提供了一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法，包括用攝像機(jī)捕獲當(dāng)前場(chǎng)景圖像，所述當(dāng)前場(chǎng)景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值；解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI ；實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。優(yōu)選的，所述條形碼為一維條形碼或二維條形碼或彩色條形碼。優(yōu)選的，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征檢測(cè)，提取出圖像特征點(diǎn)，并對(duì)圖像特征點(diǎn)進(jìn)行特征描述，得到當(dāng)前場(chǎng)景圖像整幅圖像的特征描述數(shù)據(jù)；根據(jù)當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)及樣本圖像的特征描述數(shù)據(jù)，對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。優(yōu)選的，當(dāng)所述與目標(biāo)圖像匹配的虛擬信息資源為視頻資源時(shí)，還包括對(duì)所述視頻資源進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；而所述根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息步驟，進(jìn)一步包括根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型； 將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染；將攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。相應(yīng)的，本專(zhuān)利技術(shù)還提供了一種基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括攝像模塊、圖像特征提取模塊、條形碼解碼模塊、搜索模塊、圖像跟蹤配準(zhǔn)模塊、圖像渲染模塊、虛實(shí)融合顯示模塊，其中攝像模塊，用于捕獲當(dāng)前場(chǎng)景圖像，所述當(dāng)前場(chǎng)景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值，所述條形碼可以為一維條形碼，也可以為二維條形碼、彩色條形碼及其衍生的編解碼，還可以為自定義編解碼方式編出的條碼圖案；條形碼解析模塊，解析攝像模塊捕獲的條形碼，得到攝像模塊捕獲圖像中的目標(biāo)圖像的索引值；搜索模塊，根據(jù)條形碼解析模塊解析出的索引值，在圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像跟蹤配準(zhǔn)模塊，同時(shí)將匹配成功的虛擬信息資源URI傳遞給圖形渲染模塊；圖像特征提取模塊，對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征點(diǎn)檢測(cè)及提取，并生成特征點(diǎn)描述，得到當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)；圖像跟蹤配準(zhǔn)模塊，根據(jù)搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產(chǎn)生的當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)，實(shí)時(shí)連續(xù)地對(duì)攝像模塊捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，得到單應(yīng)性矩陣；圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計(jì)算出的單應(yīng)性矩陣及虛擬信息資源URI，在攝像模塊捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染與目標(biāo)圖像匹配的虛擬信息；虛實(shí)融合顯示模塊，將攝像模塊捕獲的當(dāng)前場(chǎng)景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯不。優(yōu)選的，所述系統(tǒng)還包括音視頻分離及解碼模塊，當(dāng)所述搜索模塊搜索得到的與目標(biāo)圖像匹配的虛擬信息為視頻資源時(shí)所述搜索模塊將匹配成功的視頻資源URI傳遞給音視頻分離及解碼模塊；所述音視頻分離及解碼模塊，根據(jù)搜索模塊得到的視頻資源的URI，找到對(duì)應(yīng)的視頻文件，并對(duì)所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；并將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給虛實(shí)融合顯示模塊；所述圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計(jì)算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來(lái)的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染；所述虛實(shí)融合顯示模塊，將攝像機(jī)模塊捕獲的當(dāng)前場(chǎng)景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯示,并同步輸出音頻數(shù)據(jù)。相應(yīng)的，本專(zhuān)利技術(shù)還提供了一種移動(dòng)終端，所述移動(dòng)終端包括上述的基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。·本專(zhuān)利技術(shù)具有如下有意效果I、通過(guò)條形碼來(lái)進(jìn)行圖像搜索，縮短圖像配準(zhǔn)時(shí)間，在海量樣本圖像條件下，仍能到達(dá)系統(tǒng)實(shí)時(shí)性要求，極大提高了增強(qiáng)現(xiàn)實(shí)在海量樣本圖像數(shù)據(jù)下的應(yīng)用的可行性；2、將復(fù)雜的圖像搜索通過(guò)條形碼、二維碼及其衍生的編解碼方式，簡(jiǎn)化為整形數(shù)據(jù)搜索或者字符串匹配，降低了系統(tǒng)是實(shí)現(xiàn)的難度；3、由于條形碼僅用于搜索，在搜索完成后，無(wú)論條形碼是否遮擋，均可以準(zhǔn)確地在目標(biāo)圖像上進(jìn)行虛擬信息渲染。附圖說(shuō)明為了更清楚地說(shuō)明本專(zhuān)利技術(shù)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本專(zhuān)利技術(shù)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖圖I為本專(zhuān)利技術(shù)實(shí)施例中基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)示意圖一；圖2為圖I中系統(tǒng)進(jìn)行虛擬信息疊加的過(guò)程及效果示意圖；圖3為本專(zhuān)利技術(shù)實(shí)施例中基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)示意圖二 ；圖4為圖2中系統(tǒng)進(jìn)行虛擬信息疊加的過(guò)程及效果示意圖；圖5為本專(zhuān)利技術(shù)實(shí)施例中基于條形碼的增強(qiáng)現(xiàn)實(shí)方法的流程示意圖；圖6為自定義條形碼標(biāo)志中的一種形式示意圖。具體實(shí)施例方式下面將結(jié)合本專(zhuān)利技術(shù)實(shí)施例中的附圖，對(duì)本專(zhuān)利技術(shù)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本專(zhuān)利技術(shù)一部分實(shí)施例，本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法，其特征在于，包括：用攝像機(jī)捕獲當(dāng)前場(chǎng)景圖像，所述當(dāng)前場(chǎng)景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值；解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI；實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。
【技術(shù)特征摘要】
1.一種基于條形碼的增強(qiáng)現(xiàn)實(shí)方法，其特征在于，包括 用攝像機(jī)捕獲當(dāng)前場(chǎng)景圖像，所述當(dāng)前場(chǎng)景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值； 解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容在圖像數(shù)據(jù)庫(kù)中搜索與當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI ； 實(shí)時(shí)連續(xù)地對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣； 根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。2.如權(quán)利要求I所述的方法，其特征在于，所述條形碼包括一維條形碼或二維條形碼或彩色條形碼。3.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括 對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像進(jìn)行特征檢測(cè)，提取出圖像特征點(diǎn)，并對(duì)圖像特征點(diǎn)進(jìn)行特征描述，得到當(dāng)前場(chǎng)景圖像整幅圖像的特征描述數(shù)據(jù)； 根據(jù)當(dāng)前場(chǎng)景圖像的特征描述數(shù)據(jù)及樣本圖像的特征描述數(shù)據(jù)，對(duì)攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計(jì)算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。4.如權(quán)利要求I至3中任一項(xiàng)所述的方法，其特征在于，當(dāng)所述與目標(biāo)圖像匹配的虛擬信息資源為視頻資源時(shí)，還包括對(duì)所述視頻資源進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)； 而所述根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息步驟，進(jìn)一步包括 根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場(chǎng)景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型； 將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染； 將攝像機(jī)捕獲的當(dāng)前場(chǎng)景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。5.一種基于條形碼的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，包括攝像模塊、圖像特征提取模塊、條形碼解碼模塊、搜索模塊、圖像跟蹤配準(zhǔn)模塊、圖像渲染模塊、虛實(shí)融合顯示模塊，其中 攝像模塊，用于捕獲當(dāng)前場(chǎng)景圖像，所述當(dāng)前場(chǎng)景圖像包括目標(biāo)圖像和條形碼，所述...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：柳寅秋，李薪宇，宋海濤，
申請(qǐng)(專(zhuān)利權(quán))人：成都理想境界科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。