基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)涉及本發(fā)明專利技術(shù)實(shí)施例提出一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)。其中，該方法可以包括：采集圖像；根據(jù)采集到的圖像獲得兩視點(diǎn)合成圖索引圖；根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；基于圖像的兩視點(diǎn)合成圖索引圖，對兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像。優(yōu)選地，獲得兩視點(diǎn)圖步驟具體可以包括：確定圖像上子像素亮度影響權(quán)重，然后利用帶有包圍盒的最小二乘方法，確定兩視點(diǎn)的合成圖索引圖；根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，調(diào)整所獲取的圖像的方位，獲得兩視點(diǎn)圖。本發(fā)明專利技術(shù)實(shí)施例通過采用上述技術(shù)方案，解決了如何實(shí)現(xiàn)高質(zhì)量的裸眼三維虛擬現(xiàn)實(shí)顯示的技術(shù)問題。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)
本專利技術(shù)涉及三維顯示方法，尤其涉及一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)。
技術(shù)介紹
目前，虛擬現(xiàn)實(shí)在全球掀起了浪潮，而三維虛擬現(xiàn)實(shí)則是一個(gè)較新的發(fā)展方向。虛擬現(xiàn)實(shí)技術(shù)是集合了跟蹤系統(tǒng)、觸覺系統(tǒng)、圖像生成與顯示系統(tǒng)和可視化顯示設(shè)備的一個(gè)綜合成果，但在實(shí)用商業(yè)化的路中仍存在很多有待解決的問題。虛擬現(xiàn)實(shí)大多是通過穿戴式設(shè)備頭盔來集成相關(guān)技術(shù)，但是頭帶大小無法調(diào)節(jié)、頭盔過重、長時(shí)間佩戴時(shí)設(shè)備的透氣、散熱性差，這些因素都會(huì)使得觀看者的舒適體驗(yàn)度下降；由于虛擬現(xiàn)實(shí)的設(shè)備需要與電腦相連，進(jìn)行信號(hào)傳輸，其常常是連接一根很長的線纜作為通訊保障。在觀看者移動(dòng)的情況下，注意力一直在顯示設(shè)備上而忽略了腳下的線纜就存在被絆倒的危險(xiǎn)；相對而言，性能中等偏上的虛擬現(xiàn)實(shí)設(shè)備，其價(jià)格也普遍偏高。作為一款?yuàn)蕵饭ぞ撸壳捌滹@示資源十分有限，但售價(jià)超出普通大眾的承受能力。三維虛擬現(xiàn)實(shí)相對于傳統(tǒng)的虛擬現(xiàn)實(shí)，更加貼近人類實(shí)際感知，能夠直觀的給觀看者帶來深度效果。在國內(nèi)外眾多三維顯示技術(shù)中，全息技術(shù)是通過干涉和衍射的光學(xué)現(xiàn)象真實(shí)的記錄并還原出真實(shí)物體圖像的記錄和還原技術(shù)，但目前的全息影像裝置采用激光進(jìn)行影像采集與顯示，設(shè)備造價(jià)極其昂貴。集成成像三維顯示技術(shù)在圖像視點(diǎn)串?dāng)_、視點(diǎn)數(shù)目等多方面存在問題。裸眼體視三維顯示具有可觀的商業(yè)前景，目前已經(jīng)走出實(shí)驗(yàn)室階段的體視三維顯示裝置，大多結(jié)構(gòu)復(fù)雜、笨重并且需要多種材料設(shè)備和自行設(shè)計(jì)的控制裝置，并不適合應(yīng)用在移動(dòng)性較強(qiáng)的虛擬現(xiàn)實(shí)技術(shù)中。移動(dòng)終端由于其便攜性和普及性，在三維虛擬現(xiàn)實(shí)技術(shù)中占據(jù)了先天性的優(yōu)勢。微透鏡陣列裸眼三維顯示技術(shù)基于覆蓋在二維平面屏幕上的微透鏡陣列，其實(shí)現(xiàn)相對簡單，并且其三維圖像重建的質(zhì)量足以用于許多消費(fèi)電子設(shè)備。用于顯示技術(shù)的現(xiàn)有渲染方法，例如飛利浦的模算術(shù)或光線反投影方法，需要依賴于設(shè)備測量的精確校正標(biāo)定以產(chǎn)生高質(zhì)量三維顯示效果。有鑒于此，特提出本專利技術(shù)。
技術(shù)實(shí)現(xiàn)思路
為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決如何實(shí)現(xiàn)高質(zhì)量的裸眼三維虛擬現(xiàn)實(shí)顯示的技術(shù)問題而提出一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法。此外，還提供一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的系統(tǒng)。為了實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)的一個(gè)方面，提供以下技術(shù)方案：一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，該方法包括：采集圖像；根據(jù)采集到的圖像獲得兩視點(diǎn)合成圖索引圖；根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；基于圖像的兩視點(diǎn)合成圖索引圖，對兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像。進(jìn)一步地，所述基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖具體包括：確定圖像上子像素亮度影響權(quán)重；基于圖像上子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定兩視點(diǎn)的合成圖索引圖。進(jìn)一步地，確定圖像上子像素亮度影響權(quán)重具體可以包括：根據(jù)下式確定圖像上子像素亮度影響權(quán)重：其中，Imagec(t)(i,j,k)表示在第t個(gè)視點(diǎn)處采集到的圖像上的子像素，t＝0、1，i＝1～H，j＝1～W；H表示圖像的高度；W表示圖像的寬度；r表示安全窗口半徑；m、n表示以安全窗口中心為原點(diǎn)的窗口坐標(biāo)；q＝1～3；Imagem(i+m,j+n,q)表示圖像上的子像素；表示圖像上子像素(i+m,j+n,q)點(diǎn)亮到最大亮度時(shí)對鄰近像素(i,j,k)經(jīng)過歸一化后的亮度影響權(quán)重。進(jìn)一步地，基于圖像上子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定兩視點(diǎn)的合成圖索引圖，具體可以包括：基于圖像上子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，根據(jù)下式確定兩視點(diǎn)的合成圖索引圖：其中，表示兩視點(diǎn)對應(yīng)子像素亮度影響權(quán)重的差異；I表示兩視點(diǎn)的合成圖索引圖，且被限定于包圍盒BI＝{I∈Z1×H:L≤I≤U}中，L＝0×I1×H且U＝255×I1×H，I1×H表示H維的全1列向量；表示兩視點(diǎn)采集圖像的差異；H表示圖像的高度。進(jìn)一步地，在確定圖像上子像素亮度影響權(quán)重步驟之前還可以包括：對圖像進(jìn)行反畸變和興趣區(qū)域提取操作處理。進(jìn)一步地，根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖，具體可以包括：根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，調(diào)整所獲取的圖像的方位，獲得兩視點(diǎn)圖。基于圖像的兩視點(diǎn)合成圖索引圖，對兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像，具體包括：根據(jù)下式渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像：Syn＝I0×view0+I1×view1其中，Syn表示三維虛擬現(xiàn)實(shí)顯示圖像；I0表示第0視點(diǎn)的合成圖索引圖；I1表示第1視點(diǎn)的合成圖索引圖；view0表示第0視點(diǎn)圖；view1表示第1視點(diǎn)圖。為了實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)的另一個(gè)方面，提供以下技術(shù)方案：一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的系統(tǒng)，該系統(tǒng)可以包括：圖像獲取單元，用于采集圖像，并將圖像發(fā)送至控制器；移動(dòng)終端，包括屏幕，屏幕上設(shè)有微透鏡陣列膜，用于將加速度的位置信息和角速度的旋轉(zhuǎn)信息發(fā)送至控制器，并通過屏幕顯示三維虛擬現(xiàn)實(shí)顯示圖像；控制器，分別與圖像獲取單元和移動(dòng)終端通信連接；用于對圖像進(jìn)行處理，得到兩視點(diǎn)合成圖索引圖，且根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖，并基于圖像的兩視點(diǎn)合成圖索引圖，對兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像，以及將三維虛擬現(xiàn)實(shí)顯示圖像發(fā)送至移動(dòng)終端。進(jìn)一步地，移動(dòng)終端還可以包括加速度計(jì)，用于獲取加速度的位置信息；陀螺儀，用于獲取角速度的旋轉(zhuǎn)信息。進(jìn)一步地圖像獲取單元為單目相機(jī)、單目攝像機(jī)、雙目相機(jī)或雙目攝像機(jī)。進(jìn)一步地，移動(dòng)終端為手機(jī)或個(gè)人數(shù)字助理。進(jìn)一步地，控制器為計(jì)算機(jī)、筆記本電腦、服務(wù)器或工控機(jī)。本專利技術(shù)實(shí)施例提出一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)。其中，該方法可以包括：采集圖像；基于采集到的圖像獲得兩視點(diǎn)合成圖索引圖，根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；基于圖像的兩視點(diǎn)合成圖索引圖，對兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像。本專利技術(shù)實(shí)施例將三維顯示技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，能夠在微透鏡陣列和移動(dòng)終端屏幕的參數(shù)未知的情況下，呈現(xiàn)出高質(zhì)量的三維顯示效果。相比于傳統(tǒng)虛擬現(xiàn)實(shí)設(shè)備減少了頭盔的重量和舒適性欠佳的束縛感，同時(shí)增加了設(shè)備自身三維顯示效果而非僅僅使用雙目接收左右不同場景圖片達(dá)到三維的效果。附圖說明圖1是根據(jù)本專利技術(shù)實(shí)施例的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的系統(tǒng)的結(jié)構(gòu)示意圖；圖2是根據(jù)本專利技術(shù)另一實(shí)施例的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的系統(tǒng)的結(jié)構(gòu)示意圖；圖3是根據(jù)本專利技術(shù)實(shí)施例的用戶手持手機(jī)在三個(gè)不同觀察點(diǎn)的手機(jī)裸眼三維虛擬現(xiàn)實(shí)顯示效果示意圖；圖4是根據(jù)本專利技術(shù)實(shí)施例的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法的流程示意圖。具體實(shí)施方式下面參照附圖來描述本專利技術(shù)的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本專利技術(shù)的技術(shù)原理，并非旨在限制本專利技術(shù)的保護(hù)范圍。下面以一示例性實(shí)施例來說明本專利技術(shù)實(shí)施例的應(yīng)用平臺(tái)。其中，可以利用兩個(gè)基準(zhǔn)線為60mm的圖像獲取單元模擬人的雙眼，將其放在距離移動(dòng)終端屏幕約300mm處。利用一個(gè)密封的實(shí)驗(yàn)箱，為圖像獲取單元的光路采集提供一個(gè)與外界光線隔絕的密閉環(huán)境，并在圖像獲取單元的后面設(shè)置風(fēng)扇，以進(jìn)行散熱。優(yōu)選本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述方法包括：采集圖像；基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖；根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；基于所述圖像的所述兩視點(diǎn)合成圖索引圖，對所述兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像。

【技術(shù)特征摘要】
1.一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述方法包括：采集圖像；基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖；根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；基于所述圖像的所述兩視點(diǎn)合成圖索引圖，對所述兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像。2.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖具體包括：確定所述圖像上子像素亮度影響權(quán)重；基于所述圖像上所述子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定所述兩視點(diǎn)的所述合成圖索引圖。3.根據(jù)權(quán)利要求2所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述確定所述圖像上子像素亮度影響權(quán)重具體包括：根據(jù)下式確定所述圖像上所述子像素亮度影響權(quán)重：其中，所述Imagec(t)(i,j,k)表示在第t個(gè)視點(diǎn)處采集到的圖像上的子像素，所述t＝0、1，所述i＝1～H，所述j＝1～W；所述H表示所述圖像的高度；所述W表示所述圖像的寬度；所述r表示安全窗口半徑；所述m、n表示以所述安全窗口中心為原點(diǎn)的窗口坐標(biāo)；所述q＝1～3；所述Imagem(i+m,j+n,q)表示所述圖像上的子像素；所述表示所述圖像上子像素(i+m,j+n,q)點(diǎn)亮到最大亮度時(shí)對鄰近像素(i,j,k)經(jīng)過歸一化后的亮度影響權(quán)重。4.根據(jù)權(quán)利要求2所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述基于所述圖像上所述子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定所述兩視點(diǎn)的所述合成圖索引圖，具體包括：基于所述圖像上子像素亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，根據(jù)下式確定所述兩視點(diǎn)的所述合成圖索引圖：其中，所述表示所述兩視點(diǎn)對應(yīng)子像素亮度影響權(quán)重的差異；所述I表示所述兩視點(diǎn)的所述合成圖索引圖，且被限定于包圍盒BI＝{I∈Z1×H:L≤I≤U}中，L＝0×I1×H且U＝255×I1×H，所述I1×H表示H維的全1列向量；所述表示兩視點(diǎn)采集圖像的差異；所述H表示所述圖像的高度。...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馬魁，裴仁靜，耿征，張梅，
申請(專利權(quán))人：中國科學(xué)院自動(dòng)化研究所，
類型：發(fā)明
國別省市：北京,11