本發(fā)明專利技術(shù)涉及一種基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模系統(tǒng)和方法，是一種首次把視頻透視式增強(qiáng)現(xiàn)實(shí)技術(shù)和計(jì)算機(jī)三維建模兩者有機(jī)地集成在一起的技術(shù)。隨著多媒體技術(shù)的高速發(fā)展，這種真三維的設(shè)計(jì)方法將成為必然的趨勢，必將引起計(jì)算機(jī)輔助建模與設(shè)計(jì)平臺開發(fā)領(lǐng)域的一場新潮流。本發(fā)明專利技術(shù)實(shí)際上提出了一種全新的設(shè)計(jì)開發(fā)理念——將設(shè)計(jì)人員的工作區(qū)由二維平面拓展到一個真三維的空間區(qū)域，解除了以前只能在二維平面中進(jìn)行三維建模的限制，提高了設(shè)計(jì)效率，簡化了設(shè)計(jì)流程，采用增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行人機(jī)交互和反饋顯示，讓用戶在一種深入的沉浸感中進(jìn)行設(shè)計(jì)開發(fā)，充分享受隨心所欲、天馬行空的創(chuàng)造樂趣。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及的是一個真正意義上的三維建模系統(tǒng)和方法，具體的說是一種。
技術(shù)介紹
三維建模是以多媒體計(jì)算機(jī)為工具，綜合了圖形學(xué)、幾何學(xué)、動力學(xué)、物理學(xué)等多門學(xué)科的新技術(shù)。實(shí)際操作中要求設(shè)計(jì)人員大膽創(chuàng)新，不斷完善，將腦海中的設(shè)計(jì)藍(lán)圖完美實(shí)現(xiàn)。隨著計(jì)算機(jī)硬件和多媒體技術(shù)的不斷發(fā)展，這一技術(shù)越來越被人們所看重，已被廣泛應(yīng)用到各行各業(yè)，比如建筑規(guī)劃、園林景觀、產(chǎn)品設(shè)計(jì)與制造、電影廣告、動畫娛樂等等， 產(chǎn)生了巨大的經(jīng)濟(jì)及社會效益。無論是在哪一個應(yīng)用領(lǐng)域，計(jì)算機(jī)三維建模的使用都極大地提高了設(shè)計(jì)對象的質(zhì)量，縮短了對象從設(shè)計(jì)到實(shí)現(xiàn)的周期，降低了成本，促進(jìn)了標(biāo)準(zhǔn)化工作。所以，計(jì)算機(jī)三維建模的發(fā)展水平在一定程度上成為了衡量一個國家工業(yè)水平的重要標(biāo)志之一O目前在發(fā)達(dá)國家已形成以計(jì)算機(jī)三維建模技術(shù)的研究、開發(fā)、制造、銷售直到咨詢服務(wù)的完整產(chǎn)業(yè)，先后涌現(xiàn)出了一批優(yōu)秀的建模與設(shè)計(jì)系統(tǒng)，如3D MAX、Solidfforks, CATIA、Pr0/E、Aut0CAD等等。而我國在這一
的研究尚處于初期發(fā)展階段。我國三維建模產(chǎn)業(yè)的發(fā)展策略基本上是選擇國際上流行的優(yōu)秀的系統(tǒng)作為開發(fā)平臺，結(jié)合我國國情進(jìn)行開發(fā)。從60年代開始，在基礎(chǔ)理論研究、軟件環(huán)境和實(shí)用系統(tǒng)的研制等多方面展開了相關(guān)的研究工作，取得了不少成果。但由于種種原因，軟件系統(tǒng)的商品化程度還不高。一個好的三維建模平臺能讓設(shè)計(jì)人員把腦海中的產(chǎn)品、動畫形象以及房屋建筑等設(shè)計(jì)對象高效、直觀地描繪和渲染出來，而且設(shè)計(jì)人員能從各種角度查看所設(shè)計(jì)對象的立體視圖，對其進(jìn)行觀察和評估，并能根據(jù)要求實(shí)時、自然地對其進(jìn)行各種編輯修改操作。在產(chǎn)品設(shè)計(jì)、動畫制作、建筑工程等領(lǐng)域，這些要求尤為重要，因?yàn)槿S建模與設(shè)計(jì)制圖是后續(xù)一切工作的基礎(chǔ)和依據(jù)。然而目前的各種主流建模與設(shè)計(jì)平臺，如3D MAX、SolidWorks、CATIA、Pro/E等等， 還不能稱之為真正意義上的三維系統(tǒng)，或可稱之為準(zhǔn)三維系統(tǒng)。因?yàn)樵O(shè)計(jì)人員還是在一個二維的平面區(qū)域內(nèi)進(jìn)行設(shè)計(jì)，用戶無法親身進(jìn)入到這個工作區(qū)域中去查看和感受正在設(shè)計(jì)的對象，這就對設(shè)計(jì)人員的空間想象能力和立體幾何學(xué)提出了較高的要求，設(shè)計(jì)人員經(jīng)常需要花費(fèi)大量的時間和精力去思考和運(yùn)算所設(shè)計(jì)對象的相對空間關(guān)系；而且這些系統(tǒng)或平臺，主要還是利用傳統(tǒng)的人機(jī)交互方式——基于鼠標(biāo)和鍵盤等輸入設(shè)備進(jìn)行編輯與操作， 這種方式的不足之處在于操作效率低和不夠直觀，用戶毫無沉浸感。針對于此,本專利技術(shù)將增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality, AR)引入三維建模領(lǐng)域, 提出“真三維”這一概念，即基于視頻透視式增強(qiáng)現(xiàn)實(shí)技術(shù)，將設(shè)計(jì)人員的工作區(qū)由二維平面拓廣到三維空間中，而且設(shè)計(jì)人員能從360°全方位查看設(shè)計(jì)視圖。AR系統(tǒng)要求具有31 特性，即沉浸感(I_ersion)、交互性(Interaction)和想象性(Imagination),而這些特征正是真三維建模系統(tǒng)最為需要的。AR技術(shù)是一種將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)。AR技術(shù)首先出現(xiàn)在工業(yè)應(yīng)用領(lǐng)域，波音公司的Tom Caudell和他的同事于20世紀(jì)90年代初期在其設(shè)計(jì)的一個輔助布線系統(tǒng)中，首次提出了“增強(qiáng)現(xiàn)實(shí)”這個名詞。AR技術(shù)在國外發(fā)展較早， 美國、歐洲和日本等國家和地區(qū)目前在AR技術(shù)的研究和應(yīng)用上比較領(lǐng)先，在關(guān)鍵設(shè)備上也具備了設(shè)計(jì)和制造能力，并在技術(shù)上擁有多項(xiàng)知識產(chǎn)權(quán)和技術(shù)標(biāo)準(zhǔn)。在國內(nèi)，AR技術(shù)起步較晚。北京理工大學(xué)光電工程系是國內(nèi)較早進(jìn)行AR研究的單位之一，在AR系統(tǒng)硬件(光學(xué)透視式頭盔，數(shù)據(jù)手套等)與三維注冊算法等方面取得了一些研究成果。浙江大學(xué)CAD&CG國家重點(diǎn)實(shí)驗(yàn)室在分布式虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)方面做了深入研究。專利“增強(qiáng)現(xiàn)實(shí)的非真實(shí)感繪制”(200880022657. O)公開了一種用于繪制場景的捕捉圖像的方法和系統(tǒng)，在繪制的圖像中保存場景的某個結(jié)構(gòu)，而不需要場景的模型。專利“增強(qiáng)現(xiàn)實(shí)系統(tǒng)中抑制磁力跟蹤器互干擾的方法”(200910053861. 5)提出了一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)中抑制磁力跟蹤器互干擾的方法，針對用戶頭部和手部的跟蹤，根據(jù)不同狀態(tài)采用不同的濾波處理方法，對磁力跟蹤的相互干擾產(chǎn)生一定的抑制作用。上海大學(xué)多媒體技術(shù)研發(fā)中心于2001年上半年開始啟動“基于PC平臺的AR系統(tǒng)關(guān)鍵技術(shù)研究”(025115008)，設(shè)計(jì)和實(shí)現(xiàn)了基于PC平臺的AR系統(tǒng)結(jié)構(gòu)；于2006年開始國家科技支撐計(jì)劃課題(2006BAK13B10)增強(qiáng)虛擬現(xiàn)實(shí)實(shí)時互動與大型異型屏技術(shù)集成與應(yīng)用”，在實(shí)時人機(jī)交互技術(shù)和大型異型屏增強(qiáng)顯示方面開展了深入的研究；于2009年與英國提賽德大學(xué)共同開展上海市科委國際合作科研計(jì)劃項(xiàng)目(09510700900)視頻透視式增強(qiáng)現(xiàn)實(shí)實(shí)時互動技術(shù)的研究及應(yīng)用”，在自動變焦、景深模擬、三維重建等方面展開深入研究。根據(jù)虛實(shí)場景融合方式的不同，AR系統(tǒng)可分為視頻透視式AR系統(tǒng)和光學(xué)透視式 AR系統(tǒng)。與后者相比，前者具有以下優(yōu)點(diǎn)在虛實(shí)場景的遮擋、融合策略上更為靈活；具有較寬的視野；虛實(shí)視圖之間的延遲可以實(shí)現(xiàn)比較精確的匹配；可以根據(jù)真實(shí)場景的圖像提供附加的定位策略。綜上，本專利技術(shù)采用了視頻透視式AR技術(shù)，用于真三維建模系統(tǒng)的開發(fā)。 具體而言，真實(shí)世界的任何一塊三維空間區(qū)域都可以作為設(shè)計(jì)用戶的工作區(qū)，利用高性能圖像圖形工作站把用戶的設(shè)計(jì)結(jié)果以虛擬場景的方式呈現(xiàn)在工作區(qū)內(nèi)，設(shè)計(jì)用戶利用磁力跟蹤器、數(shù)據(jù)手套等關(guān)鍵設(shè)備進(jìn)行建模和設(shè)計(jì)交互，并且利用視頻透視式頭盔顯示器(Head Mounted Display, HMD)查看虛實(shí)場景融合后的設(shè)計(jì)結(jié)果。目前AR技術(shù)的研究主要在應(yīng)用系統(tǒng)中進(jìn)行研究，并結(jié)合其它技術(shù)一起構(gòu)建一種新的研究應(yīng)用。根據(jù)調(diào)研，到目前為止，把視頻透視式AR技術(shù)和三維建模系統(tǒng)軟硬件平臺開發(fā)和構(gòu)架兩者有機(jī)地集成在一起，本專利技術(shù)尚屬首例。
技術(shù)實(shí)現(xiàn)思路
鑒于以上所述現(xiàn)有技術(shù)存在的問題和不足，本專利技術(shù)的目的在于提供一種，讓設(shè)計(jì)人員在一個真實(shí)的三維空間工作區(qū)中進(jìn)行設(shè)計(jì)創(chuàng)作，給設(shè)計(jì)人員一種強(qiáng)烈的沉浸感。為達(dá)到上述目的，本專利技術(shù)采用下述技術(shù)構(gòu)思根據(jù)三維建模系統(tǒng)的需求，引入視頻透視式AR技術(shù)，綜合利用計(jì)算機(jī)視覺、數(shù)字圖像處理以及基于數(shù)據(jù)手套和磁力跟蹤器的傳感器信息融合技術(shù)，完成對設(shè)計(jì)用戶設(shè)計(jì)操作的5動作識別和響應(yīng)，從而完成用戶與虛擬設(shè)計(jì)對象之間的實(shí)時人機(jī)交互。系統(tǒng)運(yùn)行初期，先進(jìn)性初始化工作，完成攝像頭標(biāo)定、磁力跟蹤校正以及數(shù)據(jù)手套的歸一化等工作。系統(tǒng)運(yùn)行時，磁力跟蹤系統(tǒng)實(shí)時獲取設(shè)計(jì)用戶的視點(diǎn)和手部的位置、方向，數(shù)據(jù)手套讀取用戶手部的姿態(tài)信息，圖形運(yùn)算系統(tǒng)對應(yīng)用戶的視點(diǎn)變化和交互操作對所設(shè)計(jì)的虛擬對象進(jìn)行變換和渲染。融合顯示系統(tǒng)以雙目立體視覺的方式將所設(shè)計(jì)對象所處的虛擬場景融合于真實(shí)世界的工作區(qū)之中，并將融合場景傳送到HMD和大屏幕投影，分別供設(shè)計(jì)用戶和學(xué)習(xí)觀摩用戶使用。本專利技術(shù)采用以下技術(shù)方案實(shí)現(xiàn)一個基于視頻透視式增強(qiáng)現(xiàn)實(shí)技術(shù)的真三維建模系統(tǒng)，如圖I所示，其系統(tǒng)結(jié)構(gòu)具體包括以下組成部分1):雙目攝像頭模擬設(shè)計(jì)用戶的雙眼，固定于頭盔顯示器上，用于采集真實(shí)世界場旦牙、;2):PC1真實(shí)場景采集與處理通過使用I)雙目攝像頭和視頻采集卡對真實(shí)場景進(jìn)行采集和處理；3)PC2虛擬場景生成接收13)PC6的輸出數(shù)據(jù)并據(jù)此完成本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于視頻透視式增強(qiáng)現(xiàn)實(shí)的真三維建模系統(tǒng)，特征在于其包括以下組成部分：1)：雙目攝像頭(Logitech,?Pro?C910)：模擬設(shè)計(jì)用戶的雙眼，固定于頭盔顯示器上，用于采集真實(shí)世界場景；2)：PC1（DELL,?PRECISION?690）真實(shí)場景采集與處理：通過使用1)雙目攝像頭和視頻采集卡對真實(shí)場景進(jìn)行采集和處理；3)：PC2（DELL,?PRECISION?690）虛擬場景生成：接收13)PC6的輸出數(shù)據(jù)并據(jù)此完成分別對應(yīng)于左右眼的虛擬場景的繪制、注冊和動畫實(shí)現(xiàn)等任務(wù)；4)：PC3（DELL,?OPTIPLEX?360）通信與系統(tǒng)監(jiān)控：是系統(tǒng)的通信和控制中心，還完成音頻控制、光照控制以及硬件設(shè)備狀態(tài)監(jiān)控等任務(wù)；5)：可編程控制器(Omron,?CPM2A)：用于控制音頻子系統(tǒng)和光照子系統(tǒng)的開關(guān)和強(qiáng)度大小等；6)：音頻控制器(繹創(chuàng)科技有限公司,?USB?DMX512)：提供設(shè)計(jì)交互時產(chǎn)生的聲音信息，增強(qiáng)用戶對設(shè)計(jì)對象的聽覺感知；7)：光照控制器(繹創(chuàng)科技有限公司,?USB?DMX512)：通過光照系統(tǒng)的引入完善虛實(shí)之間的無縫融合，進(jìn)一步增強(qiáng)用戶的視覺感知；8)：100兆交換機(jī)(D?Link,?DES?1050G)；9)：高速以太網(wǎng)；10)：PC4（DELL,?PRECISION?690）虛實(shí)場景融合（左眼場景）：將左路攝像頭拍攝到的真實(shí)場景與虛擬場景進(jìn)行融合渲染；11)：PC5（DELL,?PRECISION?690）虛實(shí)場景融合（右眼場景）：將右路攝像頭拍攝到的真實(shí)場景與虛擬場景進(jìn)行融合渲染；12)：視頻透視式HMD(Liteye,?LE?500)：設(shè)計(jì)用戶通過HMD查看設(shè)計(jì)結(jié)果；13)：PC6（DELL,?OPTIPLEX?360）交互信息采集與處理：對數(shù)據(jù)手套、磁力跟蹤器等設(shè)備采集到的用戶交互信息原始數(shù)據(jù)進(jìn)行分析、計(jì)算和算法處理；14)：分屏器(MT?VIKI,?MT?2504)（左眼場景）：10)PC4輸出的左路虛實(shí)融合場景經(jīng)此分屏器分兩路同步傳輸，一路發(fā)送到HMD左顯示器，供設(shè)計(jì)用戶使用，另一路發(fā)送至投影儀，供觀察用戶使用；15)：分屏器（MT?VIKI,?MT?2504）（右眼場景）：11)PC5輸出的右路虛實(shí)融合場景經(jīng)此分屏器分兩路同步傳輸，一路發(fā)送到HMD右顯示器，供設(shè)計(jì)用戶使用，另一路發(fā)送至投影儀，供觀察用戶使用；16)：數(shù)據(jù)手套(5DT,?Data?Glove?5?Ultra)：捕捉設(shè)計(jì)用戶進(jìn)行建模和設(shè)計(jì)交互時的手形變化原始信息；17)：磁力跟蹤器（Ascension,?Flock?of?Birds）：實(shí)時跟蹤用戶的視點(diǎn)位置變化，用于所設(shè)計(jì)的對象在虛擬場景注冊、定位和渲染，實(shí)時跟蹤與所設(shè)計(jì)對象進(jìn)行交互的手部的運(yùn)動軌跡，并據(jù)此使所設(shè)計(jì)對象做出相應(yīng)的反饋；18)：投影儀（SONY,?VPL?EX176）：兩個投影儀分別將左右眼兩路融合場景投影到大屏幕；19)：偏振光眼鏡(GELETE,?GDD2012)：使用偏振光眼鏡查看雙目立體視覺投影，對用戶的設(shè)計(jì)結(jié)果進(jìn)行評價和反饋；系統(tǒng)使用磁力跟蹤器實(shí)時跟蹤用戶視角和手部的位姿變化，由電磁跟蹤系統(tǒng)和數(shù)據(jù)手套讀取的原始用戶交互信息在PC6進(jìn)行分析、計(jì)算和算法處理；PC2的主要任務(wù)包括接收PC6傳來的用戶視點(diǎn)位置、設(shè)計(jì)操作等數(shù)據(jù)信息，計(jì)算虛擬相機(jī)位置，并據(jù)此完成分別對應(yīng)于左右眼的虛擬場景的繪制、注冊；PC4和PC5接收由PC1傳來的左右眼兩路真實(shí)場景視頻和由PC2傳來的虛擬場景，并將兩者進(jìn)行無縫、自然的融合渲染；最后，所有的主機(jī)通過高速以太網(wǎng)互聯(lián)，在PC3的管理和監(jiān)督下協(xié)作運(yùn)行。...
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳一民，李啟明，馬德宜，黃晨，徐升，張?jiān)迫A，陸壬淼，王曦晨，周明珠，葉聰麗，李蕓，
申請(專利權(quán))人：上海大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。