一種即插即用的大屏幕投影自動校正與拼接顯示方法技術

一種即插即用的大屏幕投影自動校正與拼接顯示方法，包括自適應生成一定分辨率的棋盤格paten圖依次由投影儀投影，并用相機捕獲，用基于顏色和幾何的多特征檢測方法實現復雜投影面或光照條件下的棋盤格特征檢測和識別，建立Bezier曲面函數以表示投影儀圖像和相機圖像間的點的對應關系；以快速逼近法獲得屏幕投影的有效顯示區域，確定各投影機的投影內容與各顯示區域的對應關系，再對要投影的畫面進行幾何扭曲變形來實現幾何校正，以基于距離的非線性權值分配法計算投影重疊區中各像素的權值來實現邊緣亮度融合。本發明專利技術實現了對不規則表面的多投影畫面的對齊和無縫拼接，整個方法簡單易用，具有較高自治性和較快的無縫拼接性能。

【技術實現步驟摘要】

本專利技術涉及一種即插即用的大屏幕投影自動校正與拼接顯示技術，屬于多媒體技術中的大屏幕投影顯示領域。
技術介紹
基于投影儀的大屏幕無縫顯示系統能為用戶提供寬視場角、高分辨率、高亮度的逼真體驗而受到日益廣泛的關注和應用，如工業設計制造、產品展示、市政規劃及監控/通訊的指揮控制、國防軍事模擬訓練、科學和工程計算可視化、虛擬現實、系統仿真與訓練以及數字娛樂等領域發揮著越來越大的作用。但是，要構建實用的大屏幕投影無縫拼接顯示，必須解決投影畫面間的形變失真、幾何配準、畫面亮度差異或接縫等問題，才能實現大屏幕投影顯示。基于硬件校正卡或校正箱的方式構建大屏幕顯示系統成本昂貴；手動交互式的校正方法則工序十分繁瑣和復雜，往往需要專業人員操作實現；采用基于軟件的自動校正方法靈活且成本低。軟件自動校正方法通常借助合適的設備捕獲投影儀投射在投影幕上的圖像，求取對應投影儀與投影幕間的變換關系。可以采用Homography矩陣來表示這種對應關系,但是該Homography陣只適應于平面投影幕的情況；結構光(structure light)/pattern圖技術可以編碼表示非平面幕時上述對應關系來實現幾何注冊，但是該方法需要投影多幅圖像，并且該方法受光照條件影響大，是復雜的和耗時的。另外，利用立體相機對來重構二次投影幕表面建立二次函數來表示這種映射關系，可以有效降低被投影圖像的像素拉伸，但結合非線性優化來估計二次函數的各項參數也很耗時。專利申請200810040698. 4給出了復雜投影幕表面的幾何注冊方法，該方法需要投影一張棋盤格pattern圖，利用特征檢測和識別，建立復雜表面的投影圖像和相機圖像的映射關系。但是該方法也是采用Homography矩陣來表示每個棋盤格小四邊形面片的對應關系。很明顯，當棋盤格數目較大(MXN的棋盤)，導致每個投影機的Homograpy矩陣求解計算量((M_2) X (N-2) X 2)增加，而棋盤格數目少則會使得構建的映射關系精度不夠高而導致最終校正畫面的形變和失真；而且為了適應不同復雜度的光照或表面，棋盤格數目需要調整變化以保證足夠的檢測精度和映射的精度，就要再次進行大量繁瑣矩陣計算；同時對于沒有專業知識背景的普通用戶來說，選擇多大分辨率的棋盤格適合某種復雜度的投影面或光照條件，也是困難的。常見的亮度校正包括單個投影機內部、多投影機之間以及投影重疊區三部分的亮度一致性校正。目前的亮度一致性方法或者借助昂貴的分光輻射度計、測光儀等專業設備以及進行大量樣本顏色值采樣獲取投影儀亮度響應曲線，校正工作的復雜度和時間增加；或者用HDR方法(數碼相機獲得投影機的亮度響應曲線)誤差較大；同時這種方法采用公共的亮度映射區間，校正后犧牲了整個顯示的畫面質量(如亮度降低)；基于亮度反饋的方法則用相機獲取圖像和參考圖像比較來修改各點的亮度衰減系數，同樣因相機誤差、環境光、屏幕平滑度和干凈程度的影響而存在明顯的誤差。投影重疊區的校正又稱為邊緣融合，通常采用函數(線性、余弦或冪函數等形式)方式來衰減相鄰重疊區的亮度，但不能保證所有圖像的重疊區過渡均勻。專利200910076206.1中給出了一種基于模板的自適應大屏幕亮度校正方法，對各種亮度的圖像可以得到亮度校正，但是該方法需要預先生成18個模板，而且每個投影機要分別輸出8個亮度不同的純色圖像，挑出8個最優的模板，根據不同的預投影圖像的亮度峰值或均值而選擇亮度最接近的模板進行亮度校正。整個過程的處理步驟較多，而且需要靠人工觀察評判來選擇出針對不同亮度的最優模板，也不能滿足直接使用。此外，現實中人們希望可以在大屏幕展示前，就地選擇某個背景比如房間的墻面、墻角或天花板等作為屏幕，只要安裝好投影機、電腦和數碼相機等設備，在很短的時間內可以自動實現大屏幕顯示的構建，實現這種常見的任意投影幕形式下的正確不形變的無縫拼接顯示。因此，上述現有技術大多是適應于規則幕或平面幕，或需要專業的知識和人工較多的參與校正調試，無法滿足在很短的時間內自動實現大屏幕顯示的構建，無法滿足人們對于即插即用效果的需求。
技術實現思路
本專利技術的目的是提供，以克服現有技術的上述不足。—種即插即用的大屏幕投影自動校正與拼接顯示方法，包括將投影儀與相機擺放在任意不規則投影幕正前方；使投影儀呈M列N行(M>=1，N>=1)的順序排列，相鄰兩臺投影儀的投影區域有重疊；并使相機能夠拍攝到投影畫面覆蓋的全部區域；將投影儀與相機分別與計算機連接，將計算機聯網，將與相機連接的計算機作為服務器，其特征在于還包含以下步驟步驟(I):對當前不規則投影幕表面，由服務器生成r行c列個網格為正方形的黑白棋盤格圖像，且該圖像分辨率是與顯示器、相機和投影儀的分辨率相同，其中r c等于顯示器、相機和投影儀的分辨率之比，對應的內角點個數是(r-l)X(c-l)；步驟(1.1):先由服務器生成初始！■行Xe列個純黑和純白正方形網格圖像各一幅，且該圖像分辨率是與顯示器、相機和投影儀的分辨率相同，然后用投影儀依次投到投影眷上;步驟(1.2):用相機依次拍攝上述投影到投影幕上的純黑和純白網格圖像，純黑和純白網格圖像兩者相減以去除背景，獲得投影網格圖像覆蓋的多邊形區域，記為PrjPolygonij,其中 i=0…M_l, j=0…N-1 ;求得網格的寬度為 W0=min (HeightijA, Widthij/c)，其中Heightij和Widthij分別表示PrjPolygonij的高和寬；同時求出M列XN行臺投影儀的全部的投影覆蓋區域MPrjPolygon作為最終投影顯示區域；步驟(2):投影儀依次投射步驟(I)中生成的棋盤格圖像到投影幕上，該圖像稱為原始投影儀圖像PrjIOij,其中i=0…M-l，j=0…N-1 ;用相機依次對投影幕進行拍攝，對相 機捕獲的圖像進行特征點檢測和棋盤格識別，以獲得所有棋盤格角點及其連通模式；該捕獲的圖像稱為相機圖像CamIOij,其中i=0…M-l，j=0…N-1 ；步驟(3)建立原始投影儀圖像PrjIOij,和相機圖像CamIOij,間角點的匹配和 對應，利用Bezier曲面函數來擬合該匹配點對映射關系，其中i=0…M_l，j=0…N_l，獲得PrjIOij到CamIOij間的所有點對映射關系Rij'同時得到從CamIOij到PrjIOij的逆變換Rij ；步驟(4):確定屏幕投影的有效目標矩形區域，并劃分給每臺投影儀設置相鄰投影區有K個網格寬的重疊，采用近似逼近法獲得在MPrjPolygon內部與該多邊形重心重合的、高寬比為((rXN-2KX (N-1)) (cXM-2KX (M-1))的面積最大的矩形TargetRect ;將TargetRect劃分為M列XN行個與投影儀--對應的子目標矩形區域TargetRectij,其中i=0…M_l, j=0…N_l, K>=1,并確保劃分后的各個TargetRectij仍然在各自的PrjPolygonij之內；步驟(5):要保證多臺投影機投射的畫面在屏幕上恰好對齊，構成一幅無縫的畫面，整個系統要投影顯示的2D圖像稱為投影內容Prjl，將PrjI規格化為坐標在區間的2D投影圖像空間并將其劃分為M列XN行個子投影內容PrjIij給對應的每臺投影儀，為本文檔來自技高網...

【技術保護點】
一種即插即用的大屏幕投影自動校正與拼接顯示方法，包括將投影儀與相機擺放在任意不規則投影幕正前方；使投影儀呈M列N行(M>=1，N>=1)的順序排列，相鄰兩臺投影儀的投影區域有重疊；并使相機能夠拍攝到投影畫面覆蓋的全部區域；將投影儀與相機分別與計算機連接，將計算機聯網，將與相機連接的計算機作為服務器，其特征在于還包含以下步驟：?步驟(1)：對當前不規則投影幕表面，由服務器生成r行c列個網格為正方形的黑白棋盤格圖像，該圖像的分辨率與計算機顯示器、相機和投影儀的分辨率一致，對應的內角點個數是(r?1)×(c?1)；?步驟(1.1)：先由服務器生成初始r行×c列個純黑和純白正方形網格圖像各一幅，且該圖像分辨率是與顯示器、相機和投影儀的分辨率相同，其中r：c等于顯示器、相機和投影儀的分辨率之比，然后用投影儀依次投到投影幕上；?步驟(1.2)：用相機依次拍攝上述投影到投影幕上的純黑和純白網格圖像，純黑和純白網格圖像兩者相減以去除背景，獲得投影網格圖像覆蓋的多邊形區域，記為PrjPolygonij,其中i=0…M?1，j=0…N?1；求得網格的寬度為W0=min(Heightij/r,Widthij/c)，其中Heightij和Widthij分別表示PrjPolygonij的高和寬；同時求出M列×N行臺投影儀的全部的投影覆蓋區域MPrjPolygon作為最終投影顯示區域；?步驟(2)：投影儀依次投射步驟(1)中生成的棋盤格圖像到投影幕上，該圖像稱為原始投影儀圖像PrjI0ij,其中i=0…M?1，j=0…N?1；用相機依次對投影幕進行拍攝，對相機捕獲的圖像進行特征點檢測和棋盤格識別，以獲得所有棋盤格角點及其連通模式；該捕獲的圖像稱為相機圖像CamI0ij,其中i=0…M?1，j=0…N?1；?步驟(3)：建立原始投影儀圖像PrjI0ij,和相機圖像CamI0ij,間角點的匹配和對應，利用Bezier曲面函數來擬合該匹配點對映射關系，其中i=0…M?1，j=0…N?1，獲得PrjI0ij到CamI0ij間的所有點對映射關系Rij?1，同時得到從CamI0ij到PrjI0ij的逆變換Rij；?步驟(4)：確定屏幕投影的有效目標矩形區域，并劃分給每臺投影儀?采用近似逼近法獲得在MPrjPolygon內部與該多邊形重心重合的、高寬比為((r×N?2k×(N?1))：(c×M?2k×(M?1))的面積最大的矩形TargetRect；設置相鄰投影區有k個網格寬的重疊，將TargetRect劃分為M列×N行個與投影儀一一對應的子目標矩形區域TargetRectij，其中i=0…M?1，j=0…N?1，K>=1，并確保劃分后的各個TargetRectij仍然在各?自的PrjPolygonij之內；?步驟(5)：整個系統要投影顯示的2D圖像稱為投影內容PrjI，將PijI規格化為坐標在[0,1]區間的2D投影圖像空間并將其劃分為M列×N行個子投影內容PrjIij給對應的每臺投影儀，為了實現無縫拼接，設置相鄰PrjIij間有2k個網格大小重疊，其中i=0…M?1，j=0…N?1，k>=1；?步驟(6)：建立每個投影儀的投影內容和對應的投影區域之間的空間變換映射表；?首先利用相似變換Sij，將M×N個子圖像PrjI0ij中的各點分別變換到各自的目標矩形投影區域TargetRectij中，其中i=0…M?1，j=0…N?1；再對上述Sij變換后的結果施加變換Rij便獲得校正變換后的投影圖像PrjI1ij中的新坐標位置，記錄空間變換(Wij=Rij*Sij)前后點的對應位置關系，建立M×N個變換映射查找表，由服務器將每臺投影儀的查找表發送到相應的各PC機，為實時在線幾何校正做好準備；?步驟(7)：多投影亮度校正?采用基于距離的非線性權值分配方法計算投影重疊區中各像素的權值，非重疊區像素權重為1，獲得投影儀投影圖像中的每一個像素點的一個亮度權值，建立各個投影儀像素點的權重映射表；?步驟(8)：實時多投影儀校正?通過服務器向所有PC機發送同步信息來實現投影內容的分割和圖像渲染同步控制；實時多投影儀校正，具體實現方式是，每臺投影儀連接的PC，遍歷其要投影圖像區域中的像素點，查步驟(6)得到的空間變換映射表，獲得幾何校正后的新點坐標，將PC緩存中的繪制背景設成黑色，利用OpenGL紋理映射，把電腦上要投影的投影圖像先作為紋理映射到校正變換后的點坐標上去，對該像素點的RGB值分別乘以其步驟(7)得到的對應的權值，得到新的RGB值，得到幾何和亮度校正變換后的投影圖像，然后經各臺投影儀投影到屏幕各自目標矩形區域內，即可獲得正確的無縫拼接的沒有形變的規則圖像，獲得最終的校正結果。...

【技術特征摘要】
1.一種即插即用的大屏幕投影自動校正與拼接顯示方法，包括將投影儀與相機擺放在任意不規則投影幕正前方；使投影儀呈M列N行(M>=1，N>=1)的順序排列，相鄰兩臺投影儀的投影區域有重疊；并使相機能夠拍攝到投影畫面覆蓋的全部區域；將投影儀與相機分別與計算機連接，將計算機聯網，將與相機連接的計算機作為服務器，其特征在于還包含以下步驟 步驟⑴對當前不規則投影幕表面，由服務器生成r行c列個網格為正方形的黑白棋盤格圖像，該圖像的分辨率與計算機顯示器、相機和投影儀的分辨率一致，對應的內角點個數是(r-1) X (c-1)； 步驟(1. D :先由服務器生成初始r行Xe列個純黑和純白正方形網格圖像各一幅，且該圖像分辨率是與顯示器、相機和投影儀的分辨率相同，其中r c等于顯示器、相機和投影儀的分辨率之比，然后用投影儀依次投到投影幕上； 步驟(1.2):用相機依次拍攝上述投影到投影幕上的純黑和純白網格圖像，純黑和純白網格圖像兩者相減以去除背景，獲得投影網格圖像覆蓋的多邊形區域，記為PrjPolygonij,其中 i=0…M_l, j=0…N-1 ;求得網格的寬度為 W0=min (HeightijA, Widthij/c)，其中Heightij和Widthij分別表示PrjPolygonij的高和寬；同時求出M列XN行臺投影儀的全部的投影覆蓋區域MPrjPolygon作為最終投影顯示區域； 步驟(2):投影儀依次投射步驟(I)中生成的棋盤格圖像到投影幕上，該圖像稱為原始投影儀圖像PrjIOij,其中i=0…M-l，j=0…N-1 ;用相機依次對投影幕進行拍攝，對相機捕獲的圖像進行特征點檢測和棋盤格識別，以獲得所有棋盤格角點及其連通模式；該捕獲的圖像稱為相機圖像CamIOij,其中i=0…M-l，j=0…N-1 ； 步驟(3):建立原始投影儀圖像PrjIOij,和相機圖像CamIOij,間角點的匹配和對應，利用Bezier曲面函數來擬合該匹配點對映射關系，其中i=0…M_l，j=0…N_l，獲得Pr jIOu到CamIOij間的所有點對映射關系RJ1，同時得到從CamIOij到PrjIOij的逆變換Rij ； 步驟(4):確定屏幕投影的有效目標矩形區域，并劃分給每臺投影儀采用近似逼近法獲得在MPrjPolygon內部與該多邊形重心重合的、高寬比為((rXN-2kX (N-1)) (cXM-2kX (M-1))的面積最大的矩形TargetRect ;設置相鄰投影區有k個網格寬的重疊，將TargetRect劃分為M列XN行個與投影儀一一對應的子目標矩形區域TargetRectij,其中i=0…M_l, j=0…N_l, K>=1,并確保劃分后的各個TargetRectij仍然在各自的PrjPolygonij之內； 步驟(5):整個系統要投影顯示的2D圖像稱為投影內容Prjl，將PijI規格化為坐標在區間的2D投影圖像空間并將其劃分為M列XN行個子投影內容PrjIij給對應的每臺投影儀，為了實現無縫拼接，設置相鄰PrjIij間有2k個網格大小重疊，其中i=0…M-1，j=0…N-1, k>=l ； 步驟￠):建立每個投影儀的投影內容和對應的投影區域之間的空間變換映射表；首先利用相似變換Sij，將MXN個子圖像PrjIOij中的各點分別變換到各自的目標矩形投影區域TargetRectij中，其中i=0…M_l，j=0…N-1 ;再對上述Sij變換后的結果施加變換Rij便獲得校正變換后的投影圖像PrjIlij中的新坐標位置，記錄空間變換(Wij=Rij^Sij)前后點的對應位置關系，建立MXN個變換映射查找表，由服務器將每臺投影儀的查找表發送到相應的各PC機，為實時在線幾何校正做好準備；步驟(7):多投影亮度校正 采用基于距離的非線性權值分配方法計算投影重疊區中各像素的權值，非重疊區像素權重為1，獲得投影儀投影圖像中的每一個像素點的一個亮度權值，建立各個投影儀像素點的權重映射表； 步驟(8):實時多投影儀校正 通過服務器向所有PC機發送同步信息來實現投影內容的分割和圖像渲染同步控制；實時多投影儀校正，具體實現方式是，每臺投影儀連接的PC，遍歷其要投影圖像區域中的像素點，查步驟(6)得到的空間變換映射表，獲得幾何校正后的新點坐標，將PC緩存中的繪制背景設成黑色，利用OpenGL紋理映射，把電腦上要投影的投影圖像先作為紋理映射到校正變換后的點坐標上去，對該像素點的RGB值分別乘以其步驟(7)得到的對應的權值，得到新的RGB值，得到幾何和亮度校正變換后的投影圖像，然后經各臺投影儀投影到屏幕各自目標矩形區域內，即可獲得正確的無縫拼接的沒有形變的規則圖像，獲得最終的校正結果。2.如權利要求1所述的即插即用的大屏幕投影自動校正與拼接顯示方法，其特征在于上述步驟(I)中還包括步驟(1. 2)之后的 步驟(1.3):如果W0>24，即網格太稀，則分別在水平和豎直方向進行r’行和c’列的網格數擴展各I次；如果W0〈=12，網格太密，則進行水平和豎直方向r’行和c’列的網格縮減各一次，生成更高或更低行列數的網格；其中，r’ /c’ =r/c and r’和c’為互質數； 步驟(1.4):重新投影步驟(1.3)的新行列數的純黑和純白網格圖像，重復步驟(1.2)至(1. 3)，直至獲得合適行列數密度的r行Xe列的網格圖像，并由此生成與該網格圖像等行列數的網格為正方形的黑白棋盤格圖像。3.如權利要求1所述的即插即用的大屏幕投影自動校正與拼接顯示方法，其特征在于上述步驟(2)具體包括以下步驟 步驟(2.1):依次遍歷圖像CamIOij中PrjPolygonij內的每一像素點，其中i=0…M-1,j=0…N-1，算出...

【專利技術屬性】
技術研發人員：解翠，王琦，董軍宇，秦勃，孫玉娟，
申請(專利權)人：中國海洋大學，
類型：發明
國別省市：