一種基于時空一致性的無約束多相機畫面匹配方法組成比例

本發明專利技術公開了一種基于時空一致性的無約束多相機畫面匹配方法，包括以下步驟：讀取基準相機和輔從相機的拍攝畫面；分別對當前幀畫面提取特征點；計算每個特征點的特征描述向量；對特征描述向量進行相似性比對，建立對應特征點的匹配關系；查詢匹配關系中的穩定匹配關系，根據穩定匹配關系的數量篩選用于計算變換矩陣的特征點集；根據篩選后的特征點集間的匹配關系計算出變換矩陣，得到兩相機畫面間的匹配關系；讀取下一幀圖像重復上述步驟，直至結束；本發明專利技術在篩選匹配關系時，充分考慮了時空一致性，通過對穩定匹配關系的檢索獲取有效先驗信息，用以篩選當前匹配關系，能夠有效增強無約束相機相鄰幀間進行圖像匹配的穩定性，提高匹配的精度和效率。

An unconstrained multi camera image matching method based on spatiotemporal coherence

The invention discloses a time-space consistency based on unconstrained matching method of multi camera picture, which comprises the following steps: reading the reference camera from the camera and auxiliary footage on the current frame respectively; feature extraction; feature calculation of each feature point descriptor; for feature vector similarity comparison, establish the matching the corresponding feature points; query matching relations in the stable matching relationship, according to the number of feature points matching relation between stable screening is used to calculate the transformation matrix; calculate the transformation matrix according to the matching relation between feature points after screening sets, get the matching relationship between two camera images; read the next frame image repeat until the end; the invention in screening matching relationship, fully consider the time-space consistency through the retrieval of the stable matching relation to obtain effective first The test information is used to select the current matching relation, which can effectively improve the stability of the image matching between the adjacent frames of the unconstrained camera, and improve the accuracy and efficiency of the matching.

【技術實現步驟摘要】
一種基于時空一致性的無約束多相機畫面匹配方法
本專利技術屬于圖像匹配
，更具體地，涉及一種基于時空一致性的無約束相機畫面匹配方法。
技術介紹
在多相機聯合目標探測、跟蹤、場景拼接和重建等諸多應用中，需要對多相機圖像進行配準。現有技術的圖像配準思路是提取同一時間各相機獲取的圖像，提取各圖像的特征點，然后利用特征點匹配的方法，獲得圖像間的最優匹配點集，再利用該點集計算相機間的投影變換關系矩陣，最后實現多相機圖像間的配準。然而，這種處理模式的效果依賴于穩定的最優匹配點集，當面對相機間的相對空間關系無約束等應用情形時，由于各相機空間位置獨立自由變化，相機間的配準關系隨時間發生快速變化，同一時間相機所獲得的圖像間的最優匹配點集會發生較大變化，在干擾特征點的影響下，容易發生錯配，導致圖像間的匹配關系不穩定，使圖像間共同場景的檢測和定位產生劇烈抖動，不利于后續多相機視頻圖像的處理。
技術實現思路
針對現有技術的以上缺陷或改進需求，本專利技術提供了一種基于時空一致性的無約束相機畫面匹配方法，其目的在于將前幀的穩定關系矩陣作為先驗信息用于驗證當前幀的匹配關系以使得連續時段內的匹配關系更為平滑和準確。為實現上述目的，按照本專利技術的一個方面，提供了一種基于時空一致性的無約束相機畫面匹配方法，包括如下步驟：S1：圖像讀取：讀取兩個無約束相機A、B拍攝的第n幀圖像；S2：特征點提取：分別對兩個無約束相機A、B的第n幀圖像提取特征點Ω(A，n)、Ω(B，n)；S3：特征描述：對每個特征點計算特征描述向量αn、βn；S4：特征匹配：對特征描述向量αn、βn進行相似性比對，建立與特征點對應的匹配關系集合M(Ω(A，n+1)，Ω(B，n+1))；該集合中的每個元素表示一對匹配點的索引，其中左索引號對應Ω(A，n+1)的點，右索引號對應Ω(B，n+1)中的點；S5：匹配關系篩選：遍歷查詢匹配關系集合M(Ω(A，n+1),Ω(B，n+1))中的穩定匹配關系，將穩定匹配關系歸入穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))中，當穩定匹配關系的數量達到閾值N，則用穩定匹配關系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；否則，對匹配關系集合M(Ω(A，n+1),Ω(B，n+1))采用RANSAC算法進行篩選以保留匹配關系集合M中的較優匹配關系，將該較優匹配關系歸入集合RansacMatching，記作RM(Ω(A，n+1),Ω(B，n+1))中，并用該集合RM更新集合最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；其中，較優匹配關系是指與最優匹配關系集合BM中的元素具有最大一致性或在匹配關系集合M中為最大一致集；S6：變換矩陣計算：查詢最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在當前幀中對應的實際坐標，通過實際坐標與和集合BM確定的匹配關系計算出變換矩陣Hn+1，建立圖像間的位置匹配關系；S7：令n＝n+1，重復上述步驟S1～S6，直至處理完所有圖像幀。優選地，上述的無約束相機畫面匹配方法，步驟S5中，第n+1幀圖像中的穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))根據如下方法獲取：S5.1：保留第n幀中生成的最優匹配關系集合BM(Ω(A，n),Ω(B，n))；S5.2：通過比較A相機所拍攝的畫面中第n幀與第n+1幀間的特征點的相似程度，獲得A相機所拍攝的畫面第n幀與第n+1幀間的特征點的匹配關系M(Ω(A，n),Ω(A，n+1))；通過比較B相機所拍攝的畫面中第n幀與第n+1幀間的特征點的相似程度，獲得B相機所拍攝的畫面第n幀與第n+1幀間的特征點的匹配關系M(Ω(B，n),Ω(B，n+1))；S5.3：計算第n+1幀的匹配關系M(Ω(A，n+1),Ω(B，n+1))；S5.4：判斷上述最優匹配關系集合BM(Ω(A，n),Ω(B，n))中每個元素的左索引號是否為匹配關系集合M(Ω(A，n),Ω(A，n+1))中某個元素的左索引號，若否，則放棄該元素；若是，則進入步驟S5.5；S5.5：查詢該元素對應的右索引號是否與M(Ω(B，n),Ω(B，n+1))中某個元素的右索引號一致，若否，則放棄該元素，若是，則表明這對匹配點在第n+1幀仍然存在，進入步驟S5.6；S5.6：驗證這對匹配點在匹配關系集合M(Ω(A，n+1),Ω(B，n+1))中是否仍然為匹配關系，如果是，則判定這對匹配關系為穩定匹配關系，將其歸入穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))中，若否，則放棄這對匹配關系。優選地，上述的無約束相機畫面匹配方法，得到穩定匹配關系后采用如下方法選取最終用于計算變換矩陣的最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))：a：統計穩定匹配關系集合中的元素個數I；b：判斷是否滿足I≥N，若是，則將穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))直接賦值給最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則進入步驟c；c：判斷是否滿足0<I<N，若是，則將穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))中的元素作為RANSAC算法中的基準點，遍歷匹配關系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，篩選出與基準點偏差最小的匹配點集，將其與穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))的并集賦值給最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則進入步驟d：d：判斷是否滿足I＝0，若是，則直接采用RANSAC算法篩選匹配關系集合M(Ω(A，n+1),Ω(B，n+1))中所有元素，找出最大一致集作為最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；若否，則反饋最優匹配關系集獲取失敗。優選地，上述的無約束相機畫面匹配方法，步驟S2中采取oFAST方法進行特征點提取，采取rBRIEF方法計算特征描述向量；其中，oFAST方法是指一種實時的旋轉不變的局部角點提取方法，具體而言是篩選出在其周圍鄰域內有足夠多的像素點與該點處于不同的灰度區域的像素點作為特征點，且計算出特征點的角點方向。rBRIEF方法是一種具備了旋轉不變性的特征描述方法，具體而言是指在特征點周圍鄰域內選取若干個像素點對，通過對這些點對的灰度值比較，將比較的結果結合對應特征點的方向信息組合成一個二進制串字符串用來描述特征點。優選地，上述的無約束相機畫面匹配方法，對特征點的特征描述向量αn、βn使用漢明距離進行相似性比對，建立對應特征點的匹配關系M(Ω(A，n+1),Ω(B，n+1))。總體而言，通過本專利技術所構思的以上技術方案與現有技術相比，能夠取得下列有益效果：(1)無約束相機在運動過程中，相鄰幀間有較高概率存在公共區域，本專利技術提供的基于時空一致性的無約束相機畫面匹配方法，在進行特征匹配時，充分考慮相鄰幀之間存在的穩定特征點，使后幀匹配能夠得到足夠的先驗信息，將能夠有效地優化后幀的匹配關系，使匹配關系在連續時間內變化更為平滑和準確；(2)本專利技術提供的基于時空一致性的無約束相機畫面匹配方法，充分考慮了時空一致性，將前幀的穩定關系矩陣作為先驗信息，用于本文檔來自技高網...

【技術保護點】
一種基于時空一致性的無約束相機畫面匹配方法，其特征在于，包括如下步驟：S1：讀取兩個無約束相機A、B拍攝的第n幀圖像；S2：分別對兩個無約束相機A、B的第n幀圖像提取特征點Ω(A，n)、Ω(B，n)；S3：對每個特征點計算特征描述向量α

【技術特征摘要】
1.一種基于時空一致性的無約束相機畫面匹配方法，其特征在于，包括如下步驟：S1：讀取兩個無約束相機A、B拍攝的第n幀圖像；S2：分別對兩個無約束相機A、B的第n幀圖像提取特征點Ω(A，n)、Ω(B，n)；S3：對每個特征點計算特征描述向量αn、βn；S4：對特征描述向量αn、βn進行相似性比對，建立與特征點對應的匹配關系集合M(Ω(A，n+1)，Ω(B，n+1))；S5：遍歷匹配關系集合M(Ω(A，n+1),Ω(B，n+1))，查詢其中的穩定匹配關系，將穩定匹配關系歸入穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))中；當穩定匹配關系的數量達到閾值，用穩定匹配關系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；否則，對匹配關系集合M(Ω(A，n+1),Ω(B，n+1))進行篩選以保留匹配關系集合M中的較優匹配關系，將所述較優匹配關系歸入集合RM(Ω(A，n+1),Ω(B，n+1))中，并用所述集合RM更新集合最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))；其中，較優匹配關系是指與最優匹配關系集合BM中的元素具有最大一致性的匹配關系，或在匹配關系集合M中為最大一致集的匹配關系；S6：查詢最優匹配關系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在當前幀中對應的實際坐標，通過實際坐標與最優匹配關系集合BM確定的匹配關系計算出變換矩陣Hn+1，建立兩個相機A、B各自拍攝的第n+1幀圖像間的位置匹配關系；S7：令n＝n+1，重復上述步驟S1～S6，直至處理完所有圖像幀。2.如權利要求1所述的無約束相機畫面匹配方法，其特征在于，所述步驟S5中，第n+1幀圖像中的穩定匹配關系集合SM(Ω(A，n+1),Ω(B，n+1))根據如下方法獲取：S5.1：保留第n幀中生成的最優匹配關系集合BM(Ω(A，n),Ω(B，n))；S5.2：通過比較A相機所拍攝的畫面中第n幀與第n+1幀間的特征點的相似程度，獲得A相機所拍攝的畫面中第n幀與第n+1幀間的特征點的匹配關系M(Ω(A，n),Ω(A，n+1))；通過比較B相機所拍攝的畫面中第n幀與第n+1幀間的特征點的相似程度，獲得B相機所拍攝的畫面第n幀與第n+1幀間的特征點的匹配關系M(Ω(B，n),Ω(B，n+...

【專利技術屬性】
技術研發人員：許毅平，田巖，程偉，
申請(專利權)人：華中科技大學，
類型：發明
國別省市：湖北,42