為了解決傳統拼圖方法很難對大量圖片中所包含的事件有一個快速準確的拼接分類的問題，本發明專利技術提出一種基于改進算法的圖片拼接方法，屬于圖像處理領域。該方法通過分析和提取圖片中的人物、時間、地點、情節等敘事屬性，將圖片按層次結構組織，形成圖片的層次拼接；此外該方法還提出一種新的照片相似性計算和敘事重要性區域檢測方法，能夠更好的實現按照敘事元素的照片分類和緊湊的拼圖表示。
【技術實現步驟摘要】
本專利技術屬于圖像處理領域，，具體涉及一種基于改進的圖片相似性計算以及重要性區域檢測的圖片拼接方法。
技術介紹
從計算機圖形學的角度來看，可以采用拼圖方法將重要的圖片拼接組合在一起形成內容總結，使用戶從拼圖可以了解大量圖片中所包含的主要事件。這方面的工作已經有很多，比如基于矩形畫板的圖片拼圖(Wang J. D.，Sun J.，QuanL. , Tang X. O. , Shum H. Y. Picture collage. Proceeding of CVPR, 2006)和自動拼圖(Rother C., Bordeaux L. , Hamadi Y. , Blake A. AutoCollage. ACM Transactions onGraphics, 25(3) :847-852，2006)。以上圖片拼圖工作生成了較具吸引力的結果，可以對大 量的圖片內容進行一定范圍的總結。但是由于在拼圖制作過程中單純從圖片之間布局的協調性出發，比如包含天空的圖片應該置于拼圖的上方，色調相近的圖片應該彼此相鄰，而沒有從事件發展的進程進行考慮，因此通過該種基于矩形畫板的圖片拼圖算法很難對大量圖片中所包含的事件有一個快速準確的拼接分類。在各種拼圖算法中，判斷圖像場景內容的相似性是對圖片進行分類的重要步驟?，F有的圖片相似性計算方法(Simakov D. , Caspi Y. , Shechtman E. , Irani M. Summarizingvisual data using bidirectional similarity. Proceeding of CVPR, 2008)通常只考慮單一的顏色、紋理等因素，該方法采用如下公式定義兩幅圖片S、T之間的相似性d(S，T)c/{S, I) = -i-V min /)(/), (J) -t V min 1)(0, P) K p[s qJe[r p[s其中，P、Q是像素，D是像素之間顏色差異，Ns和Nt是兩幅圖片各自的像素個數。通過這種方法計算的相似性，僅能夠描述兩幅圖片色彩上的一致性，體現不出兩幅圖片是否在相同或相近的時間、地點拍攝，導致相似性判斷的不準確，進而導致圖片不能準確的分類拼接的問題。為了獲取更緊湊的拼圖表示形式，現有的拼圖方法通常從圖片中提取視覺重要的區域，即進行圖像重要性區域檢測，只將感興趣的重要部分進行拼接。目前的圖像重要性區域檢測方法(Cheng Μ. Μ. , Zhang G. X. , Mitra N. J. , Huang X. L. , Hu S. Μ. Global contrastbased salient region detection. Proceeding of CVPR, 2011.)只是分析單幅圖像內部各像素之間的對比度，在對顏色分布進行直方圖量化后，選取直方圖中出現頻率少、顏色差異大的方格對應的像素為重要性區域。其計算公式為K(/,) = Y(P1) = tj'JKp” P) I=I其中對于給定圖片PiJ(Ik)為對于顏色為Pi的像素Ik，其在自身圖片中的重要性η是像素的個數，I是像素索引，D是顏色空間的距離，fx代表顏色出現的頻率，P1代表像素顏色。這種方法雖然可以判斷單幅圖像中最容易引起關注的前景區域，但通常會過濾掉背景中的重要的場景物體，從而不能準確反映拍攝圖片重要的地點信息，進而導致圖片不能準確的分類拼接的問題。
技術實現思路
為了解決傳統拼圖方法很難對大量圖片中所包含的事件有一個快速準確的拼接分類的問題，本專利技術提出，能夠對圖片記錄的事件發展過程有更清晰的展示。該方法通過分析和提取圖片中的人物、時間、地點、情節等敘事屬性，將圖片按層次結構組織，形成圖片的層次拼接。本專利技術具體的實現過程如下，該方法包括如下步驟步驟一、圖片讀取；按照圖片拍攝的時間順序依次讀取圖片，并記錄每張圖片的拍攝時間；步驟二、人臉區域檢測；依次從圖片中檢測人臉區域，并記錄人臉的數量、位置及大小；步驟三、圖片相似性計算；對于每張圖片P，采用直方圖統計方法計算其顏色直方圖h和采用GIST方法計算形狀符g ;計算步驟一讀取的所有圖片中每兩張圖片Pi和P」的圖片相似性Sij ( , (H1-Hi)2Λ5.. =-exp {g.-gj) + w, ·+ W2 · (/,. - IjyV+hj其中exp是指數函數，ti和tj分別對應圖片Pi和Pj的拍攝時間，W1, W2是加權因子；步驟四、獲取圖片敘事層次；根據圖片之間的相似性Su，采用信息傳遞聚類算法對步驟一中所有的圖片進行聚類運算，得到多個聚類中心，將聚類中心作為情節；將處于聚類中心的情節圖片按拍攝時間進行排列，從而得到第一層次的圖片敘事層次；針對處于第一層次的每兩張相鄰圖片，從步驟一讀取的圖片中，獲取這兩張相鄰圖片之間的圖片，并采用所述信息傳遞聚類算法得到聚類中心，將得到的處于聚類中心的情節圖片按照按拍攝時間排列，得到第二層次的圖片敘事層次；針對第二層次的圖片敘事層次進行圖片獲取、聚類、排序的處理，得到下一層次的圖片敘事層次，以此類推，得到各層次的圖片敘事層次；每執行一次聚類運算同時記錄聚類中心所在聚類的所有圖片；步驟五、針對步驟一讀取的每張圖片進行敘事重要性計算；針對每張圖片獲取其作為聚類中心的聚類，將獲取的聚類中聚類中心以外的圖片作為樣本參考圖片，對于處于聚類中心的圖片，選定任意像素Ik在自身圖片中的重要性定義為Y(IJ = Y(Pi) = JjJlDiP^Pi) I=I其中，η是圖片中的像素個數，I是像素索引，D(x，y)是顏色x和y在顏色空間的距離，fi代表顏色P1在圖片中出現的頻率，Pi為像素Ik的顏色，P1代表圖片中點I像素顏色；定義該像素Ik在樣本參考圖像中出現的頻率重要性為YXIk) = Υ'(ρ,) = Σ/ , J=I其中/'f是顏色Pi在樣本參考圖片j中的頻率，j是樣本圖像索引，nr為樣本參考圖片個數；則像素Ik的敘事重要性定義為S(Ik) = S(Pi) = Y(Pi) · Y’ (Pi)針對處于聚類中心的圖片中的每種像素，獲取所述敘事重要性； 根據步驟二獲得的人臉的數量、位置及大小，從處于聚類中心的圖片中提取人臉位置，將人臉區域中的像素賦予一個補充敘事重要性值，并疊加到所述敘事重要性值上，從而得到每個像素最終的敘事重要性；步驟六、興趣區域裁剪；針對步驟一讀取的每張圖片，根據步驟五獲得的敘事重要性，通過動態閾值裁剪方法計算并裁剪出興趣區域；步驟七、無縫層次拼圖；針對圖片敘事層次中的每個層次，將該層次中所有的圖片進行無縫拼接。有益效果(I)傳統的拼圖方法只考慮圖片布局的協調性，不能夠很好的表現圖片記錄事件的發展過程，而本專利技術方法可以將圖片按事件發展的順序進行無縫拼接；具體從數碼圖片中提取相關的人物、時間、地點、情節等敘事要素，將其進行多層次組織，形成對圖片的層次拼接。(2)為了解決現有技術中圖片相似性計算不準確的問題，本專利技術采用了改進的相似性計算方法，除考慮傳統的圖片顏色特征，還考慮了反映拍攝時間、地點場景相似程度的度量在相同或相近時間、地點拍攝的圖片的相似性會更高。通過綜合顏色、地點、時間等多方面特征，可以將圖片的主要內容反映出來，提高相似性計算的準確性，獲取圖本文檔來自技高網...
【技術保護點】
一種基于改進算法的圖片拼接方法，其特征在于，該方法包括如下步驟：步驟一、圖片讀??；按照圖片拍攝的時間順序依次讀取圖片，并記錄每張圖片的拍攝時間；步驟二、人臉區域檢測；依次從圖片中檢測人臉區域，并記錄人臉的數量、位置及大小；步驟三、圖片相似性計算；對于每張圖片P，采用直方圖統計方法計算其顏色直方圖h和采用GIST方法計算形狀符g；計算步驟一讀取的所有圖片中每兩張圖片Pi和Pj的圖片相似性Sij：sij=-exp((gi-gj)2+w1·(hi-hj)2hi2+hj2+w2·(ti-tj)2)其中exp是指數函數，ti和tj分別對應圖片Pi和Pj的拍攝時間，w1，w2是加權因子；步驟四、獲取圖片敘事層次；根據圖片之間的相似性Sij，采用信息傳遞聚類算法對步驟一中所有的圖片進行聚類運算，得到多個聚類中心，將聚類中心作為情節；將處于聚類中心的情節圖片按拍攝時間進行排列，從而得到第一層次的圖片敘事層次；針對處于第一層次的每兩張相鄰圖片，從步驟一讀取的圖片中，獲取這兩張相鄰圖片之間的圖片，并采用所述信息傳遞聚類算法得到聚類中心，將得到的處于聚類中心的情節圖片按照按拍攝時間排列，得到第二層次的圖片敘事層次；針對第二層次的圖片敘事層次進行圖片獲取、聚類、排序的處理，得到下一層次的圖片敘事層次，以此類推，得到各層次的圖片敘事層次；每執行一次聚類運算同時記錄聚類中心所在聚類的所有圖片；步驟五、針對步驟一讀取的每張圖片進行敘事重要性計算；針對每張圖片獲取其作為聚類中心的聚類，將獲取的聚類中聚類中心以外的圖片作為樣本參考圖片，對于處于聚類中心的圖片，選定任意像素Ik在自身圖片中的重要性定義為：Y(Ik)=Y(pi)=Σl=1nflD(pl,pi)其中，n是圖片中的像素個數，l是像素索引，D(x,y)是顏色x和y在顏色空間的距離，fl代表顏色pl在圖片中出現的頻率，pi為像素Ik的顏色，pl代表圖片中點l像素顏色；定義該像素Ik在樣本參考圖像中出現的頻率重要性為：Y′(Ik)=Y′(pi)=Σj=1nr[fi′jlog(1+fi′j/fi)]/nr其中是顏色pi在樣本參考圖片j中的頻率，j是樣本圖像索引，nr為樣本參考圖片個數；則像素Ik的敘事重要性定義為：S(Ik)＝S(pi)＝Y(pi)·Y“(pi)針對處于聚類中心的圖片中的每種像素，獲取所述敘事重要性；根據步驟二獲得的人臉的數量、位置及大小，從處于聚類中心的圖片中提取人臉位置，將人臉區域中的像素賦予一個補充敘事重要性值，并疊加到所述敘事重要性值上，從而得到每個像素最終的敘事重要性；步驟六、興趣區域裁剪；針對步驟一讀取的每張圖片，根據步驟五獲得的敘事重要性，通過動態閾值裁剪方法計算并裁剪出興趣區域；步驟七、無縫層次拼圖；針對圖片敘事層次中的每個層次，將該層次中所有的圖片進行無縫拼接。FDA00002140159000023.jpg...
【技術特征摘要】
【專利技術屬性】
技術研發人員：張磊，黃華，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。