基于詞匯樹層次語義模型的圖像檢索方法技術

本發明專利技術公開了一種圖像檢索方法，基于詞匯樹層次語義模型實現。首先提取圖像包含顏色信息的SIFT特征來構造圖像庫的特征詞匯樹，生成描述圖像視覺信息的視覺詞匯。并在此基礎上利用Bayesian決策理論實現視覺詞匯到語義主題信息的映射，進而構造了一個層次語義模型，并在此模型基礎上完成了基于內容的語義圖像檢索算法。通過檢索過程中用戶的相關反饋，不僅可以加入正反饋圖像擴展圖像查詢庫，同時能夠修正高層語義映射。實驗結果表明，本發明專利技術的檢索方法性能穩定，并且隨著反饋次數的增加，檢索效果明顯提升。

【技術實現步驟摘要】

本專利技術涉及一種圖像檢索的方法，具體涉及一種基于內容的圖像檢索方法，尤其是一種考慮圖像所包含的圖像高層語義信息，并加入用戶對圖像內容理解和檢索結果反饋的方法。
技術介紹
隨著因特網和多媒體技術的迅速發展，從20世紀90年代初至今，基于內容的圖像檢索(CBIR)得到了廣泛的研究。現有圖像檢索技術中，由于其使用圖像紋理、顏色和形狀等低層特征作為索引來對圖像進行檢索，而圖像低層特征表達出的信息與用戶對這些特征圖像理解的含義存在不一致性，即語義鴻溝，所以檢索效果往往不能滿足用戶的需求。如果檢索過程中能夠考慮圖像所包含的圖像高層語義信息，加入用戶對圖像內容的理解，則會是一種更貼近用戶理解的圖像檢索。然而，目前語義檢索中語義映射關系大多是通過人工標注建立，對于待檢索圖像中的語義信息難以獲得較好的映射，并且，建立的映射關系不能隨著用戶檢索的反饋信息自動進行修正，從而影響檢索效果的提升。
技術實現思路
本專利技術的專利技術目的是提供一種，利用詞匯樹將圖像特征與人工標注的語義特征進行關聯，以實現檢索過程中的自動語義映射；并實現高層語義映射的自動修正，以獲得更好的檢索效果，更貼近檢索用戶的需求。為達到上述專利技術目的，本專利技術采用的技術方案是一種圖像檢索方法，提供用于檢索的圖像庫和待檢索的圖片，包括下列步驟(I)提取圖像庫中所有圖片的SIFT特征，得到特征集合；(2)構建詞匯樹，方法是設定聚類個數K，樹的深度P，對步驟⑴獲得的特征集合進行分層聚類，第一層獲得K個聚類，作為詞匯樹的K個子節點，計算出每個子節點的中心向量；對每個子節點分別進行聚類，每一子節點生成K個下一層的子節點，并計算出每個子節點的中心向量；不斷重復直到樹的深度達到預設值P，獲得SIFT詞匯樹；其中，K取5 10的整數，P取3 6的整數；(3)將圖像庫中的圖片與詞匯樹進行關聯詞匯樹的葉節點個數為M=KXP,每個葉節點具有中心向量Cm，其中，m為I M的整數，將每個葉節點稱為一個視覺詞匯單詞Wm，圖像庫中的總圖片數為N，其中每個圖片稱為一個文檔Fi, i是I N的整數，則文檔Fi和視覺詞匯單詞Wm的相關度為Weight (i，m) =NUMimXidfm,式中，NUMim表示視覺詞匯單詞Wm在圖片文檔Fi中出現的次數，=lg}，Nm表示視覺詞匯單詞Wm —共包含的圖片文檔數m目；計算每個圖片與詞匯樹的每個葉節度的相關度，完成圖片與詞匯樹的關聯；(4)設定圖像庫的語義主題信息集，先采用人工標注的方法將圖像庫中的圖片分類至語義主題信息集中的各語義主題信息；再利用Bayesian統計決策理論實現視覺詞匯層到語義信息層的映射，映射方法為，每個視覺詞匯單詞和語義主題信息間的映射概率為本文檔來自技高網...

【技術保護點】
一種基于詞匯樹層次語義模型的圖像檢索方法，提供用于檢索的圖像庫和待檢索的圖片，其特征在于，包括下列步驟：(1)提取圖像庫中所有圖片的SIFT特征，得到特征集合；(2)構建詞匯樹，方法是：設定聚類個數K，樹的深度P，對步驟(1)獲得的特征集合進行分層聚類，第一層獲得K個聚類，作為詞匯樹的K個子節點，計算出每個子節點的中心向量；對每個子節點分別進行聚類，每一子節點生成K個下一層的子節點，并計算出每個子節點的中心向量；不斷重復直到樹的深度達到預設值P，獲得SIFT詞匯樹；其中，K取5～10的整數，P取3～6的整數；(3)將圖像庫中的圖片與詞匯樹進行關聯：詞匯樹的葉節點個數為M=K×P，每個葉節點具有中心向量Cm，其中，m為1～M的整數，將每個葉節點稱為一個視覺詞匯單詞Wm，圖像庫中的總圖片數為N，其中每個圖片稱為一個文檔Fi，i是1～N的整數，則文檔Fi和視覺詞匯單詞Wm的相關度為Weight(i,m)=NUMim×idfm，式中，NUMim表示視覺詞匯單詞Wm在圖片文檔Fi中出現的次數，Nm表示視覺詞匯單詞Wm一共包含的圖片文檔數目；計算每個圖片與詞匯樹的每個葉節度的相關度，完成圖片與詞匯樹的關聯；(4)設定圖像庫的語義主題信息集，先采用人工標注的方法將圖像庫中的圖片分類至語義主題信息集中的各語義主題信息；再利用Bayesian統計決策理論實現視覺詞匯層到語義信息層的映射，映射方法為，每個視覺詞匯單詞和語義主題信息間的映射概率為：式中，qn表示當前語義主題信息，ym表示當前視覺詞匯單詞的中心向量，yi表示第i個視覺詞匯單詞的中心向量，f(yi)是第i個視覺詞匯單詞對應語義主題信息節點qn的圖片數目與總的圖像庫中圖片數目N的比值，G(ym,yi,δ)是Gaussian核函數，δ是平滑參數；(5)提取待查詢圖片的SIFT特征，得到具有n個特征點的特征向量T={t1,t2......tn}；(6)將待查詢圖片的SIFT特征量化到SIFT詞匯樹的m個視覺詞匯單詞上，形成一個m維的特征向量V={v1,v2......vm}，方法為：將待查詢圖片提取到的SIFT特征點向量對詞匯樹逐層的節點進行歐氏距離計算，找到每層上最相近的節點作為匹配節點；對提取到的n個特征點進行匹配操作，對于每一個視覺詞匯單詞節點，累計待查詢圖片中特征點與該節點的匹配次數NUMm，利用生成詞匯樹時產生的視覺詞匯單詞節點的值idfm，計算出待查詢圖片與視覺詞匯單詞節點的相關程度wm，最終形成一個m維的特征向量V={v1,v2......vm},其中wi=vi；(7)利用在視覺詞匯層上量化后的特征向量V={v1,v2......vm}，與圖像庫中所有圖片在視覺詞匯層上量化結果進行歐氏距離計算，和每張圖片V“={v1“,v2“......vn“}得到一個匹配值Wt1：Wt1=(v1-v1′)×(v1-v1′)+(v2-v2′)×(v2-v2′)+......+(vn-vn′)×(vn-vn′);(8)根據步驟(6)中計算得到的NUMm，利用所建立的主題信息語義映射的Bayesian模型，計算得到主題語義信息集合對應的概率值集合q={q1,q2......qn}，式中，n是主題語義信息的個數，qn為待查詢圖片屬于該主題語義信息的概率；(9)對于步驟(8)中生成的集合q={q1,q2......qn}，和圖像庫中每張圖片的語義特征q“={q1“,q2“......qn“}進行歐氏距離的計算，得到匹配值記為Wt2：Wt2=(q1-q1′)×(q1-q1′)+(q2-q2′)×(q2-q2′)+......+(qn-qn′)×(qn-qn′);(10)待查詢圖片與圖像庫中的每張圖片的相似度定義為Weight=g×Wt1+Wt2，式中，g的取值范圍是8～12，Weight的值越小，待查詢圖片與該圖片越近似，檢索結果排位越前，由此實現圖像的檢索。FDA00002325755800011.jpg,FDA00002325755800012.jpg...

【技術特征摘要】
1.一種基于詞匯樹層次語義模型的圖像檢索方法，提供用于檢索的圖像庫和待檢索的圖片，其特征在于，包括下列步驟 (1)提取圖像庫中所有圖片的SIFT特征，得到特征集合； (2)構建詞匯樹，方法是設定聚類個數K，樹的深度P，對步驟(I)獲得的特征集合進行分層聚類，第一層獲得K個聚類，作為詞匯樹的K個子節點，計算出每個子節點的中心向量；對每個子節點分別進行聚類，每一子節點生成K個下一層的子節點，并計算出每個子節點的中心向量；不斷重復直到樹的深度達到預設值P，獲得SIFT詞匯樹；其中，K取5 10的整數，P取3 6的整數； (3)將圖像庫中的圖片與詞匯樹進行關聯詞匯樹的葉節點個數為M=KXP,每個葉節點具有中心向量Cm，其中，m為I M的整數，將每個葉節點稱為一個視覺詞匯單詞Wm，圖像庫中的總圖片數為N，其中每個圖片稱為一個文檔Fi, i是I N的整數，則文檔Fi和視覺詞匯單詞Wm的相關度為Weight (i, m) =NUMimX idfm,式中，NUMim表示視覺詞匯單詞Wm在圖片文檔Fi中出現的次數，MC=lgy，Nm表示視覺詞匯單詞Wm—共包含的圖片文檔數目； 計算每個圖片與詞匯樹的每個葉節度的相關度，完成圖片與詞匯樹的關聯； (4)設定圖像庫的語義主題信息集...

【專利技術屬性】
技術研發人員：吳健，崔志明，張月輝，李承超，
申請(專利權)人：蘇州大學，
類型：發明
國別省市：