基于雙空間學習的跨媒體檢索方法技術

本發明專利技術公開了一種基于雙空間學習的跨媒體檢索方法。該方法包括：首先提取不同模態的多媒體數據的特征，利用雙空間學習方法學習得到兩個映射矩陣，將不同模態的數據映射到同一個空間；對于測試樣本集，將其分為兩部分：查詢數據集和目標數據集，使用學習得到的映射矩陣將兩個數據集的數據映射到統一空間，然后度量查詢數據和目標數據之間的距離，并得到與查詢數據距離最近的目標數據。本發明專利技術可以將不同模態的多媒體數據映射入統一空間進行度量，且在映射的同時進行了特征選擇，提高了檢索的魯棒性和準確性，具有良好的運用前景。

【技術實現步驟摘要】

本專利技術涉及模式識別
，特別是一種。
技術介紹
近些年來，隨著Web2. O技術的興起，互聯網上的多媒體數據呈現出爆炸式的增長，用戶需要從這些海量數據中檢索自己想要的文章、圖片、視頻等內容。而現在的主流搜索引擎如百度、谷歌等，采用的搜索技術依然是基于關鍵字的，而這種搜索技術無法解決各個媒體之間存在的語義鴻溝。為了實現跨媒體檢索，需要提供一種從一類多媒體數據檢索另一類多媒體數據的綜合檢索方法?？缑襟w檢索方法的研究已經引起了國內外學術界的重視。目前國際上已經提出了一些方法來建模不同模態的多媒體數據之間的關系，現有方法可以分為兩類1)將兩個模態的多媒體數據映射到同一子空間，然后在這個學習到的子空間里度量不同模態的多媒體之間的相似性，以此來實現跨媒體檢索。2)將一類模態的多媒體數據轉換到另一種模態的多媒體數據的特征空間中進行不同模態數據的相似性度量，以此來實現跨媒體檢索。然而，現有方法都忽略了另一個重要問題，即如何從不同模態的特征空間中同時選擇出最相關和最有區分力的特征，這個問題稱為雙空間特征選擇。為了在學習子空間的同時，進行雙空間特征選擇，本專利技術提出一種，該方法有效地實現了不同模態媒體之間的語義鴻溝的跨越，進而使得搜索引擎返回的結果更加準確。
技術實現思路
為了解決現有技術存在的問題，本專利技術的目的是提供一種。該方法通過最小化一個目標函數，能同時進行子空間學習和雙空間特征選擇，在學習到的子空間中度量不同模態的多媒體數據的相似性，以此來實現跨媒體檢索。本專利技術提出的一種包括以下步驟步驟SI，收集不同模態的多媒體數據樣本，建立跨媒體檢索知識數據庫，并將所述數據庫分為訓練集和測試集；步驟S2，提取所述數據庫中不同模態多媒體數據樣本的特征向量；步驟S3，基于所述訓練集中的不同模態數據的特征向量得到與所述不同模態分別對應的映射矩陣；步驟S4，根據所述測試集中多媒體數據樣本的模態類別，利用所述步驟S3得到的映射矩陣將它們映射到同一空間；步驟S5，將映射到同一空間后的測試集中同一模態類別的多媒體數據作為查詢集，另一模態類別的多媒體數據作為目標集； 步驟S6，對于所述查詢集中的一個多媒體數據，根據多媒體數據之間的相似度，得到所述目標集中與它最為相似的多媒體數據，從而得到跨媒體檢索結果。根據本專利技術的方法，可以將不同模態的多媒體數據映射入統一空間進行度量，且在映射的同時進行了特征選擇，提高了檢索的魯棒性和準確性，具有良好的運用前景。本專利技術方法能有效地跨越了不同模態媒體之間的語義鴻溝，進而使得跨媒體搜索引擎返回的結果更加準確。附圖說明圖1是本專利技術流程圖；圖2是根據本專利技術跨媒體檢索方法從文本到圖像的檢索效果示意圖。具體實施例方式為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本專利技術進一步詳細說明。本專利技術通過雙空間學習來學習兩個映射矩陣，將不同模態的數據映射到同一個子空間中去，并在映射的同時進行了特征選擇；在學習到的子空間中度量不同模態的數據的相似性，以此來實現跨媒體檢索的目的。圖1是本專利技術流程圖，如圖1所示，本專利技術提出的一種基于雙空間學習的跨模態檢索方法包括以下幾個步驟步驟SI，收集不同模態的多媒體數據樣本，建立跨媒體檢索知識數據庫，并將所述數據庫分為訓練集和測試集；所述不同模態比如可以為文本、圖像等模態，為了便于對本專利技術進行說明，下文以文本和圖像這兩個模態的數據為例進行解釋。在將所述數據庫分為訓練集和測試集時，可根據實際需要進行劃分，比如可將所述數據庫中的80%的數據劃分為訓練集，剩下的20%的數據劃分為測試集。步驟S2，提取所述數據庫中不同模態多媒體數據樣本的特征向量；本專利技術中，對于文本和圖像分別使用隱狄雷克雷分布(Latent DirichletAllocation, LDA)算法和尺度不變特征變換(Scale-1nvariant Feature Transform, SIFT)算法進行特征提取。步驟S3，基于所述訓練集中的不同模態數據的特征向量得到與所述不同模態分別對應的映射矩陣；在對該步驟進行詳細介紹前，先介紹一些矩陣運算符對于矩陣M e Mnxm為nXm的矩陣空間,矩陣M的第i行元素表示為Hii，矩陣M的第j列元素表示為m」，而矩陣M的Frobenius范數，簡稱F-范數定義為本文檔來自技高網...

【技術保護點】
一種基于雙空間學習的跨媒體檢索方法，其特征在于，該方法包括以下步驟：步驟S1，收集不同模態的多媒體數據樣本，建立跨媒體檢索知識數據庫，并將所述數據庫分為訓練集和測試集；步驟S2，提取所述數據庫中不同模態多媒體數據樣本的特征向量；步驟S3，基于所述訓練集中的不同模態數據的特征向量得到與所述不同模態分別對應的映射矩陣；步驟S4，根據所述測試集中多媒體數據樣本的模態類別，利用所述步驟S3得到的映射矩陣將它們映射到同一空間；步驟S5，將映射到同一空間后的測試集中同一模態類別的多媒體數據作為查詢集，另一模態類別的多媒體數據作為目標集；步驟S6，對于所述查詢集中的一個多媒體數據，根據多媒體數據之間的相似度，得到所述目標集中與它最為相似的多媒體數據，從而得到跨媒體檢索結果。

【技術特征摘要】
1.一種基于雙空間學習的跨媒體檢索方法，其特征在于，該方法包括以下步驟步驟Si，收集不同模態的多媒體數據樣本，建立跨媒體檢索知識數據庫，并將所述數據庫分為訓練集和測試集；步驟S2，提取所述數據庫中不同模態多媒體數據樣本的特征向量；步驟S3，基于所述訓練集中的不同模態數據的特征向量得到與所述不同模態分別對應的映射矩陣；步驟S4，根據所述測試集中多媒體數據樣本的模態類別，利用所述步驟S3得到的映射矩陣將它們映射到同一空間；步驟S5，將映射到同一空間后的測試集中同一模態類別的多媒體數據作為查詢集，另一模態類別的多媒體數據作為目標集；步驟S6，對于所述查詢集中的一個多媒體數據，根據多媒體數據之間的相似度，得到所述目標集中與它最為相似的多媒體數據，從而得到跨媒體檢索結果。2.根據權利要求1所述的方法，其特征在于，所述不同模態為雙模態。3.根據權利要求2所述的方法，其特征在于，所述雙模態為文本和圖像。4.根據權利要求3所述的方法，其特征在于，對于文本多媒體數據樣本，提取其隱狄雷克雷分布特征向量；對于圖像多媒體數據樣本，提取其尺度不變特征變換特征向量。5.根據權利要求1所...

【專利技術屬性】
技術研發人員：王亮，譚鐵牛，赫然，王開業，王威，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：