本發明專利技術涉及一種基于語義推理和結構化描述的視頻與圖像檢索系統及方法，屬于計算機應用技術領域。該系統包括采集模塊、結構化描述模塊、語義匹配和推理模塊、索引模塊、檢索模塊、輸入輸出模塊和中心控制模塊。該方法中，先利用結構化描述模塊對視頻及圖像進行結構化描述提取，再對描述結果進行語義匹配和推理，最后在匹配和推理結果集中檢索得到與檢索關鍵詞具有語義相似性的視頻結果集。從而有效避免了檢索結果對于視頻文字標題的過度依賴，加強了檢索結果與視頻內容本身的關聯性，大幅提高了視頻檢索效率，且本發明專利技術的基于語義推理和結構化描述的視頻與圖像檢索系統及方法的實現方式簡單，實現成本低廉，應用范圍也較為廣泛。
【技術實現步驟摘要】
本專利技術涉及計算機應用
，特別涉及視頻圖像檢索
，具體是指一種。
技術介紹
智能交通系統是未來交通系統的重要發展方向，其中建立交通視頻的監控可以有效地協助交通警察準確地掌握所有監控路口、路段周圍的車輛、行人的流量、交通治安情況等。除此之外，交通警察還可以通過查詢交通監控錄像，還原大型事故現場，以便將突發事件或惡性事故變得可控。但是由于視頻監控的高清攝像系統記錄的是各交通路口全天的所有車輛流通信息，由此可見保存下來的視頻數據量將會非常龐大，這將導致交通警察需要花費大量的時間和精力來查詢視頻中的某一特定信息時，效率非常低。目如最常用的視頻檢索和查詢方法是基于文本關鍵詞檢索。基于內容的文本關鍵詞檢索方法，是通過對視頻進行智能分析，獲取到一些有用的語義信息，然后根據這些分析結果來進行查詢。比較常用的智能視頻分析方法有運動檢測、紋理分類等，但是針對交通視頻的檢索，這種視頻分析方法過于單一和片面，很難滿足實際應用需求中針對特定視頻/圖像的檢索。經過對現有技術的檢索發現，中國專利文獻號CN102521321A公開了一種基于檢索詞歧義性和用戶偏好的視頻檢索方法，此專利提出根據檢索對應的點擊記錄生成檢索詞對應的歧義性描述信息，生成本次檢索會話中用戶的短期偏好描述信息及長期偏好描述信息，并將短期偏好描述信息及長期偏好描述信息擬合成用戶偏好描述信息，根據用戶選定的視頻更新用戶的短期偏好描述信息和長期偏好描述信息。中國專利文獻號CN102508893A公開了一種視頻多媒體檢索服務應用和檢索方法，用戶使用電視機、計算機或者移動終端訪問視頻多媒體檢索與服務應用平臺，通過單位或個人的視頻號或分類查詢檢索平臺后端的視頻多媒體數據庫，取得相關的單位或個人信息，從而進行相關的活動。在已有的研究中，前者主要針對根據用戶的長、短期偏好調整檢索策略，后者通過視頻號或分類查詢檢索平臺取得相關的信息。雖然利用用戶的檢索偏好和視頻號能一定程度地提高視頻的檢索效率，但是通過關鍵詞檢索得到的視頻結果集有時會過于依賴于視頻的標題和文字描述，但是視頻的標題和文字描述有時候是不精確和不完整的。
技術實現思路
本專利技術的目的是克服了上述現有技術中的缺點，提供一種系統及方法先對即將存儲入庫的視頻及圖像進行結構化描述提取，再對描述結果進行語義匹配和推理，最后在匹配和推理結果集中進行數據挖掘，檢索得到與檢索關鍵詞具有語義相似性的視頻結果集，從而避免檢索結果對于視頻文字標題內容的過度依賴，加強檢索結果與視頻內容本身的關聯性，提高視頻檢索效率，且實現方式簡單，實現成本低廉，應用范圍也較為廣泛的。為了實現上述的目的，本專利技術的基于語義推理和結構化描述的視頻與圖像檢索系統包括采集模塊、結構化描述模塊、語義匹配和推理模塊、索引模塊、檢索模塊、輸入輸出模塊和中心控制模塊。其中，采集模塊用以從系統外部設備獲得視頻和圖像信息，并將視頻和圖像信息進行格式處理后存儲；結構化描述模塊用以提取所述的視頻和圖像信息的結構化描述內容，產生關于視頻和圖像的結構化描述數據；語義匹配和推理模塊用以根據自帶的相關領域的知識庫對所述的關于視頻和圖像的結構化描述數據分別進行語義匹配和語義推理，獲得相應的匹配結果集和推理結果集；索引模塊用以根據所述的關于視頻和圖像的結構化描述數據以及匹配結果集和推理結果集生成關于所述的視頻和圖像的索引信息；檢索模塊用以根據用戶設定的關鍵詞檢索所述的索引信息，并將檢索獲得的與所述的關鍵詞相關的視頻和圖像信息生成檢索結果；輸入輸出模塊用以提供用戶關鍵詞輸入端，并向用戶返回所述的檢索結果；中心控制模塊連接所述的采集模塊、結構化描述模塊、語義匹配和推理模塊、索引模塊、檢索模塊和輸入輸出模塊，用以向所述各模塊發送任務指令，調度各模塊的運行。該基于語義推理和結構化描述的視頻與圖像檢索系統中，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，用以產生人和計算機系統可識別的關于視頻和圖像的多層次結構化描述信息。該基于語義推理和結構化描述的視頻與圖像檢索系統中，所述的語義匹配和推理模塊包括語義匹配單元、語義推理單元、相關領域知識庫和關鍵詞擴展集合數據庫，所述的關鍵詞擴展集合數據庫存儲基于用戶提供的關鍵詞通過推理和匹配獲得的關鍵詞擴展集合；所述的語義匹配單元根據相關領域知識庫存儲的數據和所述的關鍵詞擴展集合對所述的視頻和圖像的結構化描述數據進行語義匹配獲得匹配結果集；所述的語義推理單元根據相關領域知識庫存儲的數據和所述的關鍵詞擴展集合對所述的視頻和圖像的結構化描述數據進行語義推理獲得推理結果集。本專利技術還提供一種利用所述的系統實現基于語義推理和結構化描述的視頻與圖像檢索的方法，該方法包括以下步驟(201)所述的采集模塊從系統外部的互聯網、局域網或攝像機獲得視頻和圖像信息，對所述的視頻和圖像信息進行格式處理后存儲；(202)所述的結構化描述模塊提取所述的視頻和圖像信息的結構化描述內容，產生關于視頻和圖像的結構化描述數據；(203)所述的語義匹配和推理模塊根據相關領域知識庫對所述的關于視頻和圖像的結構化描述數據分別進行語義匹配和語義推理，獲得相應的匹配結果集和推理結果集；(204)所述的索引模塊，用以根據所述的關于視頻和圖像的結構化描述數據以及匹配結果集和推理結果集建立關于所述的視頻和圖像的索引；(205)根據用戶通過所述的輸入輸出模塊的輸入，所述的檢索模塊獲得關鍵詞；(206)所述的檢索模塊根據用戶設定的關鍵詞檢索所述的索引，并將檢索獲得的與所述的關鍵詞相關的視頻和圖像信息生成檢索結果；(207)所述的輸入輸出模塊顯示所述的檢索結果。該實現基于語義推理和結構化描述的視頻與圖像檢索的方法中，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，所述的步驟(202)具體包括以下步驟(301)所述的語義關系單元確定所述的視頻和圖像信息中的對象的含義；(302)所述的時空分割單元，根據所述的對象含義從所述的視頻和圖像信息中分離出有意義的對象，所述的有意義的對象包括語義級別的對象形狀信息和對象紋理信息；(303)所述的特征提取單元根據視頻和圖像信息的顏色特征和空間特征提取特征內容；(304)所述的對象識別單元根據已知訓練對象集合對未知對象進行識別和分類；(305)根據上述的時空分割、特征提取和對象識別的結果，生成所述的關于視頻和圖像的多層次結構化描述數據。該實現基于語義推理和結構化描述的視頻與圖像檢索的方法中，所述的語義匹配和推理模塊包括語義匹配單元、語義推理單元、相關領域知識庫和關鍵詞擴展集合數據庫，所述的步驟(203)具體包括以下步驟(401)所述的語義推理單元根據預設的本領域推理規則，對所述的結構化描述結果進行推理，得到推理結果集；(402)所述語義推理單元根據所述的推理結果集和關鍵詞擴展集合，計算兩個集合中對象的語義距離，判斷是否與某個領域特定關鍵詞具有語義相似性；(403)所述的語義匹配單元根據預設的本領域匹配規則，對所述的結構化描述結果進行匹配，得到匹配結果集；(404)計算檢索詞與所述的匹配結果集和推理結果集中的關鍵詞之間的語義距離。該實現基于語義推理和結構化描述的視頻與圖像檢索的方法中，所述的步驟(本文檔來自技高網...
【技術保護點】
一種基于語義推理和結構化描述的視頻與圖像檢索系統，其特征在于，所述的系統包括：采集模塊，用以從系統外部設備獲得視頻和圖像信息，并將視頻和圖像信息進行格式處理后存儲；結構化描述模塊，用以提取所述的視頻和圖像信息的結構化描述內容，產生關于視頻和圖像的結構化描述數據；語義匹配和推理模塊，用以根據自帶的相關領域的知識庫對所述的關于視頻和圖像的結構化描述數據分別進行語義匹配和語義推理，獲得相應的匹配結果集和推理結果集；索引模塊，用以根據所述的關于視頻和圖像的結構化描述數據以及匹配結果集和推理結果集生成關于所述的視頻和圖像的索引信息；檢索模塊，用以根據用戶設定的關鍵詞檢索所述的索引信息，并將檢索獲得的與所述的關鍵詞相關的視頻和圖像信息生成檢索結果；輸入輸出模塊，用以提供用戶關鍵詞輸入端，并向用戶返回所述的檢索結果；中心控制模塊，連接所述的采集模塊、結構化描述模塊、語義匹配和推理模塊、索引模塊、檢索模塊和輸入輸出模塊，用以向所述各模塊發送任務指令，調度各模塊的運行。
【技術特征摘要】
【專利技術屬性】
技術研發人員：李逸，胡傳平，梅林，
申請(專利權)人：公安部第三研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。