一種基于故事情節的視頻摘要提取方法技術

本發明專利技術公開了一種基于故事情節的視頻摘要提取方法。本發明專利技術方法包括以下步驟：對原始視頻進行關鍵幀、鏡頭以及場景檢測；根據視頻故事情節從場景中檢測出精彩場景；根據實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。本發明專利技術還進一步根據場景間的演變強度對精彩場景進行篩選，并將持續時間過短而無法表達有用信息的備選摘要片段剔除，并根據語句的完整性對備選摘要片段進行調整。本發明專利技術依據故事情節發展關系選擇合適的摘要片段生成視頻摘要，這既符合人們的邏輯思維，也有利于保證影片內容的完整性。

【技術實現步驟摘要】
本專利技術涉及一種視頻摘要提取方法，尤其涉及一種基于故事情節的視頻摘要提取方法，屬于圖像處理

技術介紹
隨著越來越多的影片資料出現在網絡、個人電腦和數字設備上，要求采取有效且實用的方法組織和管理這些海量數據的愿望也越來越強烈。這些方法中，影片摘要方法不僅可獲得對原始影片資料故事情節發展的簡單描述，而且有利于觀眾觀看整部影片前便能捕獲電影主題。因此，電影摘要的目的是依據故事情節的發展，選擇合適的片段構成影片摘要。然而，如何合理地選擇電影片段及有效地將它們整合為摘要，仍是一個有待進一步研究的問題。 經對現有技術文獻的檢索發現，Ma等人(Y. Ma, X. Hua, L. Lu, and H Zhang.A generic framework of user attention model and its application in videosummarization. In IEEE Transactions on Multimedia, 7 (5) : 907 - 919，2005)提出了用戶注意模型的電影摘要，Li 等人(K. Li, L. Guo, C. Faraco, and et al. Human-centeredattention models for video summarization. In Proceedings of IEEE InternationalConference on Multimodal Interfaces, 2010:27-30)提出了關于電影摘要的以人為本的注意模型，Lu 等人(S. Lu, I. King, and M. Lyu. Video summarization by video structureanalysis and graph optimization. In Proceedings of IEEE International Conferenceon Multimedia and Expo, 2004:1959-1962)通過電影結構分析和圖優化的方法實現電影摘要。這些電影摘要方法主要側重于通過提取底層視聽特征或中間層視聽特征來生成摘要。然而從人們理解角度來說，由于底層視聽特征與高層語義理解的差異，底層視聽特征并不能很好地描述電影情節的進展。由電影制作理論可知，任何影片的本質都是講述一個故事。因此，一個理想的電影摘要能清楚描述原始電影情節的進展。從觀眾的角度來看，一部電影之所以吸引他，是他想知道故事接下來的情節該如何發展。即，故事情節為一部影片的結構及精彩的內容，提供了有意義的描述。
技術實現思路
本專利技術所要解決的技術問題在于克服現有視頻摘要方法的不足，提供一種基于故事情節的視頻摘要提取方法，依據故事情節發展關系選擇合適的摘要片段，既符合人們的邏輯思維，也有利于保證影片內容的完整性。本專利技術的基于故事情節的視頻摘要提取方法，包括以下步驟步驟A、對原始視頻進行關鍵幀、鏡頭以及場景檢測；步驟B、根據視頻故事情節從場景中檢測出精彩場景；步驟C、根據實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。所述精彩場景的檢測包括對話場景檢測首先依據人臉信息檢測出含有交替出現的人臉鏡頭的場景，作為候選對話場景；然后，從候選對話場景中選出包含語音的場景，即為對話場景；動作場景檢測一個場景同時滿足下列三個條件時，則將該場景視為動作場景該場景中每個鏡頭的幀數小于25，每個鏡頭的平均活躍強度超過200，且每個鏡頭的平均音頻能量超過100 ；懸疑場景檢測當一個場景同時滿足下列三個條件時，則該場景為懸疑場景該場景的平均光照強度小于50 ;該場景開始某幾個鏡頭的音頻能量包不超過5，且某兩個連續鏡頭的音頻能量包變化超過50 ;該場景開始幾個鏡頭的活躍強度不超過5，且某兩個連續鏡頭的活躍強度變化超過100。 進一步地，所述對話場景檢測還包括情感對話場景的檢測分別提取各對話場景的平均的基音頻率和短時的強度變化，選擇兩者均大于預設閾值的對話場景，即為情感對話場景。進一步地，所述動作場景檢測還包括槍戰場景檢測選擇橙、黃、紅三種顏色特征均大于預設閾值的動作場景作為槍戰場景；打斗場景檢測選擇包含吼叫聲音頻特征的動作場景作為打斗場景；追逐場景檢測選擇包含摩擦聲和尖叫聲音頻特征的動作場景作為追逐場景。優選地，所述步驟C具體包括以下各子步驟步驟Cl、按照以下公式計算任意兩個精彩場景間的演變強度PIF (ASU, ASv) = a *TTn (ASU, ASv) + β *STn(ASU, ASv) + y *RTn(ASU, ASv)式中，PIF(ASU, ASv)表示兩個不同場景ASu和ASv之間的演變強度，TTn(ASU, ASv)、STn (ASU, ASv)、RTn (ASU, ASv)分別是ASu和ASv之間的時域變換強度TT (ASU,，ASv)、空間變換強度ST (ASU, ASv)、周期轉換強度RT (ASU, ASv)的歸一化形式，α、β、Y為滿足α + β + Υ =1的權重系數；其中，時域變換強度TT (ASU, ASv)的計算公式為本文檔來自技高網...

【技術保護點】
一種基于故事情節的視頻摘要提取方法，其特征在于，包括以下步驟：步驟A、對原始視頻進行關鍵幀、鏡頭以及場景檢測；步驟B、根據視頻故事情節從場景中檢測出精彩場景；？步驟C、根據實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。

【技術特征摘要】
1.一種基于故事情節的視頻摘要提取方法，其特征在于，包括以下步驟 步驟A、對原始視頻進行關鍵幀、鏡頭以及場景檢測； 步驟B、根據視頻故事情節從場景中檢測出精彩場景； 步驟C、根據實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。2.如權利要求I所述基于故事情節的視頻摘要提取方法，其特征在于，所述精彩場景的檢測包括 對話場景檢測首先依據人臉信息檢測出含有交替出現的人臉鏡頭的場景，作為候選對話場景；然后，從候選對話場景中選出包含語音的場景，即為對話場景； 動作場景檢測一個場景同時滿足下列三個條件時，則將該場景視為動作場景該場景中每個鏡頭的幀數小于25，每個鏡頭的平均活躍強度超過200，且每個鏡頭的平均音頻能量超過100 ； 懸疑場景檢測當一個場景同時滿足下列三個條件時，則該場景為懸疑場景該場景的平均光照強度小于50 ;該場景開始某幾個鏡頭的音頻能量包不超過5，且某兩個連續鏡頭的音頻能量包變化超過50 ;該場景開始幾個鏡頭的活躍強度不超過5，且某兩個連續鏡頭的活躍強度變化超過100。3.如權利要求2所述基于故事情節的視頻摘要提取方法，其特征在于，所述對話場景檢測還包括情感對話場景的檢測分別提取各對話場景的平均的基音頻率和短時的強度變化，選擇兩者均大于預設閾值的對話場景，即為情感對話場景。4.如權利要求2所述基于故事情節的視頻摘要提取方法，其特征在于，所述動作場景檢測還包括 槍戰場景檢測選擇橙、黃、紅三種顏色特征均大于預設閾值的動作場景作為槍戰場旦牙、； 打斗場景檢測選擇包含吼叫聲音頻特征的動作場景作為打斗場景； 追逐場景檢測選擇包含摩擦聲和尖叫聲音...

【專利技術屬性】
技術研發人員：朱松豪，范莉莉，鄒黎明，梁志偉，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：