一種基于顏色相似度的視頻場景分割方法技術

本發明專利技術屬于計算機視頻數據處理技術領域，涉及一種基于顏色相似度的視頻場景分割方法，該方法對于一個視頻片段，按照下列方法得到相似度矩陣:所有幀的RGB顏色直方圖，利用直方圖計算幀之間的相似度，獲得整個片段范圍的相似度矩陣，并包括下列步驟：進行視頻片段的首次場景分割；合并小場景；驗證過渡段并再分割。按照本發明專利技術進行場景分割，則能夠得到較為準確和可靠的分割結果。

【技術實現步驟摘要】
一種基于顏色相似度的視頻場景分割方法所屬
本專利技術屬于計算機視頻數據處理
，特別涉及一種視頻場景分割的方法。
技術介紹
近年來隨著數字多媒體技術以及計算機存儲能力的快速發展，數字視頻在人們工作和生活中獲得了廣泛應用。然而，如何對大量的數字視頻數據進行有效的檢索與管理則是現階段需要解決的難題。視頻場景分割作為關鍵性的基礎步驟，在解決這個問題上顯得尤為重要。顯然，把一個完整的視頻分割成若干具有顯著獨立內容的片段集合對完整視頻的摘要提取和內容檢索具有重要作用。
技術實現思路
本專利技術的目的在于提供一種簡單有效的視頻場景分割方法。本專利技術提出的視頻分割方法，僅使用了視頻中各幀圖像的顏色特征，且對于視頻片段間的驟變分割點和過渡片段的提取都有比較好的效果。為此，本專利技術采用如下的技術方案：一種基于顏色相似度的視頻場景分割方法，該方法對于一個視頻片段，按照下列方法得到相似度矩陣:所有幀的RGB顏色直方圖，利用直方圖計算幀之間的相似度，獲得整個片段范圍的相似度矩陣，并且，規定了一個場景過渡到另一個場景的場景變化形式的分類：（1）驟變分割點：從一個場景直接轉向另一個場景，中間沒有過渡；（2）淡入淡出的過渡段：從一個場景轉向另一個場景的過程中，前一個場景淡出的同時，后一個場景淡入；（3）復雜的過渡段：不能劃分到上述兩種情況的其他場景變化形式；該方法包括下列的步驟：步驟一按照以下方法進行視頻片段的首次場景分割：（1）把第一幀納入第一個場景，以第二幀作為當前幀；（2）計算當前幀的前一個場景的相似度矩陣所有值的平均值avg0，以及它與前一個場景所有幀的相似度向量的平均值avg1；（3）若|avg0-avg1|<一致性閾值TH1，則把當前幀納入前一個場景，將當前幀的下幀作為當前幀，繼續（2）；否則，以當前幀為起點，開始新的場景，將當前幀的下幀作為當前幀，并繼續（2），直到視頻片段終止，從而得到分割結果；步驟二合并小場景：在分割結果中，合并若干個連續的幀數小于合并閾值TH2的場景；步驟三驗證過渡段并再分割：計算合并而成的場景范圍內相似度矩陣所有值的標準差，若標準差小于過渡段判別閾值TH3，則該合并后的場景被判定為偽過渡段，還原為合并前的小場景狀態；否則，判定該場景為過渡段，保持合并后的狀態，至此獲得新的分割結果。作為優選實施方式，其中的三個閾值的訓練按照下列步驟進行：（1）獲取一批用于訓練的視頻片段，對該批視頻片段的每個真實場景分割點進行從一個場景過渡到另一個場景的場景變化形式的分類：（2）設定一致性閾值TH1的初始值與終止值以及漸增的單位步長，并設定初始的合并閾值TH2和過渡段判別閾值TH3；（3）對每個用于訓練的視頻片段，按照步驟一中的方法進行首次場景分割，得到分割結果；（4）將分割結果與視頻片段的各個真實場景分割點進行比對：用分割結果比對真實場景分割點計算代價值a和覆蓋率b，并以評價分割與真實場景分割點的吻合程度，其中，代價值a的計算如下：a初始為0；對分割結果的每一分割處的幀，在真實場景分割點中尋找它，若能夠在真實場景分割點中找到，且該處為驟變分割點，則不對a做任何操作；若能夠在真實場景分割點中找到，且處于淡入淡出的過渡段或復雜過渡段內，則若無法找到，則a＝a+1；覆蓋率b的計算如下：引入變量a1，a1初始為0；對真實場景分割點每一分割處的幀，在分割結果中尋找它，若能夠在分割結果中找到，則不對a1做任何操作，若無法找到，則a1＝a1+1；最后計算（5）不斷變化TH1的值使得最小，得到用于訓練的視頻片段的TH1訓練值；（6）取所有用于訓練的視頻片段的TH1訓練值的平均值作為一致性閾值的建議值；（7）以上述訓練得到的一致性閾值的建議值為TH1，再按照步驟一的方法進行首次場景分割；（8）設定合并閾值TH2的初始值與終止值及漸增的單位步長；（9）把若干個連續的幀數均小于TH2的場景合并為一個場景；（10）按照步驟（4）的方法將合并小場景得到的結果與視頻片段的真實場景分割點進行比對；（11）不斷變化TH2的值使得最小，得到用于訓練的視頻片段的TH2訓練值；（12）取所有用于訓練的視頻片段的TH2訓練值的平均值作為合并閾值的建議值；（13）以上述訓練得到的一致性閾值的建議值為TH1，合并閾值的建議值為TH2，按照步驟一的方法進行首次場景分割，得到分割結果；（14）計算合并而成的場景范圍內相似度矩陣所有值的標準差，若標準差小于TH3，則該合并后的場景被判定為偽過渡段，還原為合并前的小場景狀態；否則，判定該場景為過渡段，保持合并后的狀態；（15）按照步驟（4）的方法將以上判定后得到的分割結果與視頻片段的真實場景分割點進行比對；（16）不斷變化TH3的值使得最小，得到用于訓練的視頻片段的TH3訓練值；（17）取所有用于訓練的視頻片段的TH3訓練值的平均值作為過渡段判別閾值的建議值。本專利技術的場景分割方法對驟變分割點、淡入淡出的分割段，以及復雜的分割段都能得到較好的效果。設定閾值為某一范圍的值并按照本專利技術進行場景分割，則能夠得到較為準確的分割結果（圖1），說明本專利技術的視頻分割方法具有一定效果。為了使分割效果更佳，有必要對閾值進行訓練，訓練效果可以通過與真實視頻場景分割點的比對進行驗證。在驗證實驗中，我們使用了50個視頻片段，每個視頻片段包含若干個已知的真實場景分割點。在實驗中，我們使用以下兩個統計數據來衡量總體訓練結果的可靠性。（1）代價值a：對一個視頻片段，按此方法分割得到的所有分割點去比對真實場景分割點，多余的實驗結果分割點的數量的相對代價值。（2）覆蓋率b：對一個視頻片段，按此方法分割得到的所有分割點中，與真實場景分割點相符的分割點數量占真實場景分割點總數的比率。從以上兩個指標可知，代價值a越小則表示多余的實驗結果分割點越少，覆蓋率b越接近于1則表示遺漏的真實分割點越少。通過對50個視頻片段的驗證，結果中代價值a均較小，且覆蓋率b大體保持在80%以上（圖2），則訓練得到的閾值建議值是可靠的，且本專利技術的分割效果與真實視頻場景分割點吻合程度較高。附圖說明圖1分割結果圖，上圖、中圖和下圖份為驟變分割點、淡入淡出的分割段以及復雜的分割段的分割結果示意圖。圖2驗證結果示意圖，圖2（a）和圖2（b）分別為代價值a的統計結果與覆蓋率b的統計結果。圖3本專利技術的系統流程圖。具體實施方式本專利技術提出一種新的視頻場景分割方法。首先對從一個場景過渡到另一個場景的場景轉換形式做出分類，如下：（1）驟變分割點：從一個場景直接轉向另一個場景，中間沒有過渡。特點：場景轉換十分迅速，分割點前后幀差異明顯，容易準確歸屬到各自的場景中。（2）淡入淡出的過渡段：從一個場景轉向另一個場景的過程中，前一個場景淡出的同時，后一個場景淡入。特點：場景轉換相對緩慢，過渡段往往包含幾幀到幾十幀數量的圖像，各幀之間差異大于普通場景段。（3）復雜的過渡段：從一個場景轉向另一個場景的過程中遵循某種復雜的變換方式，如溶解、放大等。（不能劃分到上述兩種情況的其他場景變化形式均劃為“復雜的過渡段”）特點：變化方式多樣，場景轉換緩慢，過渡段往往包含幾幀到幾十幀數量的圖像，各幀之間差異大于普通場景段。本專利技術的場景分割方法首先利用“一致性閾值”根據算法對視頻進行第一次分割，再對分割后的各個場景根本文檔來自技高網...

【技術保護點】
一種基于顏色相似度的視頻場景分割方法，該方法對于一個視頻片段，按照下列方法得到相似度矩陣:所有幀的RGB顏色直方圖，利用直方圖計算幀之間的相似度，獲得整個片段范圍的相似度矩陣，并且，規定了一個場景過渡到另一個場景的場景變化形式的分類：（1）驟變分割點：從一個場景直接轉向另一個場景，中間沒有過渡；（2）淡入淡出的過渡段：從一個場景轉向另一個場景的過程中，前一個場景淡出的同時，后一個場景淡入；（3）復雜的過渡段：不能劃分到上述兩種情況的其他場景變化形式；該方法包括下列的步驟：步驟一按照以下方法進行視頻片段的首次場景分割：（1）把第一幀納入第一個場景，以第二幀作為當前幀；（2）計算當前幀的前一個場景的相似度矩陣所有值的平均值avg0，以及它與前一個場景所有幀的相似度向量的平均值avg1；（3）若|avg0？avg1|<一致性閾值TH1，則把當前幀納入前一個場景，將當前幀的下幀作為當前幀，繼續（2）；否則，以當前幀為起點，開始新的場景，將當前幀的下幀作為當前幀，并繼續（2），直到視頻片段終止，從而得到分割結果；步驟二合并小場景：在分割結果中，合并若干個連續的幀數小于合并閾值TH2的場景；步驟三驗證過渡段并再分割：計算合并而成的場景范圍內相似度矩陣所有值的標準差，若標準差小于過渡段判別閾值TH3，則該合并后的場景被判定為偽過渡段，還原為合并前的小場景狀態；否則，判定該場景為過渡段，保持合并后的狀態，至此獲得新的分割結果。...

【技術特征摘要】
1.一種基于顏色相似度的視頻場景分割方法，該方法對于一個視頻片段，按照下列方法得到相似度矩陣:所有幀的RGB顏色直方圖，利用直方圖計算幀之間的相似度，獲得整個片段范圍的相似度矩陣，并且，規定了一個場景過渡到另一個場景的場景變化形式的分類：(1)驟變分割點：從一個場景直接轉向另一個場景，中間沒有過渡；(2)淡入淡出的過渡段：從一個場景轉向另一個場景的過程中，前一個場景淡出的同時，后一個場景淡入；(3)復雜的過渡段：不能劃分到上述兩種情況的其他場景變化形式；該方法包括下列的步驟：步驟一按照以下方法進行視頻片段的首次場景分割：(1)把第一幀納入第一個場景，以第二幀作為當前幀；(2)計算當前幀的前一個場景的相似度矩陣所有值的平均值avg0，以及它與前一個場景所有幀的相似度向量的平均值avg1；其中，avg0是指一個場景內所有幀兩兩之間的相似度差值組成的矩陣內所有值的平均值，avg1是指當前幀與前一個場景內所有幀的相似度差值組成的向量中所有值的平均值；(3)若|avg0-avg1|<一致性閾值TH1，則把當前幀納入前一個場景，將當前幀的下幀作為當前幀，繼續(2)；否則，以當前幀為起點，開始新的場景，將當前幀的下幀作為當前幀，并繼續(2)，直到視頻片段終止，從而得到分割結果；步驟二合并小場景：在分割結果中，合并若干個連續的幀數小于合并閾值TH2的場景；步驟三驗證過渡段并再分割：計算合并而成的場景范圍內相似度矩陣所有值的標準差，若標準差小于過渡段判別閾值TH3，則該合并后的場景被判定為偽過渡段，還原為合并前的小場景狀態；否則，判定該場景為過渡段，保持合并后的狀態，至此獲得新的分割結果。2.根據權利要求1所述的基于顏色相似度的視頻場景分割方法，其特征在于，其中的三個閾值的訓練按照下列步驟進行：(1)獲取一批用于訓練的視頻片段，對該批視頻片段的每個真實場景分割點進行從一個場景過渡到另一個場景的場景變化形式的分類：(2)設定一致性閾值TH1的初始值與終止值以及漸增的單位步長，并設定初始的合并閾值TH2和過渡段判別閾值TH3；(3)對每個用于訓練的視頻片段，按照步驟一中的...

【專利技術屬性】
技術研發人員：張怡，任金昌，袁正雄，溫超，
申請(專利權)人：天津大學，
類型：發明
國別省市：