基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法技術(shù)

本發(fā)明專利技術(shù)屬于圖像處理領(lǐng)域，為更加準(zhǔn)確有效的評價立體視頻質(zhì)量,同時在一定程度上推動立體成像技術(shù)的發(fā)展。本發(fā)明專利技術(shù)，基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，首先從參考立體視頻左視點(diǎn)或右視點(diǎn)相鄰兩幀圖像第t幀、第t+1幀中估計(jì)出其相應(yīng)的運(yùn)動信息，得到該幀圖像的運(yùn)動顯著性權(quán)值分布圖；然后利用2D圖像質(zhì)量評價方法質(zhì)量結(jié)構(gòu)相似度SSIM對失真立體視頻左視點(diǎn)或右視點(diǎn)的相應(yīng)第t幀圖像進(jìn)行評價；然后利用上一步得到的運(yùn)動顯著性權(quán)值分布對對應(yīng)幀的質(zhì)量分布進(jìn)行加權(quán)從而得到該幀圖像的整體質(zhì)量；然后得到單幀立體圖像質(zhì)量；最后將立體視頻所有幀的立體圖像質(zhì)量平均從而得到立體視頻的總體質(zhì)量。本發(fā)明專利技術(shù)主要應(yīng)用于圖像處理。

Stereoscopic video quality evaluation method based on motion saliency

The invention belongs to the field of image processing, in order to evaluate the stereoscopic video quality more accurately and effectively, and at the same time to promote the development of the stereoscopic imaging technology to a certain extent. The present invention, stereo video quality assessment method based on motion saliency, first we estimate the corresponding motion information from stereo video reference left view or right view of two adjacent frames of the T frame and the t+1 frame, the image motion significant weight distribution map; then the image quality evaluation methods of quality 2D the structural similarity SSIM to evaluate corresponding t frame image distortion of stereo video left view or right view; then the movement was the last step of significant weight distribution of mass distribution on the corresponding frames are weighted to get the image of the whole frame and single frame quality; stereo image quality; the stereo image quality stereo video frame all the average to get the overall quality of stereo video. The invention is mainly applied to image processing.

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法
本專利技術(shù)屬于圖像處理領(lǐng)域，涉及立體視頻質(zhì)量評價方法改進(jìn)優(yōu)化，尤其是涉及運(yùn)動顯著分割和結(jié)構(gòu)相似度在立體視頻質(zhì)量客觀評價中的應(yīng)用。具體講,涉及基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法。
技術(shù)介紹
近年來隨著3D技術(shù)的發(fā)展，立體視頻正在逐漸成為視覺信息傳播的主要媒介。然而網(wǎng)絡(luò)傳輸帶寬資源有限，這就使得立體視頻的壓縮成為必然的選擇，而且實(shí)踐證明對立體視頻進(jìn)行非對稱壓縮可以獲得更高的壓縮效率。與此同時，壓縮必然會影響到立體視頻的質(zhì)量，而立體視頻質(zhì)量的優(yōu)劣會直接影響到觀看者的視覺生理和心理健康。為此，探索影響觀眾觀看體驗(yàn)的視覺因素，研究有效且可靠的立體視頻質(zhì)量評價方法至關(guān)重要。立體視頻質(zhì)量評價方法可以分為兩類：主觀評價方法和客觀評價方法。通過大量的人員對立體內(nèi)容做出質(zhì)量評價的方法為主觀評價方法。由于該方法是直接由人來做出評價，所以能夠準(zhǔn)確的反應(yīng)人類的視覺體驗(yàn)，然而主觀質(zhì)量評價耗時耗力且不能運(yùn)用于實(shí)時應(yīng)用中[1]。客觀質(zhì)量評價方法是通過算法來實(shí)現(xiàn)立體視頻質(zhì)量評價的，能夠有效的彌補(bǔ)主觀評價方法的不足。由于立體視頻技術(shù)是近幾年才發(fā)展起來的，所以直接針對立體視頻質(zhì)量評價的方法非常少，相關(guān)領(lǐng)域的研究人員大多都是直接將傳統(tǒng)的2D圖像或視頻的質(zhì)量評價方法應(yīng)用于立體視頻質(zhì)量評價中。其中典型的2D圖像質(zhì)量評價方法有峰值信噪比(PSNR)、視覺信噪比(VSNR)、視覺信息保真度(VIF)以及質(zhì)量結(jié)構(gòu)相似度(SSIM)等。峰值信噪比(PSNR)是基于圖像差異分析的最典型的圖像質(zhì)量評價方法，它與均方誤差(MSE)方法同源，但是這種方法不能準(zhǔn)確的反應(yīng)人類視覺系統(tǒng)特征[2,3]。視覺信噪比(VSNR)方法由chandler等人經(jīng)過一系列的研究[4,5,6,7]后提出，該方法是一種典型的基于人類視覺系統(tǒng)(HVS)的方法。視覺信息保真度(VIF)模型由Sheikh等人于2006年提出[8,9]，該方法引入信息論中關(guān)于信息量的描述，提出了一種符合自然圖像統(tǒng)計(jì)規(guī)律的圖像模型，并在此基礎(chǔ)上定義了圖像的信息量。利用原始圖像和測試圖像的信息量之間的差異來評價圖像質(zhì)量。質(zhì)量結(jié)構(gòu)相似度(SSIM)是WangZ.等人經(jīng)過一系列研究[2,3,10,11]后提出的圖像質(zhì)量評價方法。該方法著眼于兩幅圖像在結(jié)構(gòu)上的相似程度，具體而言SSIM考慮了三個方面的因素：亮度相關(guān)性，對比度相關(guān)性以及結(jié)構(gòu)相關(guān)性。該方法是目前2D圖像質(zhì)量評價領(lǐng)域比較優(yōu)秀的方法。雖然這些傳統(tǒng)的圖像質(zhì)量評價方法能夠在一定的程度上反應(yīng)立體視頻中單視點(diǎn)單幀圖像的質(zhì)量，但這些方法終究都只是針對平面圖像進(jìn)行評價。文獻(xiàn)[12]提出了一種結(jié)合亮度信息、運(yùn)動信息和SSIM的視頻質(zhì)量評價算法。文獻(xiàn)[13]在人類視覺特性的基礎(chǔ)上提出了基于視覺感興趣區(qū)域的視頻質(zhì)量評價方法。這兩種方法雖然都考慮到了視頻中運(yùn)動信息對視頻質(zhì)量評價的影響，但是其運(yùn)動信息的計(jì)算是基于8×8的局部像素區(qū)域進(jìn)行的，這種基于固定大小的方形區(qū)域的計(jì)算方式不能很好的反應(yīng)三維場景中真實(shí)物體的運(yùn)動情況。立體視頻質(zhì)量評價算法的發(fā)展對立體視頻的發(fā)展有著重要的意義。
技術(shù)實(shí)現(xiàn)思路
為克服現(xiàn)有技術(shù)的不足，本專利技術(shù)旨在提出一種基于運(yùn)動信息的顯著性區(qū)域分割方法，并在此方法的基礎(chǔ)上結(jié)合人類雙目視覺特性和SSIM構(gòu)造了一種新的立體視頻質(zhì)量評價方法。本專利技術(shù)提出的算法更加準(zhǔn)確有效的評價立體視頻質(zhì)量,同時在一定程度上推動立體成像技術(shù)的發(fā)展。本專利技術(shù)采用的技術(shù)方案是，基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，首先從參考立體視頻左視點(diǎn)或右視點(diǎn)相鄰兩幀圖像第t幀、第t+1幀中估計(jì)出其相應(yīng)的運(yùn)動信息，利用得到的運(yùn)動信息指導(dǎo)相應(yīng)的單幀第t幀圖像進(jìn)行區(qū)域分割，得到該幀圖像的運(yùn)動顯著性權(quán)值分布圖；然后利用2D圖像質(zhì)量評價方法質(zhì)量結(jié)構(gòu)相似度SSIM對失真立體視頻左視點(diǎn)或右視點(diǎn)的相應(yīng)第t幀圖像進(jìn)行評價，得到該幀圖像的質(zhì)量分布圖；然后利用上一步得到的運(yùn)動顯著性權(quán)值分布對對應(yīng)幀的質(zhì)量分布進(jìn)行加權(quán)從而得到該幀圖像的整體質(zhì)量；然后利用人類視覺系統(tǒng)HVS中的雙目競爭、雙目抑制特性對立體視頻中的左右視圖質(zhì)量進(jìn)行融合從而得到單幀立體圖像質(zhì)量；最后將立體視頻所有幀的立體圖像質(zhì)量平均從而得到立體視頻的總體質(zhì)量。進(jìn)行區(qū)域分割的具體步驟是，先利用光流失量運(yùn)動估計(jì)算法計(jì)算圖像中每一個像素所對應(yīng)的運(yùn)動矢量；然后利用邊緣提取算法提取圖像中的物體的邊緣輪廓；最后在所得到的每一個物體的邊緣輪廓所圍的區(qū)域內(nèi)計(jì)算其中所有像素所對應(yīng)運(yùn)動量的均值，并將所得均值作為該物體所對應(yīng)的運(yùn)動量，依據(jù)運(yùn)動量的大小表征圖像中不同的物體，從而進(jìn)行分割。SSIM主要評價兩幅圖像的相似程度，在SSIM中兩幅圖像的相似程度主要由三個指標(biāo)來衡量：亮度相似性、對比度相似性以及結(jié)構(gòu)相似性；亮度相似性通過以下公式計(jì)算得到：等式(1)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，uX和uY分別代表參考圖像局部像素塊的平均值和失真圖像局部像素塊的平均值，C1為常數(shù)；對比度相似性通過以下公式計(jì)算得到：同樣等式(2)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σX和σY分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差，C2為常數(shù)；結(jié)構(gòu)相似性通過以下公式計(jì)算得到：同樣等式(3)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σX和σY分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差，σXY代表參考圖像局部像素塊和失真圖像局部像素塊的協(xié)方差，C3為常數(shù)，最終的SSIM質(zhì)量評價結(jié)果由以下等式計(jì)算得到：SSIM(X,Y)＝[L(X,Y)]α·[C(X,Y)]β·[S(X,Y)]γ(4)其中，α、β、γ是調(diào)節(jié)亮度相似性、對比度相似性以及結(jié)構(gòu)相似性這三個指標(biāo)相對重要性的非負(fù)常數(shù)，其典型的取值為α＝β＝γ＝1，則等式(4)變?yōu)橐韵滦问剑浩渲袇⒖紙D像局部像素塊X和失真圖像局部像素塊Y是分別在參考圖像和失真圖像中對應(yīng)位置選取以像素(x,y)為中心的11×11的像素區(qū)域利用等式(5)計(jì)算得到(x,y)處的SSIM值，最后逐像素滑動計(jì)算窗從而得到所有像素的SSIM值，由公式(1)、(2)、(3)看出當(dāng)兩幅圖像完全相同時L(X,Y)、C(X,Y)、S(X,Y)達(dá)到最大值1從而使得SSIM達(dá)到最大值1；隨著失真圖像損傷程度的加重，L(X,Y)、C(X,Y)、S(X,Y)會隨之減小從而使得SSIM相應(yīng)減小，所以SSIM的取值范圍為0～1。具體地，立體視頻左視點(diǎn)或右視點(diǎn)的第t幀畫面的整體質(zhì)量是由該幀畫面的運(yùn)動顯著性權(quán)值分布對該幀畫面的SSIM質(zhì)量分布加權(quán)平均得到，若立體視頻單幀圖像的大小為P×Q，則該幀畫面的運(yùn)動顯著性權(quán)值分布和該幀畫面的SSIM質(zhì)量分布都為P×Q的矩陣，且矩陣中位置(x,y)處的值分別對應(yīng)于該幀畫面位置(x,y)處像素的運(yùn)動顯著性權(quán)值和SSIM質(zhì)量值，左右視點(diǎn)第t幀畫面的整體質(zhì)量Qtl和Qtr由下式計(jì)算得到：等式(6)、(7)中Ql(t)和Qr(t)分別代表左右視點(diǎn)第t幀畫面的整體質(zhì)量Qtl和Qtr；MSl(x,y,t)和MSr(x,y,t)分別代表左右視點(diǎn)第t幀圖像位置(x,y)處的運(yùn)動顯著性權(quán)值；SSIMl(x,y,t)和SSIMr(x,y,t)分別代表左右視點(diǎn)第t幀圖像位置(x,y)處的SS本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，其特征是，首先從參考立體視頻左視點(diǎn)或右視點(diǎn)相鄰兩幀圖像第t幀、第t+1幀中估計(jì)出其相應(yīng)的運(yùn)動信息，利用得到的運(yùn)動信息指導(dǎo)相應(yīng)的單幀第t幀圖像進(jìn)行區(qū)域分割，得到該幀圖像的運(yùn)動顯著性權(quán)值分布圖；然后利用2D圖像質(zhì)量評價方法質(zhì)量結(jié)構(gòu)相似度SSIM對失真立體視頻左視點(diǎn)或右視點(diǎn)的相應(yīng)第t幀圖像進(jìn)行評價，得到該幀圖像的質(zhì)量分布圖；然后利用上一步得到的運(yùn)動顯著性權(quán)值分布對對應(yīng)幀的質(zhì)量分布進(jìn)行加權(quán)從而得到該幀圖像的整體質(zhì)量；然后利用人類視覺系統(tǒng)HVS中的雙目競爭、雙目抑制特性對立體視頻中的左右視圖質(zhì)量進(jìn)行融合從而得到單幀立體圖像質(zhì)量；最后將立體視頻所有幀的立體圖像質(zhì)量平均從而得到立體視頻的總體質(zhì)量。

【技術(shù)特征摘要】
1.一種基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，其特征是，首先從參考立體視頻左視點(diǎn)或右視點(diǎn)相鄰兩幀圖像第t幀、第t+1幀中估計(jì)出其相應(yīng)的運(yùn)動信息，利用得到的運(yùn)動信息指導(dǎo)相應(yīng)的單幀第t幀圖像進(jìn)行區(qū)域分割，得到該幀圖像的運(yùn)動顯著性權(quán)值分布圖；然后利用2D圖像質(zhì)量評價方法質(zhì)量結(jié)構(gòu)相似度SSIM對失真立體視頻左視點(diǎn)或右視點(diǎn)的相應(yīng)第t幀圖像進(jìn)行評價，得到該幀圖像的質(zhì)量分布圖；然后利用上一步得到的運(yùn)動顯著性權(quán)值分布對對應(yīng)幀的質(zhì)量分布進(jìn)行加權(quán)從而得到該幀圖像的整體質(zhì)量；然后利用人類視覺系統(tǒng)HVS中的雙目競爭、雙目抑制特性對立體視頻中的左右視圖質(zhì)量進(jìn)行融合從而得到單幀立體圖像質(zhì)量；最后將立體視頻所有幀的立體圖像質(zhì)量平均從而得到立體視頻的總體質(zhì)量。2.如權(quán)利要求1所述的基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，其特征是，進(jìn)行區(qū)域分割的具體步驟是，先利用光流失量運(yùn)動估計(jì)算法計(jì)算圖像中每一個像素所對應(yīng)的運(yùn)動矢量；然后利用邊緣提取算法提取圖像中的物體的邊緣輪廓；最后在所得到的每一個物體的邊緣輪廓所圍的區(qū)域內(nèi)計(jì)算其中所有像素所對應(yīng)運(yùn)動量的均值，并將所得均值作為該物體所對應(yīng)的運(yùn)動量，依據(jù)運(yùn)動量的大小表征圖像中不同的物體，從而進(jìn)行分割。3.如權(quán)利要求1所述的基于運(yùn)動顯著性的立體視頻質(zhì)量評價方法，其特征是，SSIM主要評價兩幅圖像的相似程度，在SSIM中兩幅圖像的相似程度主要由三個指標(biāo)來衡量：亮度相似性、對比度相似性以及結(jié)構(gòu)相似性；亮度相似性通過以下公式計(jì)算得到：等式(1)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，uX和uY分別代表參考圖像局部像素塊的平均值和失真圖像局部像素塊的平均值，C1為常數(shù)；對比度相似性通過以下公式計(jì)算得到：同樣等式(2)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σX和σY分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差，C2為常數(shù)；結(jié)構(gòu)相似性通過以下公式計(jì)算得到：同樣等式(3)中X和Y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σX和σY分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差，σXY代表參考圖像局部像素塊和失真圖像局部像素塊的協(xié)方差，C3為常數(shù)，最終的SSIM質(zhì)量評價結(jié)果由以下等式計(jì)算得到：SSIM(X,Y)＝[L(X,Y)]α·[C(X,Y)]β·[S(X,Y)]γ(4)其中，α、β、γ是調(diào)節(jié)亮度相似性、對比度相似性以及結(jié)構(gòu)相似性這三個指標(biāo)相對重要性的非負(fù)常數(shù)，其典型的取值為α＝β＝γ＝1，則等式(4)變?yōu)橐韵滦问剑?![CDATA[SSIM(X,Y)=(2uXuY+C1)(2σXY+C2)(uX2+uY2+C1)(σX2+σY2+C2)---(5)]]>其中參考圖像局部像素塊X和失真圖像局部像素塊Y是分別在參考圖像和失真圖像中對應(yīng)位置選取以像素(x,y)為中心的1...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李素梅，段志成，丁學(xué)東，常永莉，
申請(專利權(quán))人：天津大學(xué)，
類型：發(fā)明
國別省市：天津,12