一種基于人眼立體視覺特性的立體圖像顯著性檢測方法技術(shù)

本發(fā)明專利技術(shù)具體涉及一種基于人眼立體視覺特性的立體圖像顯著性檢測方法，本發(fā)明專利技術(shù)包括立體圖像的空間以及深度兩個不同維度的視圖信息進(jìn)行顯著性計算，首先，先采用SLIC算法對單視點視圖進(jìn)行超像素分割，并進(jìn)行區(qū)域相似性進(jìn)行合并，然后，再采用GBVS算法計算二維空間顯著圖；接著，結(jié)合視差圖中的絕對視差特征，局部視差特征和深度對比度特征進(jìn)行深度顯著性計算；最后，結(jié)合人眼視覺疲勞特性，對視差分布進(jìn)行了合理的處理，將兩種不同維度的顯著圖采用線性加權(quán)方式進(jìn)行顯著性聚合，生成立體圖像顯著圖。本發(fā)明專利技術(shù)能夠在不同的場景下有效的檢測出立體圖像的顯著區(qū)域，適用于可疑物計算、圖像檢索等領(lǐng)域。

A stereoscopic image saliency detection method based on human stereo vision characteristics

The invention relates to a stereo image saliency detection method of stereo vision based on the characteristics, the invention includes a stereo image space and the depth of the two different dimensions of view information were calculated, firstly, using SLIC algorithm for super pixel segmentation of single view, and regional similarity are combined, then then, the GBVS algorithm of two-dimensional spatial saliency map; then, combining the absolute disparity characteristics in the disparity map, local disparity features and depth contrast features calculated depth significantly; finally, combined with the characteristics of human visual fatigue, the disparity distribution reasonably, the two significant figure of different dimensions by using linear weighted the way of significant polymerization, 3D image saliency map. The invention can effectively detect the salient area of the stereo image under different scenes, and is suitable for the fields of suspicious object calculation and image retrieval.

【技術(shù)實現(xiàn)步驟摘要】
一種基于人眼立體視覺特性的立體圖像顯著性檢測方法
本專利技術(shù)屬于圖像處理
，具體涉及一種基于人眼雙目立體視覺的立體圖像顯著性檢測的方法。
技術(shù)介紹
顯著性檢測技術(shù)是立體視頻處理技術(shù)的一個重要組成部分，也是許多不同的應(yīng)用程序在圖像處理的基礎(chǔ),尤其在目標(biāo)檢測和識別，圖像壓縮，視覺導(dǎo)航和圖像質(zhì)量評估等重要應(yīng)用例如，可以通過顯著性檢測技術(shù)獲取立體視頻的視覺顯著區(qū)域，進(jìn)一步對視覺顯著區(qū)域的視頻圖像質(zhì)量進(jìn)行完善提高，而減少非顯著區(qū)域(即對人眼視覺系統(tǒng)影響較小的區(qū)域)的處理時間。目前大部分的顯著性計算模型都是僅僅以圖像的顏色、亮度、形狀以及紋理等空間二維信息作為輸入，然后基于像素點利用降采樣或者多尺度變換的方式進(jìn)行顯著性計算，然而，這些計算模型在大多數(shù)情況下都沒有考慮物體的距離信息，不適用于立體圖像的顯著性檢測。通過上一章的研究分析，我們知道立體圖像中的深度信息是人眼視覺系統(tǒng)(HSV)的重要感知特征之一，它能夠反映物體距離觀察者的遠(yuǎn)近。根據(jù)現(xiàn)有的研究分析：距離較近或深度改變較劇烈的場景物體容易引起我們雙眼的注意，即表現(xiàn)出更強的視覺顯著性。鑒于上述現(xiàn)狀，需要對傳統(tǒng)的顯著性模型檢測進(jìn)行改進(jìn)，采取簡單有效的方法對立體圖像的二維空間以及深度兩個不同維度的視圖信息進(jìn)行顯著性計算，并且準(zhǔn)確的檢測出立體圖像的顯著區(qū)域。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的就是提出了一種基于雙目立體視覺的立體圖像顯著性檢測方法，包括如下步驟：步驟一：顯著特征提取：從立體圖像的二維、深度兩個不同維度的視圖信息進(jìn)行顯著性計算，分別提取二維顯著區(qū)域和深度顯著區(qū)域；其中提取二維顯著區(qū)域具體包括以下步驟：首先采用SLIC算法對立體視圖的左視圖進(jìn)行預(yù)處理，通過區(qū)域分割獲取超像素區(qū)域并進(jìn)行區(qū)域相似性合并，然后，再采用GBVS模型進(jìn)行二維顯著性計算，具體步驟為：a)采用SLIC算法對輸入左視圖進(jìn)行超像素分割獲取分割區(qū)域,具體公式如下：其中，(li,ai,bi)和(lj,aj,bj)分別表示(xi,yi)和(xj,yj)兩點在LAB顏色空間對應(yīng)的三個分量，dc表示兩點在LAB顏色空間的距離，ds表示兩點在二維平面內(nèi)的距離，m為表示迭代次數(shù)，默認(rèn)值取10，S為類間最大空間距離，Ds為所求的距離度量。將超像素分割后的立體圖像左視圖進(jìn)行區(qū)域相似性合并。經(jīng)過SLIC算法分割后，圖像中的每個分割區(qū)域都擁有自己的種子點，基于計算相鄰種子點的顏色特征相似性進(jìn)行區(qū)域合并，將超像素圖中的n個區(qū)域進(jìn)行合并，得到標(biāo)簽圖Lr(x,y)：其中，1≤i≤n，Lr(x,y)為標(biāo)簽圖。b)對區(qū)域相似性合并后的標(biāo)簽圖采用GBVS算法對區(qū)域合并后的圖像進(jìn)行二維空間顯著計算，該模型主要包括兩步：1.二維圖像特征的提取：采用線性濾波以及非線性濾波提取圖像的亮度顏色以及方向的低階視覺特征；得到特征圖M；2.二維顯著圖的生成：首先給定輸入圖像的一張?zhí)卣鲌D：M:[n]2→R，然后定義兩個特征點之間的距離公式為：式中M(i,j)和M(p,q)分別代表節(jié)點(i,j)、(p,q)兩點的相應(yīng)特征值。將特征圖M中的每一個像素點進(jìn)行兩兩相連構(gòu)建圖GA，然后計算出(i,j)和(p,q)這兩個節(jié)點的有向邊的相應(yīng)權(quán)重大小：式中σ為一個自定義參數(shù)，默認(rèn)取值為圖像寬度大小的0.1到0.15倍左右，反向邊具有同樣大小的權(quán)重值。首先將每個節(jié)點的有向邊權(quán)重大小都?xì)w一化到0到1區(qū)間，然后在圖GA上定義一條馬爾科夫鏈，通過馬爾科夫鏈的均衡分布反映出每個特征節(jié)點之間的差異大小，即對應(yīng)的顯著值，進(jìn)而得到二維顯著圖Simg：[n]2→R。其中深度顯著性計算，具體步驟為：a)采用DERS軟件根據(jù)輸入的左視點圖和右視點圖計算出相應(yīng)的原始視差圖D；b)對原始視差圖D進(jìn)行預(yù)處理，即首先計算原始視差圖D中每行局部視差改變量，初步分離背景與物體：其中，p表示視差圖中的該點像素，dp′和dp分別表示預(yù)處理后p點像素的視差值和原始圖中p點像素值，表示該行像素點的平均像素值，其中包括dp；得到圖像D′；采用區(qū)域?qū)Ρ榷人惴ㄓ糜谶M(jìn)一步的目標(biāo)背景的顯著性計算，該算法主要包括兩大部分：(1)先將圖像D′進(jìn)行圖像區(qū)域分割，(2)然后計算D′中的每個區(qū)域Ri與周圍其他區(qū)域的視差對比度并進(jìn)行顯著性賦值：其中，S(Ri)代表區(qū)域Ri的顯著值，ni表示區(qū)域Ri的像素點個數(shù)，nk表示區(qū)域Rk的像素點個數(shù)，dR′(Ri,Rk)表示Ri和Rk兩個區(qū)域之間的視差對比度大小：其中，d′(p,q)表示p和q兩點之間的視差差值，定義為|dp′-dq′|，ω(p,q)表示權(quán)重用來計算p和q兩點之間的空間距離，其中σ'2為一個控制參數(shù)默認(rèn)值取0.4，最后將計算后的圖像歸一化到[0,1]區(qū)間，基于屏幕前凸顯的物體更為顯著值進(jìn)行顯著性映射賦值：其中，SR′(x,y)代表(x,y)像素點位置的映射顯著值，Smax和Smin分別代表SR(x,y)中的最大顯著值以及最小顯著值；得到視差顯著圖S′R；c)利用高斯差分濾波器提取重要的深度感知特征—深度對比度，實現(xiàn)公式下：其中(x,y)代表濾波器位置，σ”和K分別用來控制濾波器的尺度和高斯核的半徑比；取σ”＝32，K＝1.6；得到深度對比度圖SE；d)再將獲取的視差顯著圖S′R和深度對比度圖SE采用線性加權(quán)的融合的方式獲取深度顯著圖Sdep：Sdep＝wrS′R+weSE其中，wr和we分別為視差顯著圖S′R和深度對比度圖SE的權(quán)重，這里wr＝we＝0.5。步驟二：顯著特征融合將提取的兩種不同維度的顯著特征圖結(jié)合人眼視覺疲勞特性，采取線性加權(quán)的融合策略進(jìn)行融合，進(jìn)而獲取立體圖像的顯著區(qū)域。具體步驟如下：SSM(x,y)＝λ(γSimg(x,y)+(1-γ)Sdep(x,y))其中，SSM(x,y)，Simg(x,y)和Sdep(x,y)分別表示立體圖像顯著圖，二維空間顯著圖和深度顯著圖，γ表示權(quán)重默認(rèn)初始值設(shè)為0.5，λ參數(shù)表示像素點的視覺舒適特征：其中，Tneg和Tpos表示視差舒適區(qū)域的區(qū)域門限值，具體大小值通過實驗統(tǒng)計手動設(shè)置。技術(shù)效果：對以上技術(shù)、步驟簡單分析，得出可以實現(xiàn)對立體圖像的顯著區(qū)域檢測，本專利技術(shù)提出一種基于雙目立體視覺的立體圖像顯著性檢測方法，能解決當(dāng)前傳統(tǒng)檢測模型存在復(fù)雜場景檢測效果不佳等問題。有效地提高了立體圖像顯著性檢測的準(zhǔn)確性，而且本專利技術(shù)提出的算法復(fù)雜度比較低，符合人眼的視覺感知特性，具有一定的實用價值。附圖說明圖1是本專利技術(shù)基于雙目立體視覺的立體圖像顯著性檢測方法的流程圖。圖2是立體圖像左視圖。圖3是立體圖像右視圖。圖4是立體圖像左視圖的超像素分割圖。圖5是立體圖像左視圖超像分割區(qū)域合并圖。圖6是立體圖像左視圖的二維空間顯著圖。圖7是立體圖像左視圖和右視圖的視差圖。圖8是立體圖像視差圖的視差預(yù)處理圖。圖9是立體圖像視差圖的局部視差顯著圖。圖10是立體圖像視差圖的視差顯著圖。圖11是立體圖像視差圖的深度對比度圖。圖12是立體圖像的深度顯著圖。圖13是立體圖像的顯著區(qū)域檢測圖。圖14(1-10)是不同的立體圖像的檢測結(jié)果圖。具體實施方式結(jié)合以下具體實施例和附圖，對本專利技術(shù)進(jìn)一步的詳細(xì)說明。本專利技術(shù)的目的就是提出了一種基于雙目立體視覺的立體圖像顯著性檢測方法，包括如下步驟：步驟一：顯著特征提取：從立體圖像的二維、深度兩個不同維度的視圖信息進(jìn)行顯著本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種基于人眼立體視覺特性的立體圖像顯著性檢測方法，其特征在于，該方法具體包括以下步驟：步驟一：顯著特征提取：從立體圖像的二維、深度兩個不同維度的視圖信息進(jìn)行顯著性計算，分別提取二維顯著區(qū)域和深度顯著區(qū)域；其中提取二維顯著區(qū)域具體包括以下步驟：首先采用SLIC算法對立體視圖的左視圖進(jìn)行預(yù)處理，通過區(qū)域分割獲取超像素區(qū)域并進(jìn)行區(qū)域相似性合并，然后，再采用GBVS模型進(jìn)行二維顯著性計算，具體步驟為：a)采用SLIC算法對輸入左視圖進(jìn)行超像素分割獲取分割區(qū)域,具體公式如下：

【技術(shù)特征摘要】
1.一種基于人眼立體視覺特性的立體圖像顯著性檢測方法，其特征在于，該方法具體包括以下步驟：步驟一：顯著特征提取：從立體圖像的二維、深度兩個不同維度的視圖信息進(jìn)行顯著性計算，分別提取二維顯著區(qū)域和深度顯著區(qū)域；其中提取二維顯著區(qū)域具體包括以下步驟：首先采用SLIC算法對立體視圖的左視圖進(jìn)行預(yù)處理，通過區(qū)域分割獲取超像素區(qū)域并進(jìn)行區(qū)域相似性合并，然后，再采用GBVS模型進(jìn)行二維顯著性計算，具體步驟為：a)采用SLIC算法對輸入左視圖進(jìn)行超像素分割獲取分割區(qū)域,具體公式如下：其中，(li,ai,bi)和(lj,aj,bj)分別表示(xi,yi)和(xj,yj)兩點在LAB顏色空間對應(yīng)的三個分量，dc表示兩點在LAB顏色空間的距離，ds表示兩點在二維平面內(nèi)的距離，m為表示迭代次數(shù)，默認(rèn)值取10，S為類間最大空間距離，Ds為所求的距離度量；將超像素分割后的立體圖像左視圖進(jìn)行區(qū)域相似性合并；經(jīng)過SLIC算法分割后，圖像中的每個分割區(qū)域都擁有自己的種子點，基于計算相鄰種子點的顏色特征相似性進(jìn)行區(qū)域合并，將超像素圖中的n個區(qū)域進(jìn)行合并，得到標(biāo)簽圖Lr(x,y)：其中，1≤i≤n，Lr(x,y)為標(biāo)簽圖；b)對區(qū)域相似性合并后的標(biāo)簽圖采用GBVS算法對區(qū)域合并后的圖像進(jìn)行二維空間顯著計算，該模型主要包括兩步：1.二維圖像特征的提取：采用線性濾波以及非線性濾波提取圖像的亮度顏色以及方向的低階視覺特征；得到特征圖M；2.二維顯著圖的生成：首先給定輸入圖像的一張?zhí)卣鲌D：M:[n]2→R，然后定義兩個特征點之間的距離公式為：式中M(i,j)和M(p,q)分別代表節(jié)點(i,j)、(p,q)兩點的相應(yīng)特征值；將特征圖M中的每一個像素點進(jìn)行兩兩相連構(gòu)建圖GA，然后計算出(i,j)和(p,q)這兩個節(jié)點的有向邊的相應(yīng)權(quán)重大小：式中σ為一個自定義參數(shù)，默認(rèn)取值為圖像寬度大小的0.1到0.15倍左右，反向邊具有同樣大小的權(quán)重值；首先將每個節(jié)點的有向邊權(quán)重大小都?xì)w一化到0到1區(qū)間，然后在圖GA上定義一條馬爾科夫鏈，通過馬爾科夫鏈的均衡分布反映出每個特征節(jié)點之間的差異大小，即對應(yīng)的顯著值，進(jìn)而得到二維顯著圖Simg：[n]2→R；其中深度顯著性計算，具體步驟為：a)采用DERS軟件根據(jù)輸入的左視點圖和右視點圖計算出相應(yīng)的原始視差圖D；b)對原始視差圖D進(jìn)行預(yù)處理，即首先計算原始視差圖D中每行局部視差改變量，初步分離背景與物體：其中，p表示視差圖中的該點像素，d′p和dp分別表示預(yù)處理后...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉曉琪，周洋，何永健，
申請(專利權(quán))人：杭州電子科技大學(xué)，
類型：發(fā)明
國別省市：浙江,33