一種基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，包括如下步驟：步驟1，對圖像進(jìn)行超像素分割；步驟2，多特征提取；步驟3，特征融合；步驟4，訓(xùn)練學(xué)習(xí)以及分類識別；本發(fā)明專利技術(shù)將2D特征和3D特征有效的融合在一起，顯著的提高了目標(biāo)的識別率，與現(xiàn)有技術(shù)相比，分割結(jié)果一致，連通性好，邊緣定位準(zhǔn)確，引入了Boosting決策森林分類機制，保證了目標(biāo)分類的穩(wěn)定性。
【技術(shù)實現(xiàn)步驟摘要】
基于多特征融合與Boosting決策森林的街景圖像的語義分割方法
本專利技術(shù)屬于圖像處理
，尤其涉及一種基于多特征融合與Boosting決策森林的街景圖像語義分割方法。
技術(shù)介紹
圖像分割是將圖像劃分成多個具有相似特征區(qū)域的技術(shù)與過程，是圖像處理中的重要問題。這里的特征可以是像素的灰度、顏色、紋理等，且預(yù)定義的目標(biāo)可以是單個區(qū)域，也可以對應(yīng)多個區(qū)域。圖像分割不僅是目標(biāo)表達(dá)的基礎(chǔ)，對特征質(zhì)量有著重要的影響，并且可以將原始圖像轉(zhuǎn)化為更加抽象的形式，使得更高層次的圖像分析和理解成為可能。計算機視覺中的圖像理解，如目標(biāo)檢測、目標(biāo)特征提取和目標(biāo)識別等，都依賴于圖像分割的質(zhì)量。圖像處理強調(diào)在圖像之間進(jìn)行變換以改善圖像的視覺效果。目前的圖像分割算法大多是針對某一類圖像進(jìn)行的，且圖像場景比較簡單，包含的對象類別較少；同時，一般的圖像分割算法對圖像的亮度、縮放等信息比較敏感，所以可能會造成誤分割。因此，把圖像分割和圖像的識別與理解結(jié)合起來，在保證圖像處理效果的同時提高圖像處理的效率，將具有非常重要的研究意義。但是目前基于視覺特征的分割算法得到的分割區(qū)域間沒有清晰的邊緣，而且對于不同的場景效果差異較大。在圖像分割和識別中，若僅使用局部區(qū)域的視覺特征來表示目標(biāo)對象，進(jìn)行語義標(biāo)注，則會產(chǎn)生二義性；或者僅僅使用2D特征或者3D特征也都無法得到理想的效果；目前一般都以像素為單位實現(xiàn)目標(biāo)的識別，為一張圖片中的每個像素賦予一個類別的標(biāo)簽。當(dāng)分類結(jié)果為多類識別時，圖片中相同類別標(biāo)簽的像素形成若干的連續(xù)區(qū)域，實現(xiàn)圖像的語義分割。由于需要對每個像素進(jìn)行判定，像素級別的目標(biāo)識別算法也將會產(chǎn)生龐大的數(shù)據(jù)運算量，同時相鄰像素的鄰域大部分是重疊的，因此提取的特征也比較相似，最終的類別判定結(jié)果相差也不大，但是在計算過程中包含了大量的冗余數(shù)據(jù)，大大增加了計算量。在機器學(xué)習(xí)中當(dāng)訓(xùn)練數(shù)據(jù)量很大的時候，處理效率和正確率得不到平衡，為此需要改進(jìn)當(dāng)前的分類器，使得準(zhǔn)確率提高的情況下穩(wěn)定性增強，并且消耗的時間不是太大。
技術(shù)實現(xiàn)思路
本專利技術(shù)針對現(xiàn)有技術(shù)的不足，提供了一種基于多特征融合與Boosting決策森林的街景圖像語義分割方法。基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，其特征在于該方法包括以下步驟：步驟1，對圖像進(jìn)行超像素分割；針對街景圖像所包含的對象比較復(fù)雜的特點，采用簡單線性迭代聚類SILC(simplelineariterativeclustering)對圖像進(jìn)行超像素分割；簡單線性迭代聚類是對3維的CIELAB顏色空間L、a、b和2維的位置信息特征進(jìn)行操作，采用了新的距離衡量方法，通過調(diào)節(jié)參數(shù)來控制超像素塊的數(shù)目；無論在計算復(fù)雜度、控制超像素的尺寸和個數(shù)來看，簡單線性迭代聚類在現(xiàn)有方法中表現(xiàn)都是很好的。簡單線性迭代聚類采用新的距離衡量D，表示如下：其中k和i分別為兩個像素，Ds表示lab距離和以網(wǎng)格距離歸一化的xy空間的距離綜合。變量m是一個常數(shù)，控制超像素的緊湊程度，可以調(diào)節(jié)超像素塊的大小，當(dāng)m的值越大時，則空間像素度的權(quán)重越大，我們這里選擇m＝10，圖像分割的超像素數(shù)為1000塊左右。圖形的梯度公式計算如下：G(x,y)＝||I(x+1,y)-I(x-1,y)||2+||I(x,y+1)-I(x,y-1)||2(2)其中I(x,y)表示Lab向量對應(yīng)的像素點的位置，而||.||表示2范數(shù)，這樣可以同時考慮亮度和位置信息。其中S是步長，N為圖像的像素總數(shù)，K是分割的超像素個數(shù)。簡單線性迭代聚類的具體處理步驟：1.1初始化聚類中心。按照步長S采用像素來初始化話聚類中心，在圖像中均勻分布聚類中心；1.2將聚類中心移動到鄰域內(nèi)梯度最小的地方，這樣可以防止聚類中心落在邊界上；1.3在每個聚類中心2S*2S范圍內(nèi)，根據(jù)距離公式對像素進(jìn)行K-means聚類，得到最新的聚類中心；1.4計算新的聚類中心與舊的聚類中心之間的L1范數(shù)距離E；1.5進(jìn)行迭代運算，直到E小于一個很小的閾值，結(jié)束運算；步驟2，多特征提?。惶卣魇怯脕砻枋鰣D像的最基本的屬性，在圖像分割和識別應(yīng)用中，僅僅利用2D或者3D特征對目標(biāo)對象進(jìn)行標(biāo)注時，可能會出現(xiàn)二義性，為了克服這種確定，采用多種有效特征綜合起來聯(lián)合強化框架；2.1提取超像素塊中物體距離地面的高度特征；對于每一塊超像素，計算超像素塊中物體距離地面的高度，可以采用超像素塊中的所有點到地面的距離之和的平均值；2.2提取曲面法向量特征；利用最小二乘法對超像素擬合一個平面，然后求其法向量。其x軸分量、y軸分量和z軸分量分別作為一維向量特征；2.3提取超像素塊中物體相對于攝像頭的高度；設(shè)在3D坐標(biāo)系中的y坐標(biāo)軸的方向是向上的，則現(xiàn)實世界中的一點w相對于攝像機的高度fH可如下表示：fH(w)＝wy-cy(4)fH是相對于攝像頭的高度,w(x,y,z)是現(xiàn)實世界中的一點的3D坐標(biāo)，c(x,y,z)是攝像機的3D坐標(biāo)。2.4提取3D像素塊到攝像頭的距離特征；我們可以充分利用物體到攝像頭的距離，來劃分物體。通過計算超像素塊中心到攝像頭的最近距離，這個最近距離作為3D像素塊到攝像頭的距離；2.5提取3D像素塊的不平整度特征；3D像素塊的不平整度，以3D點到擬合平面的距離之和為度量值；2.6提取顏色直方圖特征。由于HSV空間更加接近于人們對顏色的主觀認(rèn)識，故在目標(biāo)的HSV空間上提取目標(biāo)的顏色直方圖特征；對于被給定的目標(biāo)0，它在t時刻的HSV顏色直方圖特征可以表示為：其中yi表示HSV每一級別的值；2.7提取深度直方圖特征；利用已獲得的圖像的深度圖，分成若干個bin，提取出深度直方圖，并且均衡化處理。2.8提取基于灰度直方圖的紋理特征；基于灰度直方圖的統(tǒng)計矩的紋理特征描述與提取方法是一種紋理統(tǒng)計方法。該方法可以定量的描述區(qū)域的平滑、粗糙、規(guī)則性等紋理特征。設(shè)r為表示圖像灰度級的隨機變量；L為圖像的灰度級數(shù)；p(ri)為對應(yīng)的直方圖(其中i＝0,1,2,...,L-1)；則r的均值m表示為：r關(guān)于均值m的n階矩陣表示為：通過計算9式可知μ0＝1，μ1＝0；對于其他n階矩陣：(2.8.1)二階矩陣μ2又稱為方差，它是灰度級對比度的量度。利用二矩陣可以得到有關(guān)平滑度的描述因子，其計算公式為：由8式子可知，圖像的紋理越平滑，對應(yīng)的圖像灰度起伏越小，圖像的二階矩越小，求得的R值越小；反之，圖像的紋理越粗糙，對應(yīng)的圖像灰度起伏越大，圖像的二階矩越大，所求得的R值越大，其中σ為灰度直方圖二階矩陣的標(biāo)準(zhǔn)差。(2.8.2)三階矩μ3是圖像直方圖偏斜度的度量，可以用來確定直方圖的對稱性；(2.8.3)四階矩μ4可以表示直方圖的相對平整度；五階以上的矩和直方圖形的聯(lián)系度不大；步驟3，特征融合；首先使用簡單連續(xù)特征融合策略將上述多種特征結(jié)合；然后使用核PCA算法從融合的特征集中提取出非線性特征，從而將融合的特征集降到一定的維數(shù)；具體步驟為：3.1對于一個被給定的目標(biāo)O，它在t時刻利用連續(xù)特征融合策略獲得的融合特征向量Fto表示為：Fto是在t時刻目標(biāo)O的融合特征，是在t時刻目標(biāo)O的顏色直方圖特征，Vto是除顏色直方圖外的其它特征。3.2將特征向量Fto映射到一個高維的特征空間K(Fto)，然后在K(Fto)上實施PCA算法，從而獲得最終的非線性特征本文檔來自技高網(wǎng)...
【技術(shù)保護點】
基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，其特征在于該方法包括以下步驟：步驟1，對圖像進(jìn)行超像素分割；針對街景圖像所包含的對象比較復(fù)雜的特點，采用簡單線性迭代聚類SILC(simple?linear?iterative?clustering)對圖像進(jìn)行超像素分割；簡單線性迭代聚類是對3維的CIELAB顏色空間L、a、b和2維的位置信息特征進(jìn)行操作，采用了新的距離衡量方法，通過調(diào)節(jié)參數(shù)來控制超像素塊的數(shù)目；無論在計算復(fù)雜度、控制超像素的尺寸和個數(shù)來看，簡單線性迭代聚類在現(xiàn)有方法中表現(xiàn)都是很好的。簡單線性迭代聚類采用新的距離衡量D，表示如下：dlab=(lk-li)2+(ak-ai)2+(bk-bi)2]]>dxy=(xk-xi)2+(yk-yi)2---(1)]]>Ds=dlab+msdxy]]>其中k和i分別為兩個像素，Ds表示lab距離和以網(wǎng)格距離歸一化的xy空間的距離綜合。變量m是一個常數(shù)，控制超像素的緊湊程度，可以調(diào)節(jié)超像素塊的大小，當(dāng)m的值越大時，則空間像素度的權(quán)重越大，我們這里選擇m＝10，圖像分割的超像素數(shù)為1000塊左右。圖形的梯度公式計算如下：G(x,y)＝||I(x+1,y)?I(x?1,y)||2+||I(x,y+1)?I(x,y?1)||2????(2)其中I(x,y)表示Lab向量對應(yīng)的像素點的位置，而||.||表示2范數(shù)，這樣可以同時考慮亮度和位置信息。s=NK---(3)]]>其中S是步長，N為圖像的像素總數(shù)，K是分割的超像素個數(shù)。簡單線性迭代聚類的具體處理步驟：1.1初始化聚類中心。按照步長S采用像素來初始化話聚類中心，在圖像中均勻分布聚類中心；1.2將聚類中心移動到鄰域內(nèi)梯度最小的地方，這樣可以防止聚類中心落在邊界上；1.3在每個聚類中心2S*2S范圍內(nèi)，根據(jù)距離公式對像素進(jìn)行K?means聚類，得到最新的聚類中心；1.4計算新的聚類中心與舊的聚類中心之間的L1范數(shù)距離E；1.5進(jìn)行迭代運算，直到E小于一個很小的閾值，結(jié)束運算；步驟2，多特征提取；特征是用來描述圖像的最基本的屬性，在圖像分割和識別應(yīng)用中，僅僅利用2D或者3D特征對目標(biāo)對象進(jìn)行標(biāo)注時，可能會出現(xiàn)二義性，為了克服這種確定，采用多種有效特征綜合起來聯(lián)合強化框架；2.1提取超像素塊中物體距離地面的高度特征；對于每一塊超像素，計算超像素塊中物體距離地面的高度，可以采用超像素塊中的所有點到地面的距離之和的平均值；2.2提取曲面法向量特征；利用最小二乘法對超像素擬合一個平面，然后求其法向量。其x軸分量、y軸分量和z軸分量分別作為一維向量特征；2.3提取超像素塊中物體相對于攝像頭的高度；設(shè)在3D坐標(biāo)系中的y坐標(biāo)軸的方向是向上的，則現(xiàn)實世界中的一點w相對于攝像機的高度fH可如下表示：fH(w)＝wy?cy????(4)fH是相對于攝像頭的高度,w(x,y,z)是現(xiàn)實世界中的一點的3D坐標(biāo)，c(x,y,z)是攝像機的3D坐標(biāo)。2.4提取3D像素塊到攝像頭的距離特征；我們可以充分利用物體到攝像頭的距離，來劃分物體。通過計算超像素塊中心到攝像頭的最近距離，這個最近距離作為3D像素塊到攝像頭的距離；2.5提取3D像素塊的不平整度特征；3D像素塊的不平整度，以3D點到擬合平面的距離之和為度量值；2.6提取顏色直方圖特征。由于HSV空間更加接近于人們對顏色的主觀認(rèn)識，故在目標(biāo)的HSV空間上提取目標(biāo)的顏色直方圖特征；對于被給定的目標(biāo)0，它在t時刻的HSV顏色直方圖特征可以表示為：cto={y1,y2,...y256}---(5)]]>其中yi表示HSV每一級別的值；2.7提取深度直方圖特征；利用已獲得的圖像的深度圖，分成若干個bin，提取出深度直方圖，并且均衡化處理。2.8提取基于灰度直方圖的紋理特征；基于灰度直方圖的統(tǒng)計矩的紋理特征描述與提取方法是一種紋理統(tǒng)計方法。該方法可以定量的描述區(qū)域的平滑、粗糙、規(guī)則性等紋理特征。設(shè)r為表示圖像灰度級的隨機變量；L為圖像的灰度級數(shù)；p(ri)為對應(yīng)的直方圖(其中i＝0,1,2,...,L?1)；則r的均值m表示為：m=Σi=0L-1rip(ri)---(6)]]>r關(guān)于均值m的n階矩陣表示為：μn(r)=Σi=0L-1(ri-m)np(ri)---(7)]]>通過計算9式可知μ0＝1，μ1＝0；對于其他n階矩陣：(2.8.1)二階矩陣μ2又稱為方差，它是灰度級對比度的量度。利用二矩陣可以得到有關(guān)平滑度的描述因子，其計算公式為：R=1-11+μ2=1-11+σ2---(8)]]>由8式子可知，圖像的紋理越平滑，對應(yīng)的圖像灰度起伏越小，圖像的二階矩越小，求得的R值越小；反之，圖像的紋理越粗糙，對應(yīng)的圖像灰度起伏越大，圖像的二階矩越大，所求得的R值越大，...
【技術(shù)特征摘要】
1.基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，其特征在于該方法包括以下步驟：步驟1，對圖像進(jìn)行超像素分割；采用簡單線性迭代聚類SILC(simplelineariterativeclustering)對圖像進(jìn)行超像素分割；簡單線性迭代聚類是對3維的CIELAB顏色空間L、a、b和2維的位置信息特征進(jìn)行操作，通過調(diào)節(jié)參數(shù)來控制超像素塊的數(shù)目；表示如下：其中k和i分別為兩個像素，Ds表示lab距離和以網(wǎng)格距離歸一化的xy空間的距離綜合；變量m是一個常數(shù)，控制超像素的緊湊程度，可以調(diào)節(jié)超像素塊的大小，當(dāng)m的值越大時，則空間像素度的權(quán)重越大，我們這里選擇m＝10，圖像分割的超像素數(shù)為1000塊；圖形的梯度公式計算如下：G(x,y)＝||I(x+1,y)-I(x-1,y)||2+||I(x,y+1)-I(x,y-1)||2(2)其中I(x,y)表示Lab向量對應(yīng)的像素點的位置，而||.||表示2范數(shù)，同時考慮亮度和位置信息；其中S是步長，N為圖像的像素總數(shù)，K是分割的超像素個數(shù)；簡單線性迭代聚類的具體處理步驟：1.1初始化聚類中心；按照步長S采用像素來初始化話聚類中心，在圖像中均勻分布聚類中心；1.2將聚類中心移動到鄰域內(nèi)梯度最小的地方，防止聚類中心落在邊界上；1.3在每個聚類中心2S*2S范圍內(nèi)，根據(jù)距離公式對像素進(jìn)行K-means聚類，得到最新的聚類中心；1.4計算新的聚類中心與舊的聚類中心之間的L1范數(shù)距離E；1.5進(jìn)行迭代運算，直到E小于一個很小的閾值，結(jié)束運算；步驟2，多特征提取；特征是用來描述圖像的最基本的屬性；2.1提取超像素塊中物體距離地面的高度特征；對于每一塊超像素，計算超像素塊中物體距離地面的高度，采用超像素塊中的所有點到地面的距離之和的平均值；2.2提取曲面法向量特征；利用最小二乘法對超像素擬合一個平面，然后求其法向量；其x軸分量、y軸分量和z軸分量分別作為一維向量特征；2.3提取超像素塊中物體相對于攝像頭的高度；設(shè)在3D坐標(biāo)系中的y坐標(biāo)軸的方向是向上的，則現(xiàn)實世界中的一點w相對于攝像機的高度fH可如下表示：fH(w)＝wy-cy(4)fH是相對于攝像頭的高度,w(x,y,z)是現(xiàn)實世界中的一點的3D坐標(biāo)，c(x,y,z)是攝像機的3D坐標(biāo)；2.4提取3D像素塊到攝像頭的距離特征；通過計算超像素塊中心到攝像頭的最近距離，這個最近距離作為3D像素塊到攝像頭的距離；2.5提取3D像素塊的不平整度特征；3D像素塊的不平整度，以3D點到擬合平面的距離之和為度量值；2.6提取顏色直方圖特征；對于被給定的目標(biāo)0，它在t時刻的HSV顏色直方圖特征表示為：其中yi表示HSV每一級別的值；2.7提取深度直方圖特征；利用已獲得的圖像的深度圖，分成若干個bin，提取出深度直方圖，并且均衡化處理；2.8提取基于灰度直方圖的紋理特征；基于灰度直方圖的統(tǒng)計矩的紋理特征描述與提取方法是一種紋理統(tǒng)計方法；該方法可以定量的描述區(qū)域的平滑、粗糙、規(guī)則性的紋理特征；設(shè)r為表示圖像灰度級的隨機變量；L為圖...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王慧燕，付建海，
申請(專利權(quán))人：浙江工商大學(xué)，
類型：發(fā)明
國別省市：浙江;33
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。