一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端制造方法及圖紙

本文公開了實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端。所述方法包括：將涂抹軌跡作為骨架生長成標(biāo)記區(qū)，確定包含標(biāo)記區(qū)的感興趣區(qū)域，生成圖像分割算法的輸入掩模圖：將標(biāo)記區(qū)中像素作為掩模圖中前景點(diǎn)，將感興趣區(qū)域中標(biāo)記區(qū)外的像素作為掩模圖中背景點(diǎn)；獲取包含目標(biāo)對(duì)象深度信息的深度圖，根據(jù)深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，構(gòu)建無向圖并將掩模圖中的每一個(gè)像素的分割參數(shù)映射到無向圖中，根據(jù)最小割?最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，從原始圖像中分割出精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。本文能縮短算法的運(yùn)行時(shí)間，利用圖像的深度信息改善圖像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises the following steps: applying trajectory as the skeleton growth marking area, determine the area contains labeled regions of interest, image segmentation algorithm input mask pattern: mark region in the foreground pixels as mask image, pixel region of interest will mark outside the region as the background point in mask image access; depth map containing the target object depth information, according to the depth map and the mask pattern determines the mask image segmentation parameters of each pixel, construct the segmentation parameter mapping each pixel of the undirected graph and the mask map to the undirected graph, according to the small cut maximum flow algorithm no processing to map the mask image to obtain a fine segmentation, segmentation and fine segmentation after the mask before the spots corresponding patterns from the original image. This paper can shorten the running time of the algorithm, and use the depth information of the image to improve the effect of image segmentation.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端
本專利技術(shù)涉及圖像處理
，尤其涉及一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端。
技術(shù)介紹
圖像分割，是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若干區(qū)域，這是圖像處理領(lǐng)域的一項(xiàng)實(shí)用的基礎(chǔ)技術(shù)。現(xiàn)有的圖像分割技術(shù)有基于閾值的分割方法、基于邊緣的分割方法、基于區(qū)域的分割方法、基于能量泛函的分割方法、基于圖論的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進(jìn)版本GrabCut算法。GraphCut算法及其改進(jìn)版本GrabCut算法，是基于區(qū)域標(biāo)注的交互式圖像分割方法。GraphCut算法是基于馬爾可夫隨機(jī)場(MarkovRandomField,MRF)能量最小化框架的一種算法，優(yōu)點(diǎn)在于可以結(jié)合多種理論知識(shí)進(jìn)行全局最優(yōu)求解。GrabCut算法是對(duì)GraphCut算法的改進(jìn)，GrabCut算法通過在原始圖像上標(biāo)注出前景點(diǎn)(要提取的目標(biāo)對(duì)象上的點(diǎn))和背景點(diǎn)生成掩模圖，利用原圖和掩模圖對(duì)前景、背景顏色空間建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM參數(shù)學(xué)習(xí)、估計(jì)過程中可進(jìn)化的迭代算法完成能量最小化，判決出圖像中的前景點(diǎn)和背景點(diǎn)，從原圖中提取出由前景點(diǎn)像素組成的目標(biāo)圖像。在手機(jī)上使用GrabCut算法進(jìn)行圖像分割時(shí)，為了降低交互的復(fù)雜性，通常對(duì)用戶如何標(biāo)記不做嚴(yán)格要求，因此，在用戶標(biāo)記的前景點(diǎn)較少的情況下迭代次數(shù)可能很多，算法運(yùn)行時(shí)間較長，影響了用戶的體驗(yàn)。另一方面，相關(guān)技術(shù)中的GrabCut算法是基于彩色圖像進(jìn)行圖像分割的，當(dāng)要提取的目標(biāo)對(duì)象的顏色特征并不明顯時(shí)，利用彩色圖進(jìn)行分割的分割效果并不理想。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)所要解決的技術(shù)問題是提供一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端，能夠縮短算法的運(yùn)行時(shí)間，利用圖像的深度信息改善圖像分割的效果。本專利技術(shù)實(shí)施例提供了一種實(shí)現(xiàn)交互式圖像分割的方法，包括：檢測(cè)到原始圖像上的涂抹軌跡后，將所述涂抹軌跡作為骨架生長成標(biāo)記區(qū)，確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)，生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；獲取包含目標(biāo)對(duì)象深度信息的深度圖，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，所述分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的深度值差異；構(gòu)建無向圖，將所述掩模圖中的每一個(gè)像素的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；從拍攝所述目標(biāo)對(duì)象所獲得的原始圖像中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。可選地，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，包括：按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的區(qū)域項(xiàng)分割參數(shù)，所述區(qū)域項(xiàng)分割參數(shù)是所述像素判決為前景點(diǎn)或背景點(diǎn)的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據(jù)所述掩模圖上各個(gè)像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇，確定各個(gè)簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；M步驟：根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率，對(duì)任意一個(gè)像素，根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類。可選地，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，還包括：根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的邊界項(xiàng)分割參數(shù)；其中，對(duì)任意一個(gè)像素，將所述像素與鄰近的各個(gè)像素之間的深度值差值絕對(duì)值進(jìn)行累加，再對(duì)累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的邊界項(xiàng)分割參數(shù)。可選地，構(gòu)建無向圖，將所述掩模圖中的每一個(gè)像素的分割參數(shù)映射到所述無向圖中，包括：構(gòu)建一個(gè)無向圖，在所述無向圖的平面外設(shè)置兩個(gè)懸空點(diǎn)Q0和Q1，所述懸空點(diǎn)Q0為虛擬前景點(diǎn)，所述懸空點(diǎn)Q1為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個(gè)像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q0之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q1之間建立連線；對(duì)掩模圖中的任意一個(gè)像素Pi，將所述像素Pi的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'的權(quán)值，將所述像素Pi的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'與懸空點(diǎn)Q0或Q1之間連線的權(quán)值。可選地，所述根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，包括：迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個(gè)像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；其中，C步驟和D步驟分別包括以下處理：C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q0同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q0之間連線的權(quán)值和；其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。可選地，拍攝所述目標(biāo)對(duì)象所獲得的原始圖像是彩色圖、黑白圖、或紅外圖。可選地，所述將所述涂抹軌跡作為骨架生長成標(biāo)記區(qū)，確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域，包括：獲取原始圖像的邊緣梯度信息，從所述涂抹軌跡的像素中選取部分像素作為種子，每一個(gè)種子根據(jù)圖像的邊緣梯度信息分別向外生長形成一個(gè)子區(qū)域，所有的種子向外生長形成的子區(qū)域合并后形成一個(gè)擴(kuò)展區(qū)域，將所述擴(kuò)展區(qū)域作為標(biāo)記區(qū)；根據(jù)所述涂抹軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述涂抹軌跡的感興趣區(qū)域，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對(duì)所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。可選地，所述每一個(gè)種子根據(jù)圖像的邊緣梯度信息向外生長形成一個(gè)子區(qū)域，包括對(duì)每一個(gè)種子執(zhí)行下述步驟A-F：步驟A：將所述種子作為起始點(diǎn)，為所述起始點(diǎn)設(shè)置能量值，將所述起始點(diǎn)標(biāo)記為活動(dòng)點(diǎn)；步驟B:判斷當(dāng)前是否存在標(biāo)記為活動(dòng)點(diǎn)的像素，是則執(zhí)行步驟C，否則執(zhí)行步驟F；步驟C：對(duì)任意一個(gè)標(biāo)記為活動(dòng)點(diǎn)的像素A，判斷所述像素A的上、下、左、右四個(gè)相鄰點(diǎn)中是否存在未檢查過的像素B，是則執(zhí)行步驟D，否則執(zhí)行步驟E；步驟D：對(duì)任意一個(gè)未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標(biāo)記為新的活動(dòng)點(diǎn)，將所述像素B的能量值設(shè)置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小于或等于所述像素A的能量值；步驟E：判定所述像素A已經(jīng)完成生長，去除所述像素A的活動(dòng)點(diǎn)標(biāo)記，將所述像素A歸入前景點(diǎn)集合，返回步驟B；步驟F:由所述前景點(diǎn)集合中的所有像素構(gòu)成的子區(qū)域是所述種子根據(jù)圖像的邊緣梯度信息向外生本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種實(shí)現(xiàn)交互式圖像分割的方法，包括：檢測(cè)到原始圖像上的涂抹軌跡后，將所述涂抹軌跡作為骨架生長成標(biāo)記區(qū)，確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)，生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；獲取包含目標(biāo)對(duì)象深度信息的深度圖，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，所述分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的深度值差異；構(gòu)建無向圖，將所述掩模圖中的每一個(gè)像素的分割參數(shù)映射到所述無向圖中，根據(jù)最小割?最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；從拍攝所述目標(biāo)對(duì)象所獲得的原始圖像中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。

【技術(shù)特征摘要】
1.一種實(shí)現(xiàn)交互式圖像分割的方法，包括：檢測(cè)到原始圖像上的涂抹軌跡后，將所述涂抹軌跡作為骨架生長成標(biāo)記區(qū)，確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)，生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；獲取包含目標(biāo)對(duì)象深度信息的深度圖，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，所述分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的深度值差異；構(gòu)建無向圖，將所述掩模圖中的每一個(gè)像素的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；從拍攝所述目標(biāo)對(duì)象所獲得的原始圖像中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。2.根據(jù)權(quán)利要求1所述的方法，其特征在于：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，包括：按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的區(qū)域項(xiàng)分割參數(shù)，所述區(qū)域項(xiàng)分割參數(shù)是所述像素判決為前景點(diǎn)或背景點(diǎn)的概率；其中，所述E步驟和M步驟分別包括以下處理：E步驟：根據(jù)所述掩模圖上各個(gè)像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇，確定各個(gè)簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；M步驟：根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率，對(duì)任意一個(gè)像素，根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類。3.根據(jù)權(quán)利要求2所述的方法，其特征在于：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的分割參數(shù)，還包括：根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的邊界項(xiàng)分割參數(shù)；其中，對(duì)任意一個(gè)像素，將所述像素與鄰近的各個(gè)像素之間的深度值差值絕對(duì)值進(jìn)行累加，再對(duì)累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的邊界項(xiàng)分割參數(shù)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于：構(gòu)建無向圖，將所述掩模圖中的每一個(gè)像素的分割參數(shù)映射到所述無向圖中，包括：構(gòu)建一個(gè)無向圖，在所述無向圖的平面外設(shè)置兩個(gè)懸空點(diǎn)Q0和Q1，所述懸空點(diǎn)Q0為虛擬前景點(diǎn)，所述懸空點(diǎn)Q1為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個(gè)像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q0之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q1之間建立連線；對(duì)掩模圖中的任意一個(gè)像素Pi，將所述像素Pi的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'的權(quán)值，將所述像素Pi的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'與懸空點(diǎn)Q0或Q1之間連線的權(quán)值。5.根據(jù)權(quán)利要求4所述的方法，其特征在于：所述根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，包括：迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個(gè)像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；其中，C步驟和D步驟分別包括以下處理：C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q0同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q0之間連線的權(quán)值和；其中，所...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：梁舟，
申請(qǐng)(專利權(quán))人：努比亞技術(shù)有限公司，
類型：發(fā)明
國別省市：廣東,44