一種基于特征點密度由聚焦堆棧估計深度的方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種基于特征點密度由聚焦堆棧估計深度的方法和裝置，所述方法包括：提取聚焦堆棧中每個圖像的特征點，建立基于特征點密度的聚焦測度；建立引入特征點密度的加權(quán)聚焦測度的估計深度的模型：以采用SML聚焦測度為例，建立SML與特征點密度的加權(quán)線性混合聚焦測度作為深度估計的目標(biāo)函數(shù)，實現(xiàn)對場景深度的估計和全聚焦圖。本發(fā)明專利技術(shù)的方案，建立關(guān)于特征點密度的聚焦測度及建立線性加權(quán)聚焦測度，并構(gòu)建基于聚焦測度的深度估計模型，獲取場景的深度信息，以實現(xiàn)場景的全聚焦與三維重構(gòu)，可為現(xiàn)實三維重構(gòu)提供精確的深度信息并獲取全聚焦圖像。

Method and apparatus for estimating depth by focusing stack based on feature point density

The invention discloses a feature point based on density estimation method and device by focusing the stack depth, the method includes: extracting feature points of each image focusing in the stack, the establishment of focus measure feature points based on density estimation; depth of focus measure introduced a weighted feature point density of the model: the focus measure by SML for example, a weighted linear mixed focus measure SML and the density of feature points as the objective function of depth estimation, estimation of scene depth and focus map. The scheme of the invention, a focus measure about the density of feature points and establish linear weighted focus measure, and construct the estimation model based on the depth of focus measure, obtaining the depth information of the scene, focus and 3D reconstruction to achieve the scene, can provide accurate depth information for realistic 3D reconstruction and obtain full focus image.

【技術(shù)實現(xiàn)步驟摘要】
一種基于特征點密度由聚焦堆棧估計深度的方法和裝置
本專利技術(shù)涉及計算機視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于特征點密度由聚焦堆棧估計深度的方法和裝置。
技術(shù)介紹
場景三維信息的數(shù)字化拓展了人類對三維空間的認知和表達方式，基于圖像的三維重建一直是計算視覺的研究熱點。場景深度信息重構(gòu)可為虛擬現(xiàn)實、增強現(xiàn)實以及攝影測量等提供三維信息，是重構(gòu)三維場景的關(guān)鍵。目前，基于圖像的場景深度估計的方法主要分為立體視覺方法和單目視覺方法。對于立體視覺方法，深度估算方法以視差法較為常見，視差法以不同視點圖像間產(chǎn)生的視差作為深度估計的依據(jù)，其核心問題在于匹配，因此視差法在平滑區(qū)域和遮擋區(qū)域存在較大誤差。對于單目視覺方法而言，主要是利用聚焦和失焦信息。在同一場景不同聚焦深度圖像的變焦數(shù)據(jù)實現(xiàn)對場景的深度估計，聚焦法核心問題在于聚焦度測量。圖像中點距離聚焦平面距離的不同，相應(yīng)地聚焦程度也不一樣。目前，對圖像上像素點的聚焦程度的刻畫，大多采用散焦測度或聚焦測度，從而計算物點的深度。散焦測度的深度估計是利用系統(tǒng)點擴散函數(shù)反推求解，進行深度估計。對聚焦測度的刻畫，應(yīng)用比較廣泛的有：Modifield-Laplacian、theTenengardAlgorithm和Gray-LevelVariance、小波變換和信息熵等。但是，現(xiàn)有技術(shù)中的聚焦測度方法在圖像紋理區(qū)域檢測的準確性不高。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的在于提供一種基于特征點密度由聚焦堆棧估計深度的方法和裝置，其能夠彌補常規(guī)聚焦測度方法在紋理區(qū)域檢測不準確的問題。為實現(xiàn)上述目的，本專利技術(shù)提供一種基于特征點密度由聚焦堆棧估計深度的方法，所述方法包括：提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度。進一步地，所述提取聚焦堆棧中每個圖像的特征點，具體根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點。進一步地，所述建立特征點密度的聚焦測度具體為：其中，R(x,y)(d)為像點(x,y)的特征點密度的聚焦測度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。進一步地，所述已有的聚焦測度具體為SML聚焦測度，相應(yīng)的，所述利用特征點密度的聚焦測度和已有的聚焦測度，建立的線性加權(quán)的聚焦測度，具體為其中，表示SML聚焦測度，為改進的拉普拉斯算子，Id(x,y)表示在d深度下所成圖像，step表示SML算子中的步進值，參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小，α∈[0,1]是平衡聚焦測度算子與特征點測度算子的權(quán)重。進一步地，所述根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度，具體包括：計算圖像中像素點(x,y)的聚焦測度{focus(x,y)(dk)|k＝1,2,…,N}；深度估計方式為d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆棧圖像的總數(shù)，focus(x,y)(dk)表示圖像在dk深度下像點(x,y)的聚焦測度值。本專利技術(shù)還提供一種基于特征點密度由聚焦堆棧估計深度的裝置，所述裝置包括：第一處理模塊，用于提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；第二處理模塊，用于根據(jù)所述第一處理模塊得到的特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；深度估計模塊，用于根據(jù)所述第二處理模塊得到的圖像中任意像素點的聚焦測度值估計圖像中物點的深度。進一步地，所述第一處理模塊包括提取單元和處理單元；所述提取單元，用于根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點；所述處理單元，用于根據(jù)所述提取單元提取的所述每個圖像的特征點得到特征點密度的聚焦測度。進一步地，所述第一處理模塊包括提取單元和處理單元；所述處理單元建立的特征點密度的聚焦測度具體為：式中，R(x,y)(d)為像點(x,y)的特征點密度的聚焦測度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。進一步地，所述已有的聚焦測度具體為SML聚焦測度，所述第二處理模塊建立的線性加權(quán)的聚焦測度，具體為其中，表示SML聚焦測度，為改進的拉普拉斯算子，Id(x,y)表示在d深度下所成圖像，step表示SML算子中的步進值，參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小，α∈[0,1]是平衡聚焦測度算子與特征點測度算子的權(quán)重。進一步地，所述深度估計模塊具體包括計算單元和深度估計單元；所述計算單元，用于計算圖像中像素點(x,y)的聚焦測度{focus(x,y)(dk)|k＝1,2,…,N}；所述深度估計單元，采用的深度估計方式為d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆棧圖像的總數(shù)，focus(x,y)(dk)表示圖像在dk深度下像點(x,y)的聚焦測度值。本專利技術(shù)提供的方案，考慮物點在不同深度下聚焦程度，利用聚焦測度和特征點的稠密度進行刻畫。本專利技術(shù)以聚焦堆棧為數(shù)據(jù)，提取聚焦堆棧圖像的特征點，建立關(guān)于特征點密度的聚焦測度函數(shù)。利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)聚焦測度。最后，建立基于聚焦測度的深度估計模型，獲取場景的深度信息，以實現(xiàn)場景的全聚焦與三維重構(gòu)，避免了現(xiàn)有技術(shù)的常規(guī)聚焦測度在圖像紋理區(qū)域存在不準確的缺陷。附圖說明圖1是根據(jù)本專利技術(shù)第一實施例提供的基于特征點密度由聚焦堆棧估計深度的方法流程示意圖。圖2是根據(jù)本專利技術(shù)第一實施例提供的成像設(shè)備拍攝聚焦堆棧原理圖。圖3是根據(jù)本專利技術(shù)第一實施例提供的透鏡成像的聚焦散焦原理圖。圖4是根據(jù)本專利技術(shù)第二實施例提供的基于特征點密度由聚焦堆棧估計深度的裝置結(jié)構(gòu)示意圖。具體實施方式在附圖中，使用相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面結(jié)合附圖對本專利技術(shù)的實施例進行詳細說明。在本專利技術(shù)的描述中，術(shù)語“中心”、“縱向”、“橫向”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本專利技術(shù)和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本專利技術(shù)保護范圍的限制。如圖1所示，本實施例所提供的基于特征點密度由聚焦堆棧估計深度的方法包括：步驟101，通過成像設(shè)備獲取聚焦堆棧。該步驟中，成像設(shè)備包括透鏡和探測器，聚焦堆棧的生成過程是聚焦在不同成像面的過程，可根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距完成聚焦堆棧中圖像序列的采集，本實施例采用前者，即沿成像設(shè)備的光軸同步移動探測器和透鏡，通過探測器采集場景中物點(物體由多個物點組成)聚焦在不同成像面的圖像序列，這些圖像序列形成聚焦堆棧，根據(jù)如下的透鏡成像原理：上述的“圖像序列”中的各圖像探測器沿成像設(shè)備的光軸從一端向另一端移動的過程中依次排序獲得。容易理解的是，本專利技術(shù)實施例提供的方法同樣可以應(yīng)用于其它類似方式聚焦堆棧采集的場景。如圖2所示，圖本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種基于特征點密度由聚焦堆棧估計深度的方法，其特征在于，所述方法包括：提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度。

【技術(shù)特征摘要】
2016.12.14 CN 20161115581481.一種基于特征點密度由聚焦堆棧估計深度的方法，其特征在于，所述方法包括：提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度。2.如權(quán)利要求1所述的方法，其特征在于，所述提取聚焦堆棧中每個圖像的特征點，具體根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點。3.如權(quán)利要求1所述的方法，其特征在于，所述建立特征點密度的聚焦測度具體為：其中，R(x,y)(d)為像點(x,y)的特征點密度的聚焦測度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。4.如權(quán)利要求3所述的方法，其特征在于，所述已有的聚焦測度具體為SML聚焦測度，相應(yīng)的，所述利用特征點密度的聚焦測度和已有的聚焦測度，建立的線性加權(quán)的聚焦測度，具體為其中，表示SML聚焦測度，為改進的拉普拉斯算子，Id(x,y)表示在d深度下所成圖像，step表示SML算子中的步進值，參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小，α∈[0,1]是平衡聚焦測度算子與特征點測度算子的權(quán)重。5.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度，具體包括：計算圖像中像素點(x,y)的聚焦測度{focus(x,y)(dk)|k＝1,2,…,N}；深度估計方式為d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆棧圖像的總數(shù)，focus(x,y)(dk)表示圖像在dk深度下像點(x,y)的聚焦測度值。6.一種基于特征點密度由聚焦堆棧估計深度的裝置，其特征在于，所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：邱鈞，何建梅，劉暢，
申請(專利權(quán))人：北京信息科技大學(xué)，
類型：發(fā)明
國別省市：北京,11