一種基于光流法消除運動模糊的方法技術

本發明專利技術公開了一種基于光流法消除運動模糊的方法，涉及視頻圖像處理領域。本發明專利技術首先對采集的視頻數據進行離散化轉為連續圖像、對每張圖像進行灰度處理并依據灰度值提取特征點；之后在計算機內存中構建圖像數據緩存器存儲圖像數據；之后在數據緩存器中采用光流法估計圖像的連續運動變化，計算光流矢量，構建運動誤差矩陣；最后獲取下一幀圖像上各像素點的預測坐標信息與觀測坐標信息，計算卡爾曼增益系數，消除運動模糊，實現圖像復原。本發明專利技術可以有效去除圖像運動模糊，在滿足圖像修復質量的前提下，提高了圖像修復效率。

【技術實現步驟摘要】

本專利技術涉及視頻圖像處理領域，特別是指一種基于光流法消除運動模糊的方法。

技術介紹

1、圖像運動模糊的消除方法是視頻圖像處理領域中的重要內容之一。圖像運動模糊是由于曝光期間相機與拍攝場景存在相對運動造成的。存在運動模糊的圖像觀看體驗感差，容易導致觀看者產生眩暈感；存在運動模糊的圖像，會對后續的目標識別、目標跟蹤帶來困難。因此，對于圖像的運動模糊消除的研究意義重大。

2、圖像消除運動模糊的方法，依據先驗知識是否充足，可以分為基于模型去運動模糊技術和盲去運動模糊技術。

3、基于模型去運動模糊技術，通過建立圖像退化模型，然后借助優化方程求解逆過程，去除運動模糊，此類方法難點在于，在退化模型建立的過程中，相機與拍攝場景之間相對運動存在隨機性，往往建立的退化模型不能滿足圖像修復的需求。

4、盲去運動模糊的方法，是在缺乏相機與場景之間的相對運動模型的條件下，恢復模糊圖像，改善圖像治理的方法。此類方法，假設圖像上的鄰近像素是高度相關的，為了減少噪聲的干擾，采用最小均方誤差估計方法。此類方法的本質是通過迭代算法進行圖像優化，計算量通常非常大。

5、現有的方法在退化模型建立和圖像修復效率存在不足，針對復雜運動條件下，現有圖像修復方法無論在修復的效果還是在修復質量上均有較大提升空間。

技術實現思路

1、有鑒于此，本專利技術提出了一種基于光流法消除運動模糊的方法，本專利技術可以有效去除圖像運動模糊，在滿足圖像修復質量的前提下，實現了提高圖像修復的效率。</p>

2、為了實現上述目的，本專利技術采用的技術方案為：

3、一種基于光流法消除運動模糊的方法，包括以下步驟：

4、(1)從相機中獲取視頻流數據，根據相機的刷新率，將視頻流數據通過離散化處理轉為連續的圖像數據；

5、(2)對每張圖像均進行灰度處理，針對每張圖像，采用fast角點提取法，提取多個特征點；

6、(3)將圖像依次存儲在圖像緩存循環隊列內，相鄰兩幀圖像之間，將所有特征點根據灰度值不同劃分為多組數據，組與組之間的特征點灰度值間隔大于每組數據內的各個特征點之間的灰度值間隔；每組數據中包括當前灰度值范圍內相鄰兩幀圖像之間所有特征點的坐標與灰度值；在每組數據中選擇相鄰兩幀圖像上馬氏距離最小的兩個特征點作為一組匹配特征點；

7、(4)將相鄰兩幀圖像上的多組匹配特征點數據代入光流方程中，根據最小二乘算法求解光流矢量，計算當前圖像緩存循環隊列中所有光流矢量的方差，根據得到的方差構建實時運動誤差矩陣；

8、(5)根據當前圖像各像素點的坐標信息以及當前圖像與下一幀圖像之間的光流矢量，計算下一幀圖像上各像素點的預測坐標信息；觀測獲取下一幀圖像上各像素點的觀測坐標信息，根據預測坐標信息與觀測坐標信息得到觀測增益矩陣與觀測誤差矩陣；由觀測增益矩陣、觀測誤差矩陣與實時運動誤差矩陣計算卡爾曼增益系數；

9、(6)根據卡爾曼增益系數得到當前圖像上各像素點坐標信息的加權系數與下一幀圖像上各像素點預測坐標信息的加權系數，將當前圖像上各像素點的坐標信息與下一幀圖像上各像素點的預測坐標信息各自乘以各自的加權系數后相加，得到當前圖像的修復圖像的各像素點坐標；

10、完成基于光流法的運動模糊消除。

11、進一步地，步驟(2)中針對每張圖像，采用fast角點提取法，提取多個特征點的方法具體如下：

12、針對t時刻的圖像，采用fast角點提取法，設定鄰域范圍與灰度閾值，遍歷t時刻圖像上的每個像素點，在t時刻的圖像上，坐標為(x,y)處的像素點的灰度值為i(x,y,t)，若該像素點的灰度值與其鄰域范圍內所有像素點的灰度值做差，所得數值均大于所述灰度閾值，則選取當前像素點作為t時刻的圖像上的其中一個特征點。

13、進一步地，步驟(1)中相機的刷新率為f，步驟(3)中圖像緩存循環隊列的長度為n+1，n與f的數值相等，相鄰兩幀圖像之間的時間間隔步驟(3)的方法具體如下：

14、將圖像依次存儲在圖像緩存循環隊列內，依據如下公式選取相鄰兩幀圖像上的匹配特征點：

15、

16、其中，i(x+δx,y+δy,t+δt)為t+δt時刻圖像上的某一特征點的灰度值；第一個公式表示選取相鄰兩幀圖像之間，灰度值相近的特征點，由此將相鄰兩幀圖像之間所有特征點劃分為多組數據，且組與組之間的特征點灰度值間隔大于每組數據內的各個特征點之間的灰度值間隔；

17、zt為t時刻圖像上某一個特征點的坐標，zt+δt為下一幀圖像上與該特征點位于同一組數據中的特征點的坐標；dt,t+δt為兩特征點之間的馬氏距離；由第二個公式計算出在第一個公式所選取的每組數據中，相鄰兩幀圖像上兩兩特征點之間的馬氏距離，選取馬氏距離最小的兩個特征點作為一組匹配特征點。

18、進一步地，步驟(4)中將相鄰兩幀圖像上的多組匹配特征點數據代入光流方程中，根據最小二乘算法求解光流矢量的方法具體如下：

19、ixu+iyv+it＝0

20、其中，ix與iy分別為兩匹配特征點的灰度值沿著x和y方向變化的速度，it為兩匹配特征點間的灰度值在相鄰兩幀圖像之間的變化速度；u和v分別為兩匹配特征點坐標之間沿著x和y方向運動的速度，即求解的光流矢量，具體如下：

21、

22、其中，表示相鄰兩幀圖像之間的匹配特征點的灰度值沿x,y方向的變化協方差矩陣，表示相鄰兩幀圖像之間的匹配特征點的灰度值沿x,y方向的方差矢量，m表示相鄰兩幀圖像之間有m對匹配特征點；

23、在當前圖像緩存循環隊列中，實時得到最新的n-1個光流矢量，步驟(4)中計算當前圖像緩存循環隊列中所有光流矢量的方差，根據得到的方差構建的實時運動誤差矩陣p具體如下：

24、

25、其中，

26、

27、

28、為當前n幀圖像沿x方向速度變化方差；

29、

30、

31、為當前n幀圖像沿y方向速度變化方差。

32、進一步地，步驟(5)中根據當前圖像各像素點的坐標信息以及當前圖像與下一幀圖像之間的光流矢量，計算下一幀圖像上各像素點的預測坐標信息的方法具體如下：

33、xt+δt＝axt+d

34、其中，xt為t時刻圖像的各像素點坐標，xt+δt為預測下一幀圖像的各像素點坐標，a為轉移矩陣,d為控制矩陣,

35、步驟(5)中觀測獲取下一幀圖像上各像素點的觀測坐標信息，根據預測坐標信息與觀測坐標信息得到觀測增益矩陣與觀測誤差矩陣具體如下：

36、x't+δt＝hxt+δt+r

37、其中，x't+δt為觀測t+δt時刻圖像的各像素點坐標，h為觀測增益矩陣、r為觀測誤差矩陣，此處認為觀測值和預測結果近似相同，則h為單位矩陣，r為零矩陣；

38、步驟(5)中由觀測增益矩陣h、觀測誤差矩陣r與實時運動本文檔來自技高網...

【技術保護點】

1.一種基于光流法消除運動模糊的方法，其特征在于，包括以下步驟：

2.根據權利要求1所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(2)中針對每張圖像，采用Fast角點提取法，提取多個特征點的方法具體如下：

3.根據權利要求2所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(1)中相機的刷新率為f，步驟(3)中圖像緩存循環隊列的長度為n+1，n與f的數值相等，相鄰兩幀圖像之間的時間間隔步驟(3)的方法具體如下：

4.根據權利要求3所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(4)中將相鄰兩幀圖像上的多組匹配特征點數據代入光流方程中，根據最小二乘算法求解光流矢量的方法具體如下：

5.根據權利要求4所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(5)中根據當前圖像各像素點的坐標信息以及當前圖像與下一幀圖像之間的光流矢量，計算下一幀圖像上各像素點的預測坐標信息的方法具體如下：

6.根據權利要求5所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(6)的方法具體如下：

【技術特征摘要】

1.一種基于光流法消除運動模糊的方法，其特征在于，包括以下步驟：

2.根據權利要求1所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(2)中針對每張圖像，采用fast角點提取法，提取多個特征點的方法具體如下：

3.根據權利要求2所述一種基于光流法消除運動模糊的方法，其特征在于，步驟(1)中相機的刷新率為f，步驟(3)中圖像緩存循環隊列的長度為n+1，n與f的數值相等，相鄰兩幀圖像之間的時間間隔步驟(3)的方法具體如下：

4.根據權利要求3...

【專利技術屬性】
技術研發人員：孔志飛，張睿，韓博，關珍博，張偉正，
申請(專利權)人：中國電子科技集團公司第五十四研究所，
類型：發明
國別省市：