一種全景視頻拼接方法及裝置制造方法及圖紙

本發明專利技術實施例公開了一種全景視頻拼接方法及裝置。該方法包括：獲取待拼接的多路視頻源數據；采用并行方式根據預設投影參數將對應于同一時刻的各視頻源圖像投影至預設全景投影面，得到由多個圖塊構成的全景投影視頻圖像；采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理，并輸出融合后的全景視頻圖像。本發明專利技術實施例通過采用上述技術方案，能夠兼顧全景視頻的拼接效率及圖像質量，保證所輸出的全景視頻具備較高的時效性和較佳的圖像質量，可適用于廣電級直播。

Panoramic video stitching method and device

The embodiment of the invention discloses a panoramic video stitching method and device. The method comprises: acquiring multiple video source data to be spliced; using parallel projection according to the preset parameters corresponding to the same time the video source image projection to the preset panoramic projection, get panoramic projection video image is composed of a plurality of blocks; in a parallel mode according to the preset parameters on the block overlap in the fusion of presupposition the suture zone of the strip and fusion processing, the fused image of panoramic video output. The embodiment of the invention adopts the technical scheme that can take into account the splicing efficiency and image quality of the panoramic video, to ensure that the output of the panoramic video have timeliness higher and better image quality, can be applied to radio and television broadcast level.

【技術實現步驟摘要】
一種全景視頻拼接方法及裝置
本專利技術實施例涉及視頻處理
，尤其涉及一種全景視頻拼接方法、及裝置。
技術介紹
隨著視頻處理技術的快速發展，全景視頻的出現為人們帶來了全新的視覺體驗，滿足了人們獲取更廣視覺范圍的場景信息的需求。目前，全景成像系統主要分為單攝像機成像系統和多攝像機成像系統兩種。單攝像機成像系統中全景圖像不需要拼接，但分辨率和清晰度較低，適用范圍受限。多攝像機成像系統一般通過拼接多個攝像機拍攝的不同方位的視頻圖像來形成全景視頻，相比單攝像機成像系統來說分辨率和清晰度較高，應用范圍更廣。目前，全景視頻多應用于監控及直播等場景中，這些應用場景對全景視頻的實時性和清晰度的要求較高。然而，現有的全景視頻拼接方案中，由于需要處理的數據量較大，且算法復雜，為了保證較好的實時性，清晰度往往不高，全景視頻的圖像質量較差。
技術實現思路
本專利技術實施例的目的是提供一種全景視頻拼接方法及裝置，以兼顧全景視頻的拼接效率及圖像質量。一方面，本專利技術實施例提供了一種全景視頻拼接方法，包括：獲取待拼接的多路視頻源數據；采用并行方式根據預設投影參數將對應于同一時刻的各視頻源圖像投影至預設全景投影面，得到由多個圖塊構成的全景投影視頻圖像，其中，每個圖塊對應一個視頻源圖像，每兩個圖塊之間的重疊部分構成圖塊重疊區；采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理，并輸出融合后的全景視頻圖像。另一方面，本專利技術實施例提供了全景視頻拼接裝置，包括：視頻源數據獲取模塊，用于獲取待拼接的多路視頻源數據；投影模塊，用于采用并行方式根據預設投影參數將對應于同一時刻的各視頻源圖像投影至預設全景投影面，得到由多個圖塊構成的全景投影視頻圖像，其中，每個圖塊對應一個視頻源圖像，每兩個圖塊之間的重疊部分構成圖塊重疊區；融合模塊，用于采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理；全景視頻輸出模塊，用于輸出融合后的全景視頻圖像。本專利技術實施例中提供的全景視頻拼接方案，在獲取到待拼接的多路視頻源數據之后，采用并行方式對用于拼接全景視頻圖像的視頻源圖像進行投影及融合等處理，保證拼接效率，可增強全景視頻輸出的實時性；此外，采用預先計算好的投影參數、全景投影面、融合參數以及縫合線來進行相關處理，可減少視頻拼接時的運算量，進一步提高拼接效率，同時由于上述參數等內容是預先計算好的，能夠保證圖像的高清晰度。因此，本專利技術實施例提供的技術方案能夠兼顧全景視頻的拼接效率及圖像質量，保證所輸出的全景視頻具備較高的時效性和較佳的圖像質量，可適用于廣電級直播。附圖說明圖1為本專利技術實施例一提供的一種全景視頻拼接方法的流程示意圖；圖2為本專利技術實施例二提供的一種全景視頻拼接方法的流程示意圖；圖3為本專利技術實施例二提供的一種最佳縫合線示意圖；圖4為本專利技術實施例二提供的一種縫合線條帶示意圖；圖5為本專利技術實施例二提供的一種縫合線處理效果示意圖；圖6為本專利技術實施例三提供的一種全景視頻拼接方法的流程示意圖；圖7為本專利技術實施例三提供的平移參數對應的曲線示意圖；圖8為本專利技術實施例四提供的一種全景視頻拼接裝置的結構框圖。具體實施方式下面結合附圖并通過具體實施方式來進一步說明本專利技術的技術方案。可以理解的是，此處所描述的具體實施例僅僅用于解釋本專利技術，而非對本專利技術的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本專利技術相關的部分而非全部結構。在更加詳細地討論示例性實施例之前應當提到的是，一些示例性實施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各步驟描述成順序的處理，但是其中的許多步驟可以被并行地、并發地或者同時實施。此外，各步驟的順序可以被重新安排。當其操作完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應于方法、函數、規程、子例程、子程序等等。實施例一圖1為本專利技術實施例一提供的一種全景視頻拼接方法的流程示意圖，該方法可以由全景視頻拼接裝置執行，其中該裝置可由軟件和/或硬件實現，一般可集成在視頻拼接設備中。如圖1所示，該方法包括：步驟110、獲取待拼接的多路視頻源數據。示例性的，本實施例中的視頻拼接設備具體可為計算機等終端，視頻拼接設備中包含中央處理器(CentralProcessingUnit，CPU)和圖形處理器(GraphicsProcessingUnit，GPU)(又稱顯卡)。在CPU端和GPU端均設置有多個緩沖區，用以支持本專利技術實施例中涉及到的并行處理方式。此外，在CPU端和GPU端可均設置一個結果緩沖區，用于存放全景視頻圖像。優選的，本專利技術實施例基于CUDA(ComputeUnifiedDeviceArchitecture)或OpenCL(Intel/AMD顯卡上實現)來實現。CUDA是由英偉達公司提出的一個并行計算架構，它是基于GPU的，在GPU上高速并發執行，極大的提高了程序算法的運行速度。在CUDA或OpenCL編程環境中，主要包括CPU和GPU兩個部分。CPU作為主機，即Host端，GPU作為設備，即Device端。CPU和GPU有專用的通道進行數據通信，CPU負責對邏輯性實務進行處理，以及對串行化運算的控制；GPU負責執行大規模的并行化處理任務。可以理解的是，本專利技術實施例也可基于其他類型的并行計算架構來實現，并不受限于基于CUDA或OpenCL來實現。以下描述使用CUDA的函數和概念。簡單說明一下二者的對應關系，CUDA的流(stream)對應于OpenCL的命令隊列(command_queue)，CUDA的網格(grid)和塊(block)分別對應于OpenCL的工作組(workgroup)和工作項(workitem)。CUDA的拷貝函數分同步的cudaMemcpy和異步的cudaMemcpyAsync，OpenCL的拷貝函數clEnqueueWriteBuffer和clEnqueueReadBuffer只需要一個bool值參數決定是否阻塞，阻塞即是同步，不阻塞即是異步。本專利技術的算法不依賴于CUDA或OpenCL的特殊函數。示例性的，多路視頻源數據可由多個視頻采集設備(如包括攝像頭和采集卡的相機)進行視頻采集而得到，視頻采集設備可實時將所采集的視頻源數據發送至視頻拼接設備。為了保證全景視頻的清晰度，優選的，視頻源數據為高清視頻源數據，如至少2k(2048x1536)高清視頻源。一般的，每個視頻采集設備對應一路視頻源，視頻采集設備的數量一般為3～10個。進一步的，在視頻采集設備所采集的對應于同一時刻的各視頻源圖像中，可能存在部分視頻幀圖像相比上一時刻來說并未發生變化，為了減少數據傳輸量，優選的，本步驟可包括：獲取預設時間間隔內的相比上一時刻存在畫面更新的多路視頻源數據。預設時間間隔可根據實際需求來確定，例如可利用定時器Timer來實現，預設時間間隔對應于定時器的時間間隔。在Timer到期時，將過去一個預設時間間隔內更新的數據幀傳遞給GPU，啟動各幀的投影操作和縫合線處理。這里調用GPU的異步拷貝操作函數向GPU發起的操作被放進GPU的操作隊列，放入隊列的時間T被記錄下來，同時向拼接結果隊列Q添加一個元素，表示有新的數據幀可用。步驟120、采用并行方式根據預設投影參數將對應于同本文檔來自技高網...

【技術保護點】
一種全景視頻拼接方法，其特征在于，包括：獲取待拼接的多路視頻源數據；采用并行方式根據預設投影參數將對應于同一時刻的各視頻源圖像投影至預設全景投影面，得到由多個圖塊構成的全景投影視頻圖像，其中，每個圖塊對應一個視頻源圖像，每兩個圖塊之間的重疊部分構成圖塊重疊區；采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理，并輸出融合后的全景視頻圖像。

【技術特征摘要】
1.一種全景視頻拼接方法，其特征在于，包括：獲取待拼接的多路視頻源數據；采用并行方式根據預設投影參數將對應于同一時刻的各視頻源圖像投影至預設全景投影面，得到由多個圖塊構成的全景投影視頻圖像，其中，每個圖塊對應一個視頻源圖像，每兩個圖塊之間的重疊部分構成圖塊重疊區；采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理，并輸出融合后的全景視頻圖像。2.根據權利要求1所述的方法，其特征在于，所述獲取待拼接的多路視頻源數據，包括：獲取預設時間間隔內的相比上一時刻存在畫面更新的多路視頻源數據。3.根據權利要求1所述的方法，其特征在于，所述并行方式包括：不同視頻源圖像采用不同的函數并行處理，同一視頻源圖像中的不同像素采用不同的線程并行處理。4.根據權利要求1所述的方法，其特征在于，在所述獲取待拼接的多路視頻源數據之前，還包括：獲取多個視頻采集設備的設備信息和所述多個視頻采集設備所采集的對應于同一時刻的視頻截圖，其中，所述設備信息包括焦距和設備所在位置；根據所述設備信息將所獲取的視頻截圖拼接成全景圖像，并記錄拼接過程對應的投影平面、投影參數、最佳縫合線和融合參數，得到預設全景投影面、預設投影參數、預設縫合線和預設融合參數。5.根據權利要求4所述的方法，其特征在于，所述根據所述設備信息將所獲取的視頻截圖拼接成全景圖像，包括：對所獲取的視頻截圖進行特征點匹配；根據所述設備信息和特征點匹配結果將所獲取的視頻截圖投影至同一坐標系下并展開，得到由多個圖塊構成的全景投影圖像，其中，每個圖塊對應一個視頻截圖，每兩個圖塊之間的重疊部分構成圖塊重疊區；利用最大流最小割定理計算每兩個圖塊之間的最佳縫合線，其中，以圖塊重疊區的梯度值作為圖塊重疊區內像素的權重值；對所述最佳縫合線進行條帶式融合處理。6.根據權利要求5所述的方法，其特征在于，所述對所述最佳縫合線進行條帶式融合處理，包括：按照預設像素寬度對所述最佳縫合線進行拓寬，得到縫合線條帶；利用多層拉普拉斯金字塔對所述縫合線條帶進行融合。7.根據權利要求6所述的方法，其特征在于，所述預設融合參數包括：每個待融合像素的位置及對應的圖塊，每個待融合像素通過下采樣和上采樣分別得到的對應的像素位置，以及所采用的高斯模板的位置。8.根據權利要求1所述的方法，其特征在于，在采用并行方式根據預設融合參數對位于圖塊重疊區內的預設縫合線進行條帶式融合處理之前，還包括：以圖塊重疊區的像素差異最小化為原則對各圖塊的亮度直方圖進行平移調節操作，以減少各圖塊之間的亮度差異。9.根據權利要求8所述的方法，其特征在于，以圖塊重疊區的像素差異最小化為原則對各圖塊的亮度直方圖進行平移調節操作，以減少各圖塊之間的亮度差異，包括：對于參考圖塊和待調節圖塊，分別計算圖塊重疊區的亮度直方圖；利用候選平移參數值調整所述待調節圖塊的顏色映射表，得到第一顏色映射表；根據所述第一顏色映射表更新所述待調節圖塊的圖塊重疊區的亮度直方圖；將對應于同一圖塊重疊區的圖塊記為匹配對，對于每個匹配對，將第一圖塊對應的圖塊重疊區的亮度直方圖的亮度總和與第二圖塊對應的圖塊重疊區的亮度直方圖的亮度總和的差值的絕對值作為亮度差異評價函數值；以各匹配對的亮度差異評價函數值的和最小為原則，得到每個待調節圖塊對應的目標平移參數值；利用目標平移參數值調整所述待調節圖塊的顏色映射表，得到第二顏色映射表；采用所述第二顏色映射表映射所述待調節圖塊中的每個像素，以實現對所述待調節圖塊的亮度直方圖平移調節操作。10.根據權利要求9所述的方法，其特征在于，平移參數的表達式為：Y＝1/(1-X/255)-1其中，Y為平移參數；X為亮度調節因子，其取值范圍為[-100，100]。11.根據權利要求9所述的方法，其特征在于，在對于參考圖塊和待調節圖塊，分別計算圖塊重疊區的亮度直方圖之前，還包括：利用特征點匹配和/或顏色匹配對各圖塊...

【專利技術屬性】
技術研發人員：董康，
申請(專利權)人：深圳市云宙多媒體技術有限公司，
類型：發明
國別省市：廣東,44