【技術實現步驟摘要】
本申請涉及計算機視覺，尤其涉及動態場景重建方法、裝置、設備、介質及產品。
技術介紹
1、動態場景重建作為計算機視覺、計算機圖形學以及機器人學等領域的重要研究方向之一，可以從一系列圖像或視頻中恢復出一個隨時間變化的三維環境，這個過程涉及到捕捉和分析場景中的運動物體，以及背景的變化，以便在計算機中構建出一個能夠反映真實世界動態特性的3d模型。
2、現有技術中的動態場景重建方法，通常在建模過程中對所有高斯點的統一處理，面臨著計算開銷大和存儲要求高的挑戰。
3、因此，有必要提出一種降低動態場景重建過程中的計算開銷和存儲需求的解決方案。
4、上述內容僅用于輔助理解本申請的技術方案，并不代表承認上述內容是現有技術。
技術實現思路
1、本申請的主要目的在于提供一種動態場景重建方法、裝置、設備、介質及產品，旨在降低動態場景重建過程中的計算開銷和存儲需求。
2、為實現上述目的，本申請提供一種動態場景重建方法，所述方法包括：
3、獲取初始幀圖像；
4、基于所述初始幀圖像生成或確定動態點云及靜態點云；
5、對所述動態點云進行變形處理，得到變形后的動態點云；
6、基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目標渲染圖像。
7、在一實施例中，所述基于所述初始幀圖像生成或確定動態點云及靜態點云的步驟包括：
8、對所述初始幀圖像進行初始化處理，得到各高斯點；
9、對所述
10、將所述各高斯點對應的動態值與預設動態閾值進行比較，確定所述動態點云及靜態點云。
11、在一實施例中，所述對所述各高斯點進行動態值分配，得到各高斯點對應的動態值的步驟包括：
12、選取或確定所述各高斯點在各視圖對應的各像素，并計算所述各像素在時域上的時間方差；
13、將所述時間方差作為監督信號，對所述各高斯點的動態值進行反向傳播及迭代優化，得到所述各高斯點對應的動態值。
14、在一實施例中，所述將所述各高斯點對應的動態值與預設動態閾值進行比較，確定所述動態點云及靜態點云的步驟包括：
15、判斷所述各高斯點對應的動態值是否大于所述預設動態閾值；
16、將所述各高斯點中對應的動態值大于所述預設動態閾值的高斯點劃分為所述動態點云；
17、將所述各高斯點中對應的動態值小于或等于所述預設動態閾值的高斯點劃分為所述靜態點云。
18、在一實施例中，所述對所述動態點云進行變形處理，得到變形后的動態點云的步驟包括：
19、根據所述初始幀圖像構建規范空間；
20、在所述規范空間中，通過預設哈希編碼器對所述動態點云進行編碼，得到多分辨率哈希編碼特征；
21、通過多層感知模型對所述多分辨率哈希編碼特征進行組合，得到所述變形后的動態點云。
22、在一實施例中，所述基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目標渲染圖像的步驟包括：
23、對所述靜態點云與所述變形后的動態點云進行混合，得到混合高斯點；
24、計算所述混合高斯點中每個高斯點的重要性；
25、對所述重要性小于預設重要性閾值的高斯點進行修剪，得到目標高斯點；
26、對所述目標高斯點進行渲染，得到所述目標渲染圖像。
27、此外，為實現上述目的，本申請還提出一種動態場景重建裝置，所述動態場景重建裝置包括：
28、獲取模塊，用于獲取初始幀圖像；
29、分類模塊，用于基于所述初始幀圖像生成或確定動態點云及靜態點云；
30、變形模塊，用于對所述動態點云進行變形處理，得到變形后的動態點云；
31、渲染模塊，用于基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目標渲染圖像。
32、此外，為實現上述目的，本申請還提出一種動態場景重建設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如上文所述的動態場景重建方法的步驟。
33、此外，為實現上述目的，本申請還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如上文所述的動態場景重建方法的步驟。
34、此外，為實現上述目的，本申請還提供一種計算機程序產品，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執行時實現如上文所述的動態場景重建方法的步驟。
35、本申請提出的一個或多個技術方案，至少具有以下技術效果：
36、通過獲取初始幀圖像；基于所述初始幀圖像生成或確定動態點云及靜態點云；對所述動態點云進行變形處理，得到變形后的動態點云；基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目標渲染圖像，通過劃分動態點云及靜態點云，避免對靜態點云統一進行變形處理，可以降低變形所需的計算開銷和存儲需求，從而提高動態場景重建的效率。
本文檔來自技高網...【技術保護點】
1.一種動態場景重建方法，其特征在于，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述基于所述初始幀圖像生成或確定動態點云及靜態點云的步驟包括：
3.如權利要求2所述的方法，其特征在于，所述對所述各高斯點進行動態值分配，得到各高斯點對應的動態值的步驟包括：
4.如權利要求2所述的方法，其特征在于，所述將所述各高斯點對應的動態值與預設動態閾值進行比較，確定所述動態點云及靜態點云的步驟包括：
5.如權利要求1所述的方法，其特征在于，所述對所述動態點云進行變形處理，得到變形后的動態點云的步驟包括：
6.如權利要求1所述的方法，其特征在于，所述基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目標渲染圖像的步驟包括：
7.一種動態場景重建裝置，其特征在于，所述裝置包括：
8.一種動態場景重建設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如權利要求1至6中任一項所述的動態場景重建方法的步驟。
9.一
10.一種計算機程序產品，其特征在于，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執行時實現如權利要求1至6中任一項所述的動態場景重建方法的步驟。
...【技術特征摘要】
1.一種動態場景重建方法，其特征在于，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述基于所述初始幀圖像生成或確定動態點云及靜態點云的步驟包括：
3.如權利要求2所述的方法，其特征在于，所述對所述各高斯點進行動態值分配，得到各高斯點對應的動態值的步驟包括：
4.如權利要求2所述的方法，其特征在于，所述將所述各高斯點對應的動態值與預設動態閾值進行比較，確定所述動態點云及靜態點云的步驟包括：
5.如權利要求1所述的方法，其特征在于，所述對所述動態點云進行變形處理，得到變形后的動態點云的步驟包括：
6.如權利要求1所述的方法，其特征在于，所述基于所述靜態點云與所述變形后的動態點云進行混合渲染，得到目...
【專利技術屬性】
技術研發人員：王榮剛，吳嘉豪，高文，
申請(專利權)人：北京大學深圳研究生院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。