本發明專利技術提出了一種基于orbslam3初始化的三維高斯渲染方法及裝置，利用ROS系統對傳感器數據采集進行處理用于orbslam3系統中，再利用orbslam3獲取用以訓練三維高斯的相機位姿和三維點云數據，先通過三維高斯渲染訓練算法對場景中三維高斯體進行訓練，然后通過渲染器對場景中的三維高斯體進行渲染和輸出，得到最終三維重建的結果；相比現有利用colmap進行三維高斯渲染，本發明專利技術能夠在不添加硬件設備的情況下，合理利用GPU資源，節省優化時間，在合理的時間內實現更優質的三維重建質量。
【技術實現步驟摘要】
本專利技術涉及三維重建，尤其涉及一種基于orbslam3初始化的三維高斯渲染方法及裝置。
技術介紹
1、三維重建是指從單張二維圖像或多張二維圖像中重建出物體的三維模型，并對三維模型進行紋理映射的過程。隨著社會和科學技術的發展，三維重建技術需求也越來越多。三維重建可獲取從任意視角觀測并具有色彩紋理的三維模型，也是計算機視覺領域的一個重要研究方向。三維高斯渲染是一種基于三維高斯體的場景重建和渲染技術，這種技術通過使用高斯分布來表示場景中的點云數據，并在渲染過程中將這些點云數據轉換為高斯體。高斯體的特性使得它可以高效地模擬場景中的光線傳播和散射，從而實現高效的實時渲染。
2、現有技術一般利用colmap方法生成初始點云并計算準確的相機位姿，再通過初始點云和求解的相機位姿，而后輸入三維高斯渲染系統進行三維高斯渲染的正向傳播和反向傳播操作。
3、基于colmap的三維重建方式雖然重建精度高、效果好，但是有以下兩個缺點：
4、1)基于colmap的三維重建方法的優化時間隨圖像序列數量成指數倍增加，系統無法在可接受時間范圍內處理大量圖像的輸入。
5、2)基于colmap的三維重建系統最終輸出的地圖結果是由很多三維點云所組成的點云模型，該三維表示方式第一由于點云數據的稀疏和不規則性，后處理(如點云分割、去噪、表面重建等)變得更加復雜和耗時，不利于用于下游任務。
6、因此，目前關于三維高斯渲染方法的優化方式，仍有待于進一步完善。
技術實現思路
<
p>1、有鑒于此，本專利技術提出了一種基于orbslam3初始化的三維高斯渲染方法及裝置，解決了現有技術中colmap初始化優化耗時較長進而導致三維重建速度慢的技術問題。2、本專利技術的技術方案是這樣實現的：
3、一方面，本專利技術提供了一種基于orbslam3初始化的三維高斯渲染方法，包括如下步驟：
4、對相機進行標定，獲取相機的內參矩陣和畸變系數，并通過所述內參矩陣和畸變系數對相機獲取的圖像進行畸變矯正，發布新的節點來獲取矯正后的圖像，獲取圖像信息；
5、構建地圖，更改配置文件，傳入所述內參矩陣和所述畸變系數，提取新的特征點，獲取所述地圖的3d點云和相機位姿；
6、進行三維高斯渲染，初始化所述地圖，獲取三維高斯體，通過復制或剪枝，控制所述三維高斯體的密度，利用渲染器對所述地圖進行渲染和輸出，得到三維重建的結果。
7、在此技術方案的基礎上，進一步優選地，所述構建地圖，更改配置文件，傳入矯正后的所述內參矩陣和所述畸變系數，具體包括以下步驟：
8、修改文件處理部分，保存所述相機位姿和3d點云的txt文件，更改配置文件，傳入矯正后的所述內參矩陣和所述畸變系數，加載更新配置文件。
9、在此技術方案的基礎上，進一步優選地，加載更新配置文件，還包括以下步驟：
10、通過默認圖像的接收節點，傳入圖像信息，啟動腳本，接收傳入的所有圖像，新建文件夾用于更換圖像信息的存儲路徑。
11、在此技術方案的基礎上，進一步優選地，初始化三維高斯地圖還包括以下步驟：
12、根據所述相機的配置文件，生成三維高斯系統運行所需要的txt文件，并更換文件的存儲路徑，更換后的存儲路徑，包含所有需重建物體相關圖像、初始化所需要的所述相機的txt文件和3d點云的txt文件，傳入三維高斯系統，對所有文件進行訓練。
13、在此技術方案的基礎上，進一步優選地，所述對相機進行標定，獲取相機的內參矩陣和畸變系數，具體包括以下步驟：
14、連接攝像頭，獲取攝像頭畫面，并推送到原始相機的節點，錄制原始相機的圖像流，并以3d點云數據存儲格式保存到對應的原始相機的文件夾；
15、直至出現標定板的圖像，不斷移動攝像頭捕獲所述圖像，保證所述標定板的整體可以在圖像中顯示，并保證均勻覆蓋到全部像素區域，然后利用工具箱對所述原始相機的文件夾進行標定，獲取相機的所述內參矩陣和畸變系數。
16、在此技術方案的基礎上，進一步優選地，并通過所述內參矩陣和畸變系數對相機獲取的圖像進行畸變矯正，發布新的節點來獲取矯正后的圖像，具體包括以下步驟：
17、通過新的腳本接收所述原始相機的節點的視頻流信息，利用所述內參矩陣和畸變系數，對通過所述原始相機獲取的圖像進行畸變矯正，發布一個新的節點，用來推送矯正為理想針孔相機模型所獲取的圖像；
18、利用該節點移動攝像頭以重建目標為中心，圍繞它移動攝像頭，以每秒30幀獲取圖像信息，保證所拍攝圖像覆蓋重建目標的各個視角，記錄并保存獲取的視頻流。
19、在此技術方案的基礎上，進一步優選地，三維高斯渲染，初始化三維高斯地圖，獲取三維高斯體，通過復制或剪枝，控制所述三維高斯體的密度，具體包括以下步驟：
20、將三維高斯地圖初始化，獲取三維高斯體，并根據所述文件夾所包含的相機位姿信息，對所述三維高斯體組成的地圖進行投影，對三維高斯體進行復制或者剪枝操作，控制三維高斯體密度。
21、在此技術方案的基礎上，進一步優選地，利用渲染器對三維高斯地圖進行渲染和輸出，具體包括以下步驟：
22、通過疊加所述三維高斯體的渲染過程，輸出當前狀態下所預測的二維圖像，根據所述預測的二維圖像和真實拍攝的二維圖像差距的損失函數，對所述三維高斯體進行反向傳播訓練，迭代30000次，最后得到三維高斯地圖，利用渲染器將得到的所述三維高斯地圖進行渲染和輸出，得到三維重建結果。
23、在此技術方案的基礎上，進一步優選地，所述三維高斯體的渲染過程為α渲染。
24、第二方面，本專利技術還提供一種基于orbslam3初始化的三維高斯渲染裝置，包括如下：
25、標定模塊，用于實現對相機進行標定，獲取相機的內參矩陣和畸變系數，并通過所述內參矩陣和畸變系數對相機獲取的圖像進行畸變矯正，發布新的節點來獲取矯正后的圖像，獲取圖像信息；
26、提取模塊，用于構建地圖，更改配置文件，傳入所述內參矩陣和所述畸變系數，提取新的特征點，獲取所述地圖的3d點云和相機位姿；
27、渲染模塊，進行三維高斯渲染，初始化所述地圖，獲取三維高斯體，通過復制或剪枝，控制所述三維高斯體的密度，利用渲染器對所述地圖進行渲染和輸出，得到三維重建的結果。
28、第三方面，本專利技術還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如上述任意一項所述的三維高斯渲染方法中的步驟。
29、本專利技術所述的一種基于orbslam3初始化的三維高斯渲染方法，相對于現有技術具有以下有益效果：
30、相比現有的基于colmap的三維重建方法，其優化時間隨圖像序列數量成指數倍增加，系統無法在可接受時間范圍內處理大量圖像的輸入；同時該地圖的點云模型由很多三維點云所組成，由于點云數據的稀疏和不規則本文檔來自技高網
...
【技術保護點】
1.一種基于orbslam3初始化的三維高斯渲染方法，其特征在于，包括如下步驟：
2.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，所述構建地圖，更改配置文件，傳入矯正后的所述內參矩陣和所述畸變系數，具體包括以下步驟：
3.如權利要求2所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，加載更新配置文件，還包括以下步驟：
4.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，初始化三維高斯地圖還包括以下步驟：
5.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，所述對相機進行標定，獲取相機的內參矩陣和畸變系數，具體包括以下步驟：
6.如權利要求5所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，并通過所述內參矩陣和畸變系數對相機獲取的圖像進行畸變矯正，發布新的節點來獲取矯正后的圖像，具體包括以下步驟：
7.如權利要求5所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，進行三維高斯渲染，初始化所述地圖，獲取三維高斯體，通過復制或剪枝，控制所述三維高斯體的密度，具體包括以下步驟：
8.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，利用渲染器對三維高斯地圖進行渲染和輸出，具體包括以下步驟：
9.一種基于orbslam3初始化的三維高斯渲染裝置，其特征在于，包括如下：
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1-8任意一項所述的三維高斯渲染方法中的步驟。
...
【技術特征摘要】
1.一種基于orbslam3初始化的三維高斯渲染方法，其特征在于，包括如下步驟：
2.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，所述構建地圖，更改配置文件，傳入矯正后的所述內參矩陣和所述畸變系數，具體包括以下步驟：
3.如權利要求2所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，加載更新配置文件，還包括以下步驟：
4.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，初始化三維高斯地圖還包括以下步驟：
5.如權利要求1所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于，所述對相機進行標定，獲取相機的內參矩陣和畸變系數，具體包括以下步驟：
6.如權利要求5所述的基于orbslam3初始化的三維高斯渲染方法，其特征在于...
【專利技術屬性】
技術研發人員：王禮安，安軒，姬宇杰，吳宇軒，馬兆遠，
申請(專利權)人：南方科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。