本發明專利技術公開了一種基于單張圖片的物體光照編輯方法、系統及介質，本發明專利技術方法包括將目標物體的單張圖片通過訓練好的高光分解網絡去除強高光；將去除強高光后的圖片輸入訓練好的法向網絡以估計圖片中目標物體的法向圖，將去除強高光后的圖片輸入訓練好的光照網絡估計出圖片中目標物體的光照圖；根據法向圖和光照圖輸入訓練好的可微分渲染層，得到目標物體的逆渲染模型；為目標物體的逆渲染模型賦予新的光照、材質，然后對目標物體的逆渲染模型的光照、材質信息進行重渲染，得到目標物體在新的光照、材質下的圖片。本發明專利技術能夠實現從單張圖像到三維模型直接的自動轉換，并可按需賦予光照和材質信息，可廣泛應用于增強現實技術。可廣泛應用于增強現實技術。可廣泛應用于增強現實技術。
【技術實現步驟摘要】
一種基于單張圖片的物體光照編輯方法、系統及介質
[0001]本專利技術涉及增強現實
，具體涉及一種基于單張圖片的物體光照編輯方法、系統及介質，用于實現對圖像的逆向渲染。
技術介紹
[0002]隨著現代增強現實技術的不斷發展，移動端的增強現實技術得到了廣泛的應用，比如在真實圖像、視頻中插入新的物體等等。然而，目前，插入真實圖像視頻的物體仍然要求是虛擬物體，由專業人員建立物體對應的三維模型。這一步驟對于業余用戶很不友好，對于沒有該方面基礎的人員是無法構建自己需要使用的三維模型。目前大多數增強現實的移動應用比如SnapChat和宜家Place等，都是只能支持插入應用程序中預先內置的虛擬物體。這大大限制了用戶體驗。一個更吸引人的設置是允許用戶從照片中自動提取對象并將其插入到目標場景。這需要一項瓶頸技術，解決從單張圖像到三維模型直接的自動轉換。基于單個圖像的重光照技術(將物體的光影效果改變為目標場景中的光照效果)，到目前為止，一直是圖形和視覺領域的關鍵挑戰。重光照技術需要恢復真實物體的當前光照、幾何形狀、以及材質信息；這幾個問題合起來就是圖形學中的逆向渲染問題。
[0003]目前已有一些相關技術從其他思路來解決此問題，比如：1)針對場景圖像的重光照方法：論文[1](Y.Yu,A.Meka,M.Elgharib,H.
?
P.Seidel,C.Theobalt,and W.A.Smith,“Self
?
supervised outdoor scene relighting,”in European Conference on Computer Vision.Springer,2020,pp.84
–
101.)提出一種基于深度學習的場景重光照方法，針對室外建筑物的圖片，假設材質為啞光，估計出輸入圖片的法向(幾何信息)、材質顏色和陰影，再渲染新的光照下的場景圖片，該方法僅需要一張圖片輸入，不需要任何其他信息，缺點是只能針對建筑圖片和室外場景有效，針對物體圖片效果不佳。2)針對合成數據的深度學習逆渲染技術：由于該任務是一個病態問題，深度學習的工具擅長于解決此類問題，但是需要大量的帶標注的訓練數據。這樣的真實圖片數據很難以獲取，因為物體的材質、光照信息難以捕捉，因此合成數據作為訓練數據，也是一種常用的思路。方法[2](M.Janner,J.Wu,T.D.Kulkarni,I.Yildirim,and J.Tenenbaum,“Selfsupervised intrinsic image decomposition,”in NIPS,2017,pp.5936
–
5946.)是一種基于大規模合成數據的方法，針對單個物體的圖片，可以有效恢復出幾何等三維信息，然而合成數據與真實數據存在特征空間映射域不對應的問題，這就導致真實測試數據，在特征空間中并不符合合成數據的分布，因此訓練出的方法對于真實數據效果很差。3)針對啞光物體的光照渲染技術：在進行逆向渲染步驟后，可微分的渲染技術是下一個步驟。目前，Pytorch3D中僅支持點光源的渲染，而已有方法[3](R.Ramamoorthi and P.Hanrahan,“An efficient representation for irradiance environment maps,”in Proceedings of the 28th annual conference on Computer graphics and interactive techniques,2001,pp.497
–
500.)則僅支持啞光材質的渲染，啞光材質的假設對于場景圖片可以基本成立，但是對于單個物體而已，高光反射是廣泛存在的，因此啞光反射的渲染并不能真實地模擬物體的光照效果。4)針對圖像直方
圖的光照編輯技術：還有一類方法[4](Shu Z,Hadap S,Shechtman E,et al.Portrait lighting transfer using a mass transport approach[J].ACM Transactions on Graphics(TOG),2017,36(4):1.)是完全不考慮三維信息，也不進行物體的重新渲染，僅僅通過兩張圖片之間的顏色直方圖的轉移，來達到近似光照編輯的視覺效果，該類方法的局限性較大，會產生材質顏色也一同改變等情況。
技術實現思路
[0004]本專利技術要解決的技術問題：針對現有技術的上述問題，提供一種基于單張圖片的物體光照編輯方法、系統及介質，本專利技術能夠實現從單張圖像到三維模型直接的自動轉換，并可按需賦予光照和材質信息，可廣泛應用于增強現實技術。
[0005]為了解決上述技術問題，本專利技術采用的技術方案為：
[0006]一種基于單張圖片的物體光照編輯方法，包括：
[0007]S101，將目標物體的單張圖片通過訓練好的高光分解網絡去除強高光；
[0008]S102，將去除強高光后的圖片輸入訓練好的法向網絡以估計圖片中目標物體的法向圖，將去除強高光后的圖片輸入訓練好的光照網絡估計出圖片中目標物體的光照圖；
[0009]S103，根據法向圖和光照圖進行啞光渲染，得到目標物體的光影圖，將所述單張圖片的原圖除以光影圖得到材質圖，得到由法向圖、光照圖、光影圖以及材質圖構成的逆渲染模型；
[0010]S104，為目標物體的逆渲染模型賦予新的光照、材質中的至少一種，然后對目標物體的逆渲染模型進行高光渲染，得到目標物體在新的光照、材質下的圖片。
[0011]可選地，步驟S101中將輸入的單張圖片通過訓練好的高光分解網絡去除強高光之前還包括檢測輸入的單張圖片的飽和像素比例，若飽和像素比例大于設定閾值則將輸入的單張圖片通過訓練好的高光分解網絡去除強高光，否則將輸入的單張圖片作為去除強高光后的圖片，跳轉步驟S102。
[0012]可選地，步驟S102中的法向網絡包括依次連接的編碼器和解碼器，所述編碼器用于將去除強高光后的圖片進行編碼得到法向編碼向量，所述解碼器用于將編碼向量解碼為圖片中物體的法向圖。
[0013]可選地，步驟S102中的光照網絡包括依次連接的編碼器、連接層、多層感知機和球諧系數層，所述編碼器用于將去除強高光后的圖片進行編碼提取光照編碼向量，所述連接層用于將光照編碼向量和去除強高光后的圖片連接后作為多層感知機的輸入以獲得光照系數信息，所述球諧系數層用于基于二階球面諧波基函數為光照系數信息估計多個球諧系數以作為圖片中物體的光照圖。
[0014]可選地，步驟S101之前還包括訓練高光分解網絡、法向網絡以及光照網絡的步驟：
[0015]S201，構建各幀間樣本物體對齊、但環境光照不同的視頻數據集；
[0016]S202，構建低秩誤差作為損失函數，對高光分解網絡、法向網絡以及光照網絡進行無監督訓練，且對高光分解網絡、法向網絡以及光照網絡進行無監督訓練分為兩輪進行，兩輪訓練過程中第一輪為固定法向網絡本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種基于單張圖片的物體光照編輯方法，其特征在于，包括：S101，將目標物體的單張圖片通過訓練好的高光分解網絡去除強高光；S102，將去除強高光后的圖片輸入訓練好的法向網絡以估計圖片中目標物體的法向圖，將去除強高光后的圖片輸入訓練好的光照網絡估計出圖片中目標物體的光照圖；S103，根據法向圖和光照圖進行啞光渲染，得到目標物體的光影圖，將所述單張圖片的原圖除以光影圖得到材質圖，得到由法向圖、光照圖、光影圖以及材質圖構成的逆渲染模型；S104，為目標物體的逆渲染模型賦予新的光照、材質中的至少一種，然后對目標物體的逆渲染模型進行高光渲染，得到目標物體在新的光照、材質下的圖片。2.根據權利要求1所述的基于單張圖片的物體光照編輯方法，其特征在于，步驟S101中將輸入的單張圖片通過訓練好的高光分解網絡去除強高光之前還包括檢測輸入的單張圖片的飽和像素比例，若飽和像素比例大于設定閾值則將輸入的單張圖片通過訓練好的高光分解網絡去除強高光，否則將輸入的單張圖片作為去除強高光后的圖片，跳轉步驟S102。3.根據權利要求1所述的基于單張圖片的物體光照編輯方法，其特征在于，步驟S102中的法向網絡包括依次連接的編碼器和解碼器，所述編碼器用于將去除強高光后的圖片進行編碼得到法向編碼向量，所述解碼器用于將編碼向量解碼為圖片中物體的法向圖。4.根據權利要求1所述的基于單張圖片的物體光照編輯方法，其特征在于，步驟S102中的光照網絡包括依次連接的編碼器、連接層、多層感知機和球諧系數層，所述編碼器用于將去除強高光后的圖片進行編碼提取光照編碼向量，所述連接層用于將光照編碼向量和去除強高光后的圖片連接后作為多層感知機的輸入以獲得光照系數信息，所述球諧系數層用于基于二階球面諧波基函數為光照系數信息估計多個球諧系數以作為圖片中物體的光照圖。5.根據權利要求1～4中任意一項所述的基于單張圖片的物體光照編輯方法，其特征在于，步驟S101之前還包括訓練高光分解網絡、法向網絡以及光照網絡的步驟：S201，構建各幀間樣本物體對齊、但環境光照不同的視頻數據集；S202，構建低秩誤差作為損失函數，對高光分解網絡、法向網絡以及光照網絡進行無監督訓練，且對高光分解網絡、法向網絡以及光照網絡進行無監督訓練分為兩輪進行，兩輪訓練過程中第一輪為固定法向網絡以訓練高光分解網絡和光照網絡直至低秩誤差收斂，第二輪為固定光照網絡以訓練高光分解網絡和法向網絡直至低秩誤差收斂。6.根據權利要求5所述的基...
【專利技術屬性】
技術研發人員：易任嬌，朱晨陽，徐凱，奚月鋒，
申請(專利權)人：中國人民解放軍國防科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。