圖像生成方法、裝置、電子設備及存儲介質制造方法及圖紙

本申請實施例公開了一種圖像生成方法、裝置、電子設備及存儲介質。所述方法包括：獲取人臉圖像對應的多個人臉三角網格，其中，所述多個人臉三角網格包括目標人臉三角網格和多個局部人臉三角網格，多個局部人臉三角網格為基于人臉關鍵點從所述目標人臉三角網格中得到的每個人臉部位對應的人臉三角網格；獲取所述多個人臉三角網格各自對應的多個采樣點；分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像；將所述多個人臉三角網格各自對應的渲染圖像進行拼接，得到所述人臉圖像對應的目標渲染圖像。像對應的目標渲染圖像。像對應的目標渲染圖像。

【技術實現步驟摘要】
圖像生成方法、裝置、電子設備及存儲介質


[0001]本申請屬于圖像處理
，具體涉及一種圖像生成方法、裝置、電子設備及存儲介質。

技術介紹

[0002]隨著計算機技術的發展，近年來圖像處理領域技術也得到了長足的發展，其中合成不同視角下的虛擬對象領域是一個重要分支，低成本的編輯和合成不同視角下逼真的虛擬對象對于2D虛擬對象合成領域而言十分重要，3D虛擬對象合成是基于神經網絡對虛擬對象對應的編碼向量進行編輯的一種做法，在進行3D虛擬對象合成的過程中，需要保證多視角一致性和身份保持性，即保證虛擬對象在任意視角下都是同樣的結構，且在不同視角下虛擬對象不發生變化。例如以人臉為例，要保證生成的人臉在任意視角下都是同樣的結構，且在不同的視角下均是同一個人。但是目前的模型渲染生成3D虛擬對象的過程中，經常會出現視角不一致的問題，因此，如何解決視角不一致的問題，就成為技術人員亟待解決的問題。

技術實現思路

[0003]鑒于上述問題，本申請提出了一種圖像生成方法、裝置、電子設備以及存儲介質，以實現改善上述問題。
[0004]第一方面，本申請實施例提供了一種圖像生成方法，所述方法包括：獲取人臉圖像對應的多個人臉三角網格，其中，所述多個人臉三角網格包括目標人臉三角網格和多個局部人臉三角網格，所述多個局部人臉三角網格為基于人臉關鍵點從所述目標人臉三角網格中得到的每個人臉部位對應的人臉三角網格；獲取所述多個人臉三角網格各自對應的多個采樣點；分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像，其中，所述預設向量為表征皮膚紋理的向量；將所述多個人臉三角網格各自對應的渲染圖像進行拼接，得到所述人臉圖像對應的目標渲染圖像。
[0005]第二方面，本申請實施例提供了一種圖像生成裝置，所述裝置包括：網格獲取單元，用于獲取人臉圖像對應的多個人臉三角網格，其中，所述多個人臉三角網格包括目標人臉三角網格和多個局部人臉三角網格，所述多個局部人臉三角網格為基于人臉關鍵點從所述目標人臉三角網格中得到的每個人臉部位對應的人臉三角網格；采樣單元，用于獲取所述多個人臉三角網格各自對應的多個采樣點；圖像生成單元，用于分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到人臉生成模型中，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像，其中，所述預設向量為表征皮膚紋理的向量；拼接單元，用于將所述多個人臉三角網格各自對應的渲染圖像進行拼接，得到所述人臉圖像對應的目標渲染圖像。
[0006]第三方面，本申請實施例提供了一種電子設備，包括一個或多個處理器以及存儲器；一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執行，所述一個或多個程序配置用于執行上述的方法。
[0007]第四方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有程序代碼，其中，在所述程序代碼運行時執行上述的方法。
[0008]本申請實施例提供了一種圖像生成方法、裝置、電子設備及存儲介質。首先獲取人臉圖像對應的多個人臉三角網格，其中，所述多個人臉三角網格包括目標人臉三角網格和多個局部人臉三角網格，所述多個局部人臉三角網格為基于人臉關鍵點從所述目標人臉三角網格中得到的每個人臉部位對應的人臉三角網格，然后獲取多個人臉三角網格各自對應的多個采樣點，并分別將多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，獲取人臉生模型輸出的多個人臉三角網格各自對應的渲染圖像，其中，所述預設向量為表征皮膚紋理的向量，最后將多個人臉三角網格各自對應的渲染圖像進行拼接，得到人臉圖像對應的目標渲染圖像。通過上述方法，分別通過局部人臉三角網格生成局部人臉部位對應的渲染圖像，從而再將生成的局部人臉部位對應的渲染圖像進行拼接得到目標渲染圖像，可以使得生成的目標渲染圖像與真實人臉分布對應，使得生成的目標渲染圖像可以更接近真實圖像，提高了生成圖像的可控性和一致性。
附圖說明
[0009]為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0010]圖1示出了本申請一實施例提出的一種圖像生成方法的應用場景示意圖；
[0011]圖2示出了本申請一實施例提出的一種圖像生成方法的應用場景示意圖；
[0012]圖3示出了本申請一實施例提出的一種圖像生成方法的流程圖；
[0013]圖4示出了本申請另一實施例提出的一種圖像生成方法的流程圖；
[0014]圖5示出了本申請又一實施例提出的一種圖像生成方法的流程圖；
[0015]圖6示出了本申請實施例提出的一種圖像生成裝置的結構框圖；
[0016]圖7示出了本申請實施例提出的一種圖像生成裝置的結構框圖；
[0017]圖8示出了本申請實時中的用于執行根據本申請實施例的圖像生成方法的電子設備或服務器的結構框圖；
[0018]圖9示出了本申請實時中的用于保存或者攜帶實現根據本申請實施例的圖像生成方法的程序代碼的存儲單元。
具體實施方式
[0019]下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他
實施例，都屬于本申請保護的范圍。
[0020]隨著計算機技術的發展，近年來圖像處理領域技術也得到了長足的發展，其中合成不同視角下的虛擬對象領域是一個重要分支，低成本的編輯和合成不同視角下逼真的虛擬對象對于2D虛擬對象合成領域而言十分重要，3D虛擬對象合成是基于神經網絡對虛擬對象對應的編碼向量進行編輯的一種做法，在進行3D虛擬對象合成的過程中，需要保證多視角一致性和身份保持性，即保證虛擬對象在任意視角下都是同樣的結構，且在不同視角下虛擬對象不發生變化。例如以人臉為例，要保證生成的人臉在任意視角下都是同樣的結構，且在不同的視角下均是同一個人。
[0021]但是，專利技術人在對相關的圖像生成方法的研究中發現，相關的圖像生成方法在生成人臉圖像時，依賴于音頻、拼接人臉圖像以及側臉圖像，但是，生成人臉圖像時一般會希望生成的人臉是可控的，而且能夠生成多角度一致性的人臉圖像。即基于某個輸入，可以大概知道生成的人臉圖像是什么形狀的，并且可以生成不同視角下具有高一致性的同一個ID的人臉圖像。通過前述方法生成的人臉圖像的可控性和一致性沒辦法保證。
[0022]因此，專利技術人提出了本申請中的圖像生成方法、裝置、電子設備及存儲介質。首先本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種圖像生成方法，其特征在于，所述方法包括：獲取人臉圖像對應的多個人臉三角網格，其中，所述多個人臉三角網格包括目標人臉三角網格和多個局部人臉三角網格，所述多個局部人臉三角網格為基于人臉關鍵點從所述目標人臉三角網格中得到的每個人臉部位對應的人臉三角網格；獲取所述多個人臉三角網格各自對應的多個采樣點；分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像，其中，所述預設向量為表征皮膚紋理的向量；將所述多個人臉三角網格各自對應的渲染圖像進行拼接，得到所述人臉圖像對應的目標渲染圖像。2.根據權利要求1所述的方法，其特征在于，所述獲取人臉圖像對應的多個人臉三角網格，包括：將所述人臉圖像輸入到預先訓練好的三維可變形人臉模型，獲取所述三維可變形人臉模型輸出的所述人臉圖像對應的目標人臉三角網格；基于所述目標人臉三角網格，確定所述人臉圖像所包括的人臉部位各自對應的人臉關鍵點；基于每個人臉部位對應的所述人臉關鍵點，從所述目標人臉三角網格中確定每個人臉部位對應的人臉三角網格，以得到所述多個局部人臉三角網格。3.根據權利要求2所述的方法，其特征在于，所述分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像，包括：分別將所述多個人臉三角網格各自對應的多個采樣點、每個人臉三角網格對應的多個頂點以及預設向量輸入到預先訓練好的人臉生成模型中，通過所述人臉生成模型對處于每個人臉部位之內的采樣點或頂點進行渲染，獲取所述人臉生模型輸出的所述多個人臉三角網格各自對應的渲染圖像。4.根據權利要求2所述的方法，其特征在于，所述基于所述目標人臉三角網格，確定所述人臉圖像所包括的人臉部位各自對應的人臉關鍵點，包括：將所述目標人臉三角網格輸入到預先訓練好的人臉關鍵點檢測模型中，獲取所述人臉關鍵點檢測模型輸出的所述人臉圖像所包括的人臉部位各自對應的人臉關鍵點。5.根據權利要求1所述的方法，其特征在于，每個人臉三角網格包括多個頂點，所述獲取所述多個人臉三角網格各自對應的多個采樣點，包括：分別獲取所述多個人臉三角網格各自對應的多條線段，其中，每個人臉三角網格對應的多條線段為圖像采...

【專利技術屬性】
技術研發人員：沈偉，何苗，郭彥東，
申請(專利權)人：OPPO廣東移動通信有限公司，
類型：發明
國別省市：