【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及視頻、3d數(shù)據(jù)傳輸?shù)模唧w而言，涉及一種數(shù)字人處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。
技術(shù)介紹
1、數(shù)字人，是指利用計(jì)算機(jī)技術(shù)和人工智能技術(shù)制作的人類外觀或行為的虛擬人物。這些虛擬人物的應(yīng)用場(chǎng)景非常廣泛，例如企業(yè)宣傳、教育培訓(xùn)、虛擬演員和主持人、智能客服、虛擬展覽和旅游導(dǎo)播、ip形象定制、虛擬會(huì)議等。近期，3d數(shù)字人成為研究熱點(diǎn)，其具有逼真度高、靈活性強(qiáng)、成本效益高等優(yōu)勢(shì)，有望在娛樂、教育、商業(yè)和科學(xué)等領(lǐng)域得到廣泛應(yīng)用。
2、相較于2d數(shù)據(jù)，3d數(shù)據(jù)量更為海量，傳輸或存儲(chǔ)3d數(shù)字人的數(shù)據(jù)所需要的帶寬急劇增長(zhǎng)，為實(shí)時(shí)性的應(yīng)用場(chǎng)景帶來(lái)極大的挑戰(zhàn)，實(shí)現(xiàn)數(shù)字人高效編碼及低帶寬傳輸至關(guān)重要，如何實(shí)現(xiàn)3d數(shù)字人的高效編碼和傳輸是亟待解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本公開實(shí)施例至少提供一種數(shù)字人處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。
2、第一方面，本公開實(shí)施例提供了一種數(shù)字人處理方法，應(yīng)用于編碼端，包括：
3、對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理，對(duì)處理后數(shù)據(jù)進(jìn)行特征變換，量化處理，編碼處理。
4、一種可選的實(shí)施方式中，所述方法還包括：
5、獲取反饋的網(wǎng)絡(luò)條件，以用于調(diào)整編碼參數(shù)和/或編碼模式。
6、一種可選的實(shí)施方式中，所述方法還包括：
7、獲取終端側(cè)基于下游任務(wù)確定的第一需求；
8、基于所述第一需求確定相匹配的編碼參數(shù)和/或調(diào)整碼率控制策略。
9、一種
10、向解碼端傳輸所述編碼處理之后的第一編碼結(jié)果；其中，基于終端側(cè)的質(zhì)量反饋確定激活或者不激活質(zhì)量增強(qiáng)模塊，以用于增強(qiáng)渲染視點(diǎn)或3d模型的質(zhì)量。
11、一種可選的實(shí)施方式中，在所述渲染視點(diǎn)為視頻的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：插幀，視頻超分辨率，去運(yùn)動(dòng)模糊、去噪。
12、一種可選的實(shí)施方式中，在所述3d模型為點(diǎn)云模型或者網(wǎng)格模型的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：上采樣，補(bǔ)全，去噪，幀率上變換。
13、一種可選的實(shí)施方式中，所述對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理，包括：
14、對(duì)所述3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理，得到所述3d數(shù)字人的二維背景數(shù)據(jù)和數(shù)字人數(shù)據(jù)；
15、對(duì)所述數(shù)字人數(shù)據(jù)進(jìn)行表征生成處理，得到所述3d數(shù)字人的緊湊表征；其中，所述緊湊表征至少包括：張量平面和網(wǎng)絡(luò)模型參數(shù)；
16、基于所述二維背景數(shù)據(jù)和所述緊湊表征，確定所述處理后數(shù)據(jù)。
17、一種可選的實(shí)施方式中，所述對(duì)所述數(shù)字人數(shù)據(jù)進(jìn)行表征生成處理，得到所述3d數(shù)字人的緊湊表征，包括：
18、將所述數(shù)字人數(shù)據(jù)進(jìn)行數(shù)據(jù)分解，得到所述3d數(shù)字人的神經(jīng)輻射場(chǎng)和外部參數(shù)；其中，所述外部參數(shù)至少包括：相機(jī)參數(shù)和所述3d數(shù)字人的三維模型的驅(qū)動(dòng)參數(shù)；
19、將所述神經(jīng)輻射場(chǎng)轉(zhuǎn)換為特征網(wǎng)格；
20、通過(guò)張量分解算法對(duì)所述特征網(wǎng)格的網(wǎng)格特征進(jìn)行分解，得到多個(gè)張量平面和多層感知機(jī)的網(wǎng)絡(luò)模型參數(shù)；
21、基于所述多個(gè)張量平面和所述網(wǎng)絡(luò)模型參數(shù)，確定所述緊湊表征。
22、一種可選的實(shí)施方式中，所述方法還包括：
23、通過(guò)metadata編碼器對(duì)所述外部參數(shù)和所述緊湊表征中網(wǎng)絡(luò)模型參數(shù)進(jìn)行壓縮處理，得到第二編碼結(jié)果，并向解碼端傳輸所述第二編碼結(jié)果。
24、一種可選的實(shí)施方式中，所述方法還包括：
25、通過(guò)第一視頻編碼器對(duì)所述二維背景數(shù)據(jù)進(jìn)行壓縮編碼處理，得到第三編碼結(jié)果；
26、向解碼端傳輸所述第三編碼結(jié)果。
27、一種可選的實(shí)施方式中，所述對(duì)處理后數(shù)據(jù)進(jìn)行編碼處理，包括：
28、通過(guò)第二視頻編碼器對(duì)所述量化處理后得到的量化后特征圖進(jìn)行編碼處理。
29、第二方面，本公開實(shí)施例提供了另一種數(shù)字人處理方法，應(yīng)用于解碼端，包括：
30、獲取編碼端發(fā)送的第一編碼結(jié)果和第二編碼結(jié)果；其中，所述第一編碼結(jié)果為所述編碼端對(duì)處理后數(shù)據(jù)進(jìn)行特征變換、量化處理和編碼處理得到，所述處理后數(shù)據(jù)為所述編碼端對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理得到，所述第二編碼結(jié)果為所述編碼端對(duì)神經(jīng)輻射場(chǎng)的網(wǎng)絡(luò)模型參數(shù)和外部參數(shù)進(jìn)行編碼壓縮得到，所述外部參數(shù)至少包括：相機(jī)參數(shù)和所述3d數(shù)字人的三維模型的驅(qū)動(dòng)參數(shù)；
31、分別對(duì)所述第一編碼結(jié)果和第二編碼結(jié)果進(jìn)行解碼處理，得到第一解碼結(jié)果和第二解碼結(jié)果；
32、基于所述第一解碼結(jié)果和第二解碼結(jié)果進(jìn)行重建渲染，得到3d數(shù)字人的渲染視點(diǎn)和/或3d模型，并通過(guò)終端側(cè)展示所述渲染視點(diǎn)和/或3d模型。
33、一種可選的實(shí)施方式中，所述方法還包括：
34、在獲取到編碼端傳輸?shù)牡谌幋a結(jié)果之后，通過(guò)第一視頻解碼器對(duì)所述第三編碼結(jié)果進(jìn)行解碼處理，得到所述第三解碼結(jié)果；其中，所述第三編碼結(jié)果為所述編碼端對(duì)所述3d數(shù)據(jù)中二維背景數(shù)據(jù)進(jìn)行編碼壓縮得到；
35、所述基于所述第一解碼結(jié)果和第二解碼結(jié)果進(jìn)行重建渲染，得到3d數(shù)字人的渲染視點(diǎn)和/或3d模型，包括：基于所述第一解碼結(jié)果、所述第二解碼結(jié)果和所述第三解碼結(jié)果進(jìn)行重建渲染，得到所述3d數(shù)字人的渲染視點(diǎn)和/或3d模型。
36、一種可選的實(shí)施方式中，所述分別對(duì)所述第一編碼結(jié)果和第二編碼結(jié)果進(jìn)行解碼處理，得到第一解碼結(jié)果和第二解碼結(jié)果，包括：
37、通過(guò)表征解碼器對(duì)所述第一編碼結(jié)果進(jìn)行解碼處理，得到所述第一解碼結(jié)果；
38、通過(guò)metadata解碼器對(duì)所述第二編碼結(jié)果進(jìn)行解碼處理，得到所述第二解碼結(jié)果。
39、一種可選的實(shí)施方式中，所述通過(guò)表征解碼器對(duì)所述第一編碼結(jié)果進(jìn)行解碼處理，得到所述第一解碼結(jié)果，包括：
40、通過(guò)所述表征解碼器中的第二視頻解碼器對(duì)所述第一編碼結(jié)果進(jìn)行解碼，得到量化后特征圖；
41、對(duì)所述量化后特征圖進(jìn)行反量化處理，得到特征圖；
42、基于所述特征圖和所述第二解碼結(jié)果中網(wǎng)絡(luò)模型參數(shù)進(jìn)行特征重構(gòu)，得到所述第一解碼結(jié)果。
43、第三方面，本公開實(shí)施例提供了一種數(shù)字人處理裝置，設(shè)置于編碼端，包括：
44、處理單元，用于對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理；
45、特征變換、量化和編碼單元，用于對(duì)所述處理后數(shù)據(jù)進(jìn)行特征變換，量化處理，編碼處理。
46、第四方面，本公開實(shí)施例提供了一種數(shù)字人處理裝置，設(shè)置于解碼端，包括：
47、獲取單元，用于獲取編碼端發(fā)送的第一編碼結(jié)果和第二編碼結(jié)果；其中，所述第一編碼結(jié)果為所述編碼端對(duì)處理后數(shù)據(jù)進(jìn)行特征變換、量化處理和編碼處理得到，所述處理后數(shù)據(jù)為所述編碼端對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理得到，所述第二本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)字人處理方法，其特征在于，應(yīng)用于編碼端，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述渲染視點(diǎn)為視頻的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：插幀，視頻超分辨率，去運(yùn)動(dòng)模糊、去噪。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述3D模型為點(diǎn)云模型或者網(wǎng)格模型的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：上采樣，補(bǔ)全，去噪，幀率上變換。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)基于神經(jīng)輻射場(chǎng)表征的3D數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理，包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對(duì)所述數(shù)字人數(shù)據(jù)進(jìn)行表征生成處理，得到所述3D數(shù)字人的緊湊表征，包括：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括：
10.根據(jù)權(quán)利要求7所述的方法，其特征在
11.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)處理后數(shù)據(jù)進(jìn)行編碼處理，包括：
12.一種數(shù)字人處理方法，其特征在于，應(yīng)用于解碼端，包括：
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還包括：
14.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述分別對(duì)所述第一編碼結(jié)果和第二編碼結(jié)果進(jìn)行解碼處理，得到第一解碼結(jié)果和第二解碼結(jié)果，包括：
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述通過(guò)表征解碼器對(duì)所述第一編碼結(jié)果進(jìn)行解碼處理，得到所述第一解碼結(jié)果，包括：
16.一種數(shù)字人處理裝置，其特征在于，設(shè)置于編碼端，包括：
17.一種數(shù)字人處理裝置，其特征在于，設(shè)置于解碼端，包括：
18.一種電子設(shè)備，其特征在于，包括：處理器、存儲(chǔ)器和總線，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1至11任一所述的數(shù)字人處理方法的步驟，或者，執(zhí)行如權(quán)利要求12至15任一所述的數(shù)字人處理方法的步驟。
19.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1至11任一所述的數(shù)字人處理方法的步驟，或者，執(zhí)行如權(quán)利要求12至15任一所述的數(shù)字人處理方法的步驟。
20.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品被存儲(chǔ)在存儲(chǔ)介質(zhì)中，所述程序產(chǎn)品被至少一個(gè)處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至11任一所述的數(shù)字人處理方法的步驟，或者，執(zhí)行如權(quán)利要求12至15任一所述的數(shù)字人處理方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)字人處理方法，其特征在于，應(yīng)用于編碼端，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述渲染視點(diǎn)為視頻的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：插幀，視頻超分辨率，去運(yùn)動(dòng)模糊、去噪。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述3d模型為點(diǎn)云模型或者網(wǎng)格模型的情況下，所述質(zhì)量增強(qiáng)模塊包括以下至少一種功能：上采樣，補(bǔ)全，去噪，幀率上變換。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)基于神經(jīng)輻射場(chǎng)表征的3d數(shù)據(jù)進(jìn)行語(yǔ)義分析處理和/或表征生成處理，包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對(duì)所述數(shù)字人數(shù)據(jù)進(jìn)行表征生成處理，得到所述3d數(shù)字人的緊湊表征，包括：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括：
10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述方法還包括：
11.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)處理后數(shù)據(jù)進(jìn)行編碼處理，包括：
12.一種數(shù)字人處理方法，其特征在于，應(yīng)用于解碼端，包括：
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙麗麗，
申請(qǐng)(專利權(quán))人：中國(guó)移動(dòng)通信有限公司研究院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。