【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法
[0001]本專利技術(shù)涉及圖像級(jí)深度偽造領(lǐng)域，具體涉及一種基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法。
技術(shù)介紹
[0002]近年來(lái)，隨著機(jī)器學(xué)習(xí)和圖形學(xué)技術(shù)的突破性發(fā)展，深度偽造領(lǐng)域同樣得到長(zhǎng)足的進(jìn)步，該領(lǐng)域子方向中的人臉身份合成方向也獲得了飛速的發(fā)展，導(dǎo)致越來(lái)越多的偽造圖像和視頻出現(xiàn)在網(wǎng)絡(luò)上。具體來(lái)說(shuō)，人臉身份合成技術(shù)是指將源人臉的身份信息通過(guò)合理的技術(shù)轉(zhuǎn)化到到目標(biāo)人臉上，同時(shí)不破壞圖像中目標(biāo)人臉的屬性信息(背景，姿態(tài)和光照等信息)。目前人臉身份合成在信息保護(hù)、影視行業(yè)、虛擬娛樂(lè)等各個(gè)領(lǐng)域中得到了大量的應(yīng)用，影視行業(yè)中利用先進(jìn)的設(shè)備來(lái)重建演員的面部模型，并重建場(chǎng)景的照明條件，可以獲得逼真效果。相較于深度偽造領(lǐng)域中的屬性編輯和圖像修復(fù)等方向，人臉身份合成更加開放，同時(shí)還涉及到更多生成模型中的革新技術(shù)。
[0003]傳統(tǒng)的人臉身份合成方向的研究主要基于圖像編輯的方式，這種方法可以可以分為兩小類，一是人臉圖像剖析和融合方式，二是3D人臉建模方式。第一種傳統(tǒng)的圖像編輯的方式需要手動(dòng)剖析臉部區(qū)域，并通過(guò)渲染，形變等方式進(jìn)行臉部融合，這種方式效率不高，同時(shí)會(huì)耗費(fèi)大量的時(shí)間和精力。第二種方式需要獲取人臉圖像的3D人臉圖像，結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行生成圖像，會(huì)造成光照和背景缺失的問(wèn)題。另外，這些生成方法很少關(guān)注人臉的結(jié)構(gòu)，導(dǎo)致生成的人臉圖像存在臉型問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
[0004]本專利技術(shù)為了克服以上技術(shù)的不足，提供了一種首先用于語(yǔ)義引導(dǎo)臉型變化的特征關(guān)鍵點(diǎn)，然后對(duì)圖像提取身...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法，其特征在于，包括如下步驟：a)對(duì)CelebA人臉圖像數(shù)據(jù)集中所有人臉圖像提取出人臉圖像的關(guān)鍵點(diǎn)；b)建立PET關(guān)鍵點(diǎn)調(diào)整網(wǎng)絡(luò)，將人臉圖像的關(guān)鍵點(diǎn)輸入到PET關(guān)鍵點(diǎn)調(diào)整網(wǎng)絡(luò)中得到特征關(guān)鍵點(diǎn)lm
fake
，對(duì)特征關(guān)鍵點(diǎn)lm
fake
進(jìn)行迭代，得到優(yōu)化后的特征關(guān)鍵點(diǎn)lm
fake
；c)建立人臉圖像特征提取網(wǎng)絡(luò)，將CelebA人臉圖像數(shù)據(jù)集中源圖像Pic
s
和目標(biāo)圖像Pic
t
輸入到人臉圖像特征提取網(wǎng)絡(luò)中，分別輸出得到身份特征F
id
及屬性特征F
attr
；d)建立背景特征提取網(wǎng)絡(luò)，將目標(biāo)圖像Pic
t
輸入到背景特征提取網(wǎng)絡(luò)中，得到背景特征信息F
bg
；e)建立生成網(wǎng)絡(luò)，將身份特征F
id
、屬性特征F
attr
、背景特征信息F
bg
及優(yōu)化后的特征關(guān)鍵點(diǎn)lm
fake
輸入到生成網(wǎng)絡(luò)中，得到人臉圖像Pic
fake
，對(duì)圖像Pic
fake
進(jìn)行迭代，得到優(yōu)化后的人臉圖像Pic
fake
；f)重復(fù)步驟b)至步驟e)，得到真實(shí)且臉部輪廓發(fā)生改變的人臉圖像Pic
fake
。2.根據(jù)權(quán)利要求1所述的基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法，其特征在于，步驟a)包括如下步驟：a
?
1)使用人臉關(guān)鍵點(diǎn)檢測(cè)算法H3R檢測(cè)CelebA人臉圖像數(shù)據(jù)集中所有人臉圖像的關(guān)鍵點(diǎn)，從CelebA人臉圖像數(shù)據(jù)集中的源圖像Pic
s
中提取的關(guān)鍵點(diǎn)表示為源關(guān)鍵點(diǎn)lm
s
，從CelebA人臉圖像數(shù)據(jù)集中的目標(biāo)圖像Pic
t
中提取的關(guān)鍵點(diǎn)表示為源關(guān)鍵點(diǎn)lm
t
。3.根據(jù)權(quán)利要求2述的基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法，其特征在于，步驟b)包括如下步驟：b
?
1)建立由源編碼器E
lms
、目標(biāo)編碼器E
lmt
、關(guān)鍵點(diǎn)生成器G
lm
、相似度判別器D
S
及真假判別器D
TF
構(gòu)成的PET關(guān)鍵點(diǎn)調(diào)整網(wǎng)絡(luò)；b
?
2)源編碼器E
lms
由第一下采樣卷積層、第二下采樣卷積層、第三下采樣卷積層、第四下采樣卷積層及第五采樣卷積層構(gòu)成，將源關(guān)鍵點(diǎn)lm
s
輸入到源編碼器E
lms
的第一下采樣卷積層中，輸出得到特征信息將特征信息輸入到第二下采樣卷積層中，輸出得到特征信息將特征信息輸入到第三下采樣卷積層中，輸出得到特征信息將特征信息輸入到第四下采樣卷積層中中，輸出得到特征信息將特征信息輸入到第五下采樣卷積層中，輸出得到特征信息b
?
3)目標(biāo)編碼器E
lmt
由第一全連接層、第二全連接層、第三全連接層、第四全連接層及第五全連接層構(gòu)成，將源關(guān)鍵點(diǎn)lm
t
輸入到目標(biāo)編碼器E
lmt
的第一全連接層中，輸出得到特征信息將特征信息輸入到第二全連接層中，輸出得到特征信息將特征信息輸入到第三全連接層中，輸出得到特征信息將特征信息輸入到第四全連接層中，輸出得到特征信息將特征信息輸入到第五連接層中，輸出得到特征信息b
?
4)使用torch.cat()函數(shù)將特征信息和特征信息堆疊得到特征向量b
?
5)關(guān)鍵點(diǎn)生成器G
lm
由第一上采樣卷積層、第二上采樣卷積層、第三上采樣卷積層、第四上采樣卷積層及第五上采樣卷積層構(gòu)成，將特征向量輸入到關(guān)鍵點(diǎn)生成器G
lm
的第一上采樣卷積層中，輸出得到特征關(guān)鍵點(diǎn)將特征關(guān)鍵點(diǎn)輸入到第二上采樣卷積層
中，輸出得到特征關(guān)鍵點(diǎn)將特征關(guān)鍵點(diǎn)輸入到第三上采樣卷積層中，輸出得到特征關(guān)鍵點(diǎn)將特征關(guān)鍵點(diǎn)輸入到第四上采樣卷積層中，輸出得到特征關(guān)鍵點(diǎn)將特征關(guān)鍵點(diǎn)輸入到第五上采樣卷積層中，輸出得到特征關(guān)鍵點(diǎn)lm
fake
；b
?
6)相似度判別器D
S
由Layer
s
模塊、Layer
fake
模塊、Layer
c
模塊構(gòu)成，Layer
fake
模塊由第一全連接層、第二全連接層、第三全連接層、第四全連接層構(gòu)成，將特征關(guān)鍵點(diǎn)lm
fake
輸入到Layer
fake
模塊的第一全連接層中，輸出得到特征信息將特征信息輸入到Layer
fake
模塊的第二全連接層中，輸出得到特征信息將特征信息輸入到Layer
fake
模塊的第三全連接層中，輸出得到特征信息將特征信息輸入到Layer
fake
模塊的第四全連接層中，輸出得到特征信息Layer
s
模塊由第一全連接層、第二全連接層、第三全連接層、第四全連接層構(gòu)成，將源關(guān)鍵點(diǎn)lm
s
輸入到Layer
s
模塊由第一全連接層中，輸出得到特征信息將特征信息輸入到Layer
s
模塊由第二全連接層中，輸出得到特征信息將特征信息輸入到Layer
s
模塊由第三全連接層中，輸出得到特征信息將特征信息輸入到Layer
s
模塊由第四全連接層中，輸出得到特征信息使用torch.cat()函數(shù)將特征信息和特征信息堆疊得到特征向量Layer
c
模塊由第一全連接層、第二全連接層、第三全連接層、第四全連接層構(gòu)成，將特征向量輸入到Layer
c
模塊的第一全連接層中，輸出得到相似度特征Fscore1，將相似度特征Fscore1輸入到Layer
c
模塊的第二全連接層中，輸出得到相似度特征Fscore2，將相似度特征Fscore2輸入到Layer
c
模塊的第三全連接層中，輸出得到相似度特征Fscore3，將相似度特征Fscore3輸入到Layer
c
模塊的第四全連接層中，輸出得到相似度得分score；b
?
7)真假判別器D
TF
由第一全連接層、第二全連接層、第三全連接層、第四全連接層、第五全連接層、第六全連接層構(gòu)成，將特征關(guān)鍵點(diǎn)lm
fake
輸入到真假判別器D
TF
的第一全連接層中，輸出得到特征將特征輸入到第二全連接層，輸出得到特征將特征輸入到第三全連接層，輸出得到特征將特征輸入到第四全連接層，輸出得到特征將特征輸入到第五全連接層，輸出得到特征特征輸入到第六全連接層，輸出得到1通道的數(shù)值b
?
8)通過(guò)公式loss
L1
＝||lm
fake
?
lm
s
||2計(jì)算得到逐點(diǎn)損失loss
L1
，式中||
·
||2為平均平方誤差，loss
Cycle
＝||lm
fake
?
lm
t
||2計(jì)算得到重建損失loss
Cycle
，通過(guò)公式計(jì)算得到真假損失loss
DTF
，通過(guò)公式計(jì)算得到相似度損失loss
DS
，通過(guò)反向傳播法利用逐點(diǎn)損失loss
L1
、重建損失loss
Cycle
、真假損失loss
DTF
、相似度損失loss
DS
迭代優(yōu)化特征關(guān)鍵點(diǎn)lm
fake
。4.根據(jù)權(quán)利要求1所述的基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法，其特征在于：步驟b
?
2)中第一下采樣卷積層、第二下采樣卷積層、第三下采樣卷積層、第四下采樣卷積層及第五采樣卷積層的卷積核均為1，步長(zhǎng)均為1，填充均為0；步驟b
?
5)中第一上采樣卷積層、第二上采樣卷積層、第三上采樣卷積層、第四上采樣卷積層及第五上采樣卷積層的卷積核均為1，步長(zhǎng)均為1，填充均為0。
5.根據(jù)權(quán)利要求1所述的基于語(yǔ)義引導(dǎo)的人臉圖像身份合成方法，其特征在于，步驟c)包括如下步驟：c
?
1)建立由身份編碼器E
id
和屬性編碼器E
attr
構(gòu)成的人臉圖像特征提取網(wǎng)絡(luò)；c
?
2)身份編碼器E
id
由Arcface算法構(gòu)成，將源圖像Pic
s
輸入到身份編碼器E
id
中，通過(guò)interpolate()函數(shù)將源圖像Pic
s
調(diào)整為112*112分辨率，將112*112分辨率的圖像輸入到Arcface算法中，輸出得到身份向量其中b為訓(xùn)練批次，c為通道數(shù)，h為圖像高度，w為圖像寬度，將身份向量依次輸入到填充層和正則化層中，輸出得到身份特征F
id
；c
?
3)屬性編碼器E
attr
由第一下采樣殘差塊、第二下采樣殘差塊、第三下采樣殘差塊、第四下采樣殘差塊、第五下采樣殘差塊、第一瓶頸殘差塊、第二瓶頸殘差塊構(gòu)成，第一下采樣殘差塊、第二下采樣殘差塊、第三下采樣殘差塊、第四下采樣殘差塊、第五下采樣殘差塊均依次由第一歸一化層、第二歸一化層、第一ReLU激活層、第二ReLU激活層、第一卷積層、第二卷積層、下采樣層、殘差連接層構(gòu)成，第一瓶頸殘...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉瑞霞，李子安，舒明雷，陳長(zhǎng)芳，單珂，
申請(qǐng)(專利權(quán))人：齊魯工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。