隨著數(shù)字人概念的火爆、生成技術(shù)的不斷發(fā)展，讓照片里的人物跟隨音頻的輸入動起來也不再是難題。

不過目前「通過人臉圖像和一段語音音頻來生成會說話的人物頭像視頻」仍然存在諸多問題，比如頭部運動不自然、面部表情扭曲、視頻和圖片中的人物面部差異過大等問題。

(資料圖)

最近來自西安交通大學(xué)等的研究人員提出了SadTalker模型，在三維運動場中進行學(xué)習(xí)從音頻中生成3DMM的3D運動系數(shù)（頭部姿勢、表情），并使用一個全新的3D面部渲染器來生成頭部運動。

論文鏈接：https://arxiv.org/pdf/2211.12194.pdf

項目主頁：https://sadtalker.github.io/

音頻可以是英文、中文、歌曲，視頻里的人物還可以控制眨眼頻率！

為了學(xué)習(xí)真實的運動系數(shù)，研究人員顯式地對音頻和不同類型的運動系數(shù)之間的聯(lián)系進行單獨建模：通過蒸餾系數(shù)和3D渲染的臉部，從音頻中學(xué)習(xí)準確的面部表情；通過條件VAE設(shè)計PoseVAE來合成不同風(fēng)格的頭部運動。

最后使用生成的三維運動系數(shù)被映射到人臉渲染的無監(jiān)督三維關(guān)鍵點空間，并合成最終視頻。

最后在實驗中證明了該方法在運動同步和視頻質(zhì)量方面實現(xiàn)了最先進的性能。

目前stable-diffusion-webui的插件也已經(jīng)發(fā)布！

數(shù)字人創(chuàng)作、視頻會議等多個領(lǐng)域都需要「用語音音頻讓靜態(tài)照片動起來」的技術(shù)，但目前來說這仍然是一項非常有挑戰(zhàn)性的任務(wù)。

之前的工作主要集中在生成「唇部運動」，因為嘴唇的動作與語音之間的關(guān)系最強，其他工作也在嘗試生成其他相關(guān)運動（如頭部姿勢）的人臉視頻，不過生成視頻的質(zhì)量仍然非常不自然，并受到偏好姿勢、模糊、身份修改和面部扭曲的限制。

另一種流行的方法是基于latent的人臉動畫，主要關(guān)注在對話式人臉動畫中特定類別的運動，同樣很難合成高質(zhì)量的視頻，因為雖然三維面部模型中包含高度解耦的表征，可以用來單獨學(xué)習(xí)面部不同位置的運動軌跡，但仍然會生成不準確的表情和不自然的運動序列。

基于上述觀察結(jié)果，研究人員提出了SadTalker（Stylized Audio-Driven Talking-head），通過隱式三維系數(shù)modulation的風(fēng)格化音頻驅(qū)動的視頻生成系統(tǒng)。

為了實現(xiàn)這一目標，研究人員將3DMM的運動系數(shù)視為中間表征，并將任務(wù)分為兩個主要部分（表情和姿勢），旨在從音頻中生成更真實的運動系數(shù)（如頭部姿勢、嘴唇運動和眼睛眨動），并單獨學(xué)習(xí)每個運動以減少不確定性。

最后通過一個受face-vid2vid啟發(fā)設(shè)計的3D感知的面部渲染來驅(qū)動源圖像。

3D面部

因為現(xiàn)實中的視頻都是在三維環(huán)境中拍攝的，所以三維信息對于提高生成視頻的真實性至關(guān)重要；不過之前的工作很少考慮三維空間，因為只從一張平面圖像很難獲得原始的三維稀疏，并且高質(zhì)量的面部渲染器也很難設(shè)計。

受最近的單圖像深度三維重建方法的啟發(fā)，研究人員將預(yù)測的三維形變模型（3DMMs）的空間作為中間表征。

在3DMM中，三維臉部形狀S可以被解耦為：

其中S是三維人臉的平均形狀，Uid和Uexp是LSFM morphable模型的身份和表情的正則，系數(shù)α（80維）和β（64維）分別描述人物身份和表情；為了保持姿勢的差異性，系數(shù)r和t分別表示頭部旋轉(zhuǎn)和平移；為了實現(xiàn)身份無關(guān)的系數(shù)生成，只將運動的參數(shù)建模為{β, r, t}。

即，從驅(qū)動的音頻中單獨學(xué)習(xí)頭部姿勢ρ=[r, t]和表情系數(shù)β，然后使用這些運動系數(shù)被隱式地調(diào)制面部渲染用于最終的視頻合成。

通過音頻生成運動稀疏

三維運動系數(shù)包含頭部姿勢和表情，其中頭部姿勢是全局運動，而表情是相對局部的，所以完全學(xué)習(xí)所有的系數(shù)會給網(wǎng)絡(luò)帶來巨大的不確定性，因為頭部姿勢與音頻的關(guān)系相對較弱，而嘴唇的運動則是與音頻高度關(guān)聯(lián)的。

所以SadTalker使用下面PoseVAE和ExpNet分別生成頭部姿勢和表情的運動。

ExpNet

學(xué)習(xí)到一個可以「從音頻中產(chǎn)生準確的表情系數(shù)」的通用模型是非常困難的，原因有二：

1）音頻到表情（audio-to-expression）不是對不同人物的一對一的映射任務(wù)；

2）表情系數(shù)中存在一些與音頻相關(guān)的動作，會影響到預(yù)測的準確性。

ExpNet的設(shè)計目標就是為了減少這些不確定性；至于人物身份問題，研究人員通過第一幀的表情系數(shù)將表情運動與特定的人物聯(lián)系起來。

為了減少自然對話中其他面部成分的運動權(quán)重，通過Wav2Lip和深度三維重建的預(yù)訓(xùn)練網(wǎng)絡(luò)，只使用嘴唇運動系數(shù)（lip motion only）作為系數(shù)目標。

至于其他細微的面部運動（如眼睛眨動）等，可以在渲染圖像上的額外landmark損失中引入。

PoseVAE

研究人員設(shè)計了一個基于VAE的模型以學(xué)習(xí)談話視頻中真實的、身份相關(guān)（identity-aware）的風(fēng)格化頭部運動。

在訓(xùn)練中，使用基于編碼器-解碼器的結(jié)構(gòu)對固定的n個幀進行姿勢VAE訓(xùn)練，其中編碼器和解碼器都是兩層MLP，輸入包含一個連續(xù)的t幀頭部姿勢，將其嵌入到高斯分布；在解碼器中，網(wǎng)絡(luò)從采樣分布中學(xué)習(xí)生成t幀姿勢。

需要注意的是，PoseVAE并沒有直接生成姿勢，而是學(xué)習(xí)第一幀的條件姿勢的殘差，這也使得該方法在測試中能在第一幀的條件下生成更長、更穩(wěn)定、更連續(xù)的頭部運動。

根據(jù)CVAE，PoseVAE中還增加了相應(yīng)的音頻特征和風(fēng)格標識作為rhythm awareness和身份風(fēng)格的條件。

模型使用KL散度來衡量生成運動的分布；使用均方損失和對抗性損失來保證生成的質(zhì)量。

3D-aware面部渲染

在生成真實的三維運動系數(shù)后，研究人員通過一個精心設(shè)計的三維圖像動畫器來渲染最終的視頻。

最近提出的圖像動畫方法face-vid2vid可以隱含地從單一圖像中學(xué)習(xí)3D信息，不過該方法需要一個真實的視頻作為動作驅(qū)動信號；而這篇論文中提出的臉部渲染可以通過3DMM系數(shù)來驅(qū)動。

研究人員提出mappingNet來學(xué)習(xí)顯式3DMM運動系數(shù)（頭部姿勢和表情）和隱式無監(jiān)督3D關(guān)鍵點之間的關(guān)系。

mappingNet通過幾個一維卷積層建立，類似PIRenderer一樣使用時間窗口的時間系數(shù)進行平滑處理；不同的是，研究人員發(fā)現(xiàn)PIRenderer中的人臉對齊運動系數(shù)將極大地影響音頻驅(qū)動的視頻生成的運動自然度，所以mappingNet只使用表情和頭部姿勢的系數(shù)。

訓(xùn)練階段包含兩個步驟：首先遵循原論文，以自監(jiān)督的方式訓(xùn)練face-vid2vid；然后凍結(jié)外觀編碼器、canonical關(guān)鍵點估計器和圖像生成器的所有參數(shù)后，以重建的方式在ground truth視頻的3DMM系數(shù)上訓(xùn)練mappingNet進行微調(diào)。

在無監(jiān)督關(guān)鍵點的域中使用L1損失進行監(jiān)督訓(xùn)練，并按照其原始實現(xiàn)方式給出最終生成的視頻。

為了證明該方法的優(yōu)越性，研究人員選取了Frechet Inception Distance（FID）和Cumulative Probability Blur Detection（CPBD）指標來評估圖像的質(zhì)量，其中FID主要評估生成幀的真實性，CPBD評估生成幀的清晰度。

為了評估身份保留程度，使用ArcFace來提取圖像的身份嵌入，然后計算源圖像和生成幀之間身份嵌入的余弦相似度（CSIM）。

為了評估唇部同步和口型，研究人員評估了來自Wav2Lip的口型的感知差異，包括距離評分（LSE-D）和置信評分（LSE-C）。

在頭部運動的評估中，使用Hopenet從生成的幀中提取的頭部運動特征嵌入的標準偏差來計算生成頭部運動的多樣性；計算Beat Align Score來評估音頻和生成頭部運動的一致性。

在對比方法中，選取了幾種最先進的談話頭像生成方法，包括MakeItTalk、Audio2Head和音頻轉(zhuǎn)表情生成方法（Wav2Lip、PC-AVS），使用公開的checkpoint權(quán)重進行評估。

從實驗結(jié)果中可以看出，文中提出的方法可以展現(xiàn)出更好的整體視頻質(zhì)量和頭部姿勢的多樣性，同時在唇部同步指標方面也顯示出與其他完全說話的頭部生成方法相當?shù)男阅堋?/p>

研究人員認為，這些唇語同步指標對音頻太敏感了，以至于不自然的唇部運動可能會得到更好的分數(shù)，不過文中提出的方法取得了與真實視頻相似的分數(shù)，也表明了該方法的優(yōu)勢。

不同方法生成的視覺結(jié)果中可以看到，該方法與原始目標視頻的視覺質(zhì)量非常相似，而且與預(yù)期的不同頭部姿勢也非常相似。

與其他方法相比，Wav2Lip生成了模糊的半臉；PC-AVS和Audio2Head很難保留源圖像的身份；Audio2Head只能生成正面說話的臉；MakeItTalk和Audio2Head由于二維扭曲而生成了扭曲的人臉視頻。

關(guān)鍵詞：