圖像生成是當(dāng)前 AIGC 領(lǐng)域最熱門的方向之一。近期發(fā)布的圖像生成模型如 DALL?E 2、Imagen、Stable Diffusion 等等，開創(chuàng)了圖像生成的新時(shí)代，實(shí)現(xiàn)了前所未有的圖像質(zhì)量和模型靈活性水平。擴(kuò)散模型也成為目前占據(jù)主導(dǎo)地位的范式。然而，擴(kuò)散模型依賴于迭代推理，這是一把雙刃劍，因?yàn)榈椒梢詫?shí)現(xiàn)具有簡(jiǎn)單目標(biāo)的穩(wěn)定訓(xùn)練，但推理過(guò)程需要高昂的計(jì)算成本。

(資料圖片)

在擴(kuò)散模型之前，生成對(duì)抗網(wǎng)絡(luò)（GAN）是圖像生成模型中常用的基礎(chǔ)架構(gòu)。相比于擴(kuò)散模型，GAN 通過(guò)單個(gè)前向傳遞生成圖像，因此本質(zhì)上是更高效的，但由于訓(xùn)練過(guò)程的不穩(wěn)定性，擴(kuò)展 GAN 需要仔細(xì)調(diào)整網(wǎng)絡(luò)架構(gòu)和訓(xùn)練因素。因此，GAN 擅長(zhǎng)對(duì)單個(gè)或多個(gè)對(duì)象類進(jìn)行建模，但擴(kuò)展到復(fù)雜數(shù)據(jù)集（更不用說(shuō)現(xiàn)實(shí)世界）則極具挑戰(zhàn)性。因此，超大型模型、數(shù)據(jù)和計(jì)算資源現(xiàn)在都專用于擴(kuò)散模型和自回歸模型。

但作為一種高效的生成方法，許多研究者并沒(méi)有完全放棄 GAN 方法。例如，最近英偉達(dá)提出了 StyleGAN-T 模型；港中文等用基于 GAN 的方法?生成流暢視頻?，這些都是 CV 研究者在 GAN 上做的進(jìn)一步嘗試。

現(xiàn)在，在一篇 CVPR 2023 論文中，來(lái)自 POSTECH、卡耐基梅隆大學(xué)和 Adobe 研究院的研究者們聯(lián)合探究了關(guān)于 GAN 的幾個(gè)重要問(wèn)題，包括：

GAN 能否繼續(xù)擴(kuò)大規(guī)模并從大量資源中受益，GAN 遇到瓶頸了嗎？是什么阻止了 GAN 的進(jìn)一步擴(kuò)展，我們能否克服這些障礙？

論文鏈接：https://arxiv.org/abs/2303.05511項(xiàng)目鏈接：https://mingukkang.github.io/GigaGAN/

值得注意的是，CycleGAN 的主要作者、曾獲 2018 年 ACM SIGGRAPH 最佳博士論文獎(jiǎng)的朱俊彥是這篇 CVPR 論文的第二作者。

該研究首先使用 StyleGAN2 進(jìn)行實(shí)驗(yàn)，并觀察到簡(jiǎn)單地?cái)U(kuò)展主干網(wǎng)絡(luò)會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定。基于此，研究者確定了幾個(gè)關(guān)鍵問(wèn)題，并提出了一種在增加模型容量的同時(shí)穩(wěn)定訓(xùn)練的技術(shù)。

首先，該研究通過(guò)保留一組濾波器（filter）并采用特定于樣本的線性組合來(lái)有效地?cái)U(kuò)展生成器的容量。該研究還采用了擴(kuò)散上下文（diffusion context）中常用的幾種技術(shù)，并證實(shí)它們?yōu)?GAN 帶來(lái)了類似的好處。例如，將自注意力（僅圖像）和交叉注意力（圖像 - 文本）與卷積層交織在一起可以提高模型性能。

該研究還重新引入了多尺度訓(xùn)練，并提出一種新方案來(lái)改進(jìn)圖像 - 文本對(duì)齊和生成輸出的低頻細(xì)節(jié)。多尺度訓(xùn)練允許基于 GAN 的生成器更有效地使用低分辨率塊中的參數(shù)，從而實(shí)現(xiàn)了更好的圖像 - 文本對(duì)齊和圖像質(zhì)量。經(jīng)過(guò)仔細(xì)調(diào)整后，該研究提出了十億參數(shù)的新模型 GigaGAN，并在大型數(shù)據(jù)集（例如 LAION2B-en）上實(shí)現(xiàn)了穩(wěn)定和可擴(kuò)展的訓(xùn)練，實(shí)驗(yàn)結(jié)果如下圖 1 所示。

此外，該研究還采用了多階段方法 [14, 104]，首先以 64 × 64 的低分辨率生成圖像，然后再上采樣到 512 × 512 分辨率。這兩個(gè)網(wǎng)絡(luò)是模塊化的，并且足夠強(qiáng)大，能夠以即插即用的方式使用。

該研究表明，基于文本條件的 GAN 上采樣網(wǎng)絡(luò)可以用作基礎(chǔ)擴(kuò)散模型的高效且更高質(zhì)量的上采樣器，如下圖 2 和圖 3 所示。

上述改進(jìn)使 GigaGAN 遠(yuǎn)遠(yuǎn)超越了以前的 GAN：比 StyleGAN2 大 36 倍，比 StyleGAN-XL 和 XMC-GAN 大 6 倍。雖然 GigaGAN 十億（1B）的參數(shù)量仍然低于近期的大型合成模型，例如 Imagen (3.0B)、DALL?E 2 (5.5B) 和 Parti (20B)，但研究者表示他們尚未觀察到關(guān)于模型大小的質(zhì)量飽和。

GigaGAN 在 COCO2014 數(shù)據(jù)集上實(shí)現(xiàn)了 9.09 的零樣本 FID，低于 DALL?E 2、Parti-750M 和 Stable Diffusion。

此外，與擴(kuò)散模型和自回歸模型相比，GigaGAN 具有三大實(shí)用優(yōu)勢(shì)。首先，它的速度快了幾十倍，在 0.13 秒內(nèi)生成了 512 像素的圖像（圖 1）。其次，它可以在 3.66 秒內(nèi)合成 4k 分辨率的超高分辨率圖像。第三，它具有可控的潛在向量空間，適用于經(jīng)過(guò)充分研究的可控圖像合成應(yīng)用，例如風(fēng)格混合（圖 6）、prompt 插值（圖 7）和 prompt 混合（圖 8）。

該研究成功地在數(shù)十億現(xiàn)實(shí)世界圖像上訓(xùn)練了基于 GAN 的十億參數(shù)規(guī)模模型 GigaGAN。這表明 GAN 仍然是文本到圖像合成的可行選擇，研究人員們應(yīng)考慮將其用于未來(lái)的積極擴(kuò)展。

方法概覽

研究者訓(xùn)練了一個(gè)生成器 G (z, c)，在給定一個(gè)潛在編碼 z～N (0, 1)∈R^128 和文本調(diào)節(jié)信號(hào) c 的情況下，預(yù)測(cè)一個(gè)圖像 x∈R^(H×W×3)。他們使用一個(gè)判別器 D (x, c) 來(lái)判斷生成的圖像的真實(shí)性，與訓(xùn)練數(shù)據(jù)庫(kù) D 中的樣本相比較，后者包含圖像 - 文本對(duì)。

盡管 GAN 可以成功地在單類和多類數(shù)據(jù)集上生成真實(shí)的圖像，但在互聯(lián)網(wǎng)圖像上進(jìn)行開放式文本條件合成仍然面臨挑戰(zhàn)。研究者假設(shè)，目前的限制源于其對(duì)卷積層的依賴。也就是說(shuō)，同樣的卷積濾波器被用來(lái)為圖像所有位置上的所有文本條件進(jìn)行通用圖像合成函數(shù)建模，這是個(gè)挑戰(zhàn)。有鑒于此，研究者試圖通過(guò)根據(jù)輸入條件動(dòng)態(tài)選擇卷積濾波器，并通過(guò)注意力機(jī)制捕捉長(zhǎng)程依賴，為參數(shù)化注入更多的表現(xiàn)力。

GigaGAN 高容量文本 - 圖像生成器如下圖 4 所示。首先，研究者使用預(yù)訓(xùn)練的 CLIP 模型和學(xué)習(xí)過(guò)的編碼器 T 來(lái)提取文本嵌入。使用交叉注意力將局部文本描述符提供給生成器。全局文本描述符，連同潛在編碼 z，被送入風(fēng)格映射網(wǎng)絡(luò) M 以產(chǎn)生風(fēng)格碼 w。風(fēng)格碼使用論文中的風(fēng)格 - 自適應(yīng)內(nèi)核選擇調(diào)節(jié)主生成器，如右側(cè)所示。

生成器通過(guò)將中間特征轉(zhuǎn)換為 RGB 圖像來(lái)輸出一個(gè)圖像金字塔。為了達(dá)到更高的容量，研究者在每個(gè)尺度上使用多個(gè)注意力層和卷積層（附錄 A2）。他們還使用了一個(gè)單獨(dú)的上采樣器模型，該模型未在此圖中顯示。

判別器由兩個(gè)分支組成，用于處理圖像和文本調(diào)節(jié) t_D。文本分支對(duì)文本的處理與生成器類似（圖 4）。圖像分支接收一個(gè)圖像金字塔，并對(duì)每個(gè)圖像尺度進(jìn)行獨(dú)立預(yù)測(cè)。此外，預(yù)測(cè)是在下采樣層的所有后續(xù)尺度上進(jìn)行的，這使得它成為一個(gè)多尺度輸入、多尺度輸出（MS-I/O）的判別器。

實(shí)驗(yàn)結(jié)果

在論文中，作者記錄了五個(gè)不同的實(shí)驗(yàn)。

在第一個(gè)實(shí)驗(yàn)中，他們通過(guò)逐個(gè)納入每個(gè)技術(shù)組件來(lái)展示所提方法的有效性。

在第二個(gè)實(shí)驗(yàn)中，他們測(cè)試了模型文生圖的能力，結(jié)果顯示，GigaGAN 表現(xiàn)出與 Stable Diffusion（SD-v1.5）相當(dāng)?shù)?FID，同時(shí)產(chǎn)生的結(jié)果比擴(kuò)散或自回歸模型快得多。

在第三個(gè)實(shí)驗(yàn)中，他們將 GigaGAN 與基于蒸餾的擴(kuò)散模型進(jìn)行比較，結(jié)果顯示，GigaGAN 能比基于蒸餾的擴(kuò)散模型更快地合成更高質(zhì)量的圖像。

在第四個(gè)實(shí)驗(yàn)中，他們驗(yàn)證了 GigaGAN 的上采樣器在有條件和無(wú)條件的超分辨率任務(wù)中相比其他上采樣器的優(yōu)勢(shì)。

最后，他們展示了自己提出的大規(guī)模 GAN 模型仍然享受 GAN 的連續(xù)和解糾纏的潛在空間操作，從而實(shí)現(xiàn)了新的圖像編輯模式。圖表請(qǐng)參見上文中的圖 6 和圖 8。

關(guān)鍵詞：