三維重建是計(jì)算機(jī)視覺(jué)（CV）和計(jì)算機(jī)圖形學(xué)（CG）的熱點(diǎn)主題之一，它通過(guò) CV 技術(shù)處理相機(jī)等傳感器拍攝的真實(shí)物體和場(chǎng)景的二維圖像，得到它們的三維模型。隨著相關(guān)技術(shù)的不斷成熟，三維重建越來(lái)越廣泛地應(yīng)用于智能家居、AR 旅游、自動(dòng)駕駛與高精度地圖、機(jī)器人、城市規(guī)劃、文物重建、電影娛樂(lè)等多個(gè)不同領(lǐng)域。

【資料圖】

典型的基于二維圖像的三維人臉重建。圖源：10.1049/iet-cvi.2013.0220

傳統(tǒng)三維重建大致可以分為光測(cè)度和幾何方法，前者分析像素點(diǎn)的亮度變化，后者依靠視差完成重建。近年來(lái)又開(kāi)始采用機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)技術(shù)，在特征檢測(cè)、深度估計(jì)等方面取得很好的效果。雖然當(dāng)前一些方法利用空間幾何模型與紋理貼圖，在場(chǎng)景的外觀還原度上與真實(shí)世界看起來(lái)幾近相同。

但應(yīng)看到，這些方法仍存在一些局限，僅能還原場(chǎng)景外觀特征，無(wú)法實(shí)現(xiàn)場(chǎng)景內(nèi)光照、反射率和粗糙度等更深層次屬性的數(shù)字化，對(duì)這些深層信息的查詢和編輯更無(wú)從談起了。這也導(dǎo)致無(wú)法將它們轉(zhuǎn)化為渲染引擎可用的 PBR 渲染資產(chǎn)，也就不能生成真實(shí)感十足的渲染效果。如何解決這些問(wèn)題呢？逆渲染技術(shù)逐漸進(jìn)入了人們的視野。

逆渲染任務(wù)最早是由老一輩計(jì)算機(jī)科學(xué)家 Barrow 和 Tenenbaum 于 1978 年提出，在三維重建的基礎(chǔ)上，進(jìn)一步恢復(fù)光照、反射率、粗糙度和金屬度等場(chǎng)景內(nèi)在屬性，實(shí)現(xiàn)更具真實(shí)感的渲染。不過(guò)從圖像中分解這些屬性極其不穩(wěn)定，不同的屬性配置往往導(dǎo)致相似的外觀。隨著可微分渲染和隱式神經(jīng)表示的進(jìn)展，一些方法在具有顯式或隱式先驗(yàn)的以物體為中心的小場(chǎng)景中取得了較好效果。

然而大規(guī)模室內(nèi)場(chǎng)景的逆渲染一直沒(méi)能很好地解決，不僅難以在真實(shí)場(chǎng)景下恢復(fù)物理合理的材質(zhì)，場(chǎng)景內(nèi)多視角一致性也很難保證。在國(guó)內(nèi)有這樣一家深耕自主研發(fā)核心算法，專注三維重建領(lǐng)域大規(guī)模行業(yè)應(yīng)用的技術(shù)公司 —— 如視（Realsee），針對(duì)大規(guī)模室內(nèi)場(chǎng)景的逆渲染這一難啃的課題，開(kāi)創(chuàng)性地提出了高效的多視角逆渲染框架。論文已被 CVPR 2023 會(huì)議接收。

項(xiàng)目地址：http://yodlee.top/TexIR/論文地址：https://arxiv.org/pdf/2211.10206.pdf

具體來(lái)講，如視新方法可以基于精準(zhǔn)的空間數(shù)據(jù)，反向推測(cè)獲取諸如光照、反射率、粗糙度等場(chǎng)景內(nèi)在屬性，在三維重建的基礎(chǔ)上恢復(fù)出貼近真實(shí)場(chǎng)景的光照和材質(zhì)表現(xiàn)，在重建效果、成本效率、應(yīng)用范圍等維度實(shí)現(xiàn)全面提升。

本文將對(duì)如視大規(guī)模室內(nèi)場(chǎng)景的多視角逆渲染技術(shù)進(jìn)行詳細(xì)的解讀，并深入剖析其優(yōu)勢(shì)所在。

面向大規(guī)模室內(nèi)場(chǎng)景如視全新逆渲染技術(shù)做到「準(zhǔn)、細(xì)、快」

下圖 2 為如視全新逆渲染方法的整體流程。給定一組經(jīng)過(guò)校準(zhǔn)的大規(guī)模室內(nèi)場(chǎng)景的 HDR 圖像，該方法旨在準(zhǔn)確地恢復(fù)全局一致的光照和 SVBRDFs（雙向反射率分布函數(shù)），從而方便地集成到圖像 pipeline 和下游應(yīng)用中。

為了實(shí)現(xiàn)這些目標(biāo)，如視首先提出一種被稱為TBL（Texture-based Lighting）的緊湊光照表示，它由 3D 網(wǎng)格和 HDR 紋理組成，高效建模了整個(gè)室內(nèi)大場(chǎng)景任意位置內(nèi)包含直接和無(wú)限次彈射間接光照的全局光照。基于 TBL，如視又進(jìn)一步提出了具有預(yù)計(jì)算輻照度的混合光照表示，大幅提升了效率并減輕了材質(zhì)優(yōu)化中的渲染噪聲。最后如視引入了一種基于分割的三階段式材質(zhì)優(yōu)化策略，很好地處理了復(fù)雜大規(guī)模室內(nèi)場(chǎng)景中材質(zhì)物理上的模糊性。

基于紋理的光照（TBL）

在表示大規(guī)模室內(nèi)場(chǎng)景的光照上，TBL 的優(yōu)勢(shì)分別表現(xiàn)在神經(jīng)表示的緊湊性、IBL 全局光照以及參量光的可解釋性和空間一致性。TBL 是對(duì)整個(gè)場(chǎng)景的全局表示，定義了所有表面點(diǎn)的射出輻照度。而一個(gè)表面點(diǎn)的射出輻照度通常等于 HDR 紋理的值，即輸入的 HDR 圖像中相應(yīng)像素觀察到的 HDR 輻照度。

如視使用自研的高質(zhì)量三維重建技術(shù)來(lái)重建整個(gè)大場(chǎng)景的網(wǎng)格模型。最終基于輸入的 HDR 圖像來(lái)重建 HDR 紋理，并通過(guò) HDR 紋理從任意位置任意方向查詢?nèi)止庹铡Ｏ聢D 3（左）展示了 TBL 的可視化。

混合光照表示

在實(shí)踐中，直接利用 TBL 優(yōu)化材質(zhì)存在弊端，蒙特卡洛高采樣數(shù)會(huì)導(dǎo)致很高的計(jì)算和內(nèi)存成本。由于大多數(shù)噪聲存在于漫反射分量，如視對(duì)漫反射分量表面點(diǎn)的輻照度進(jìn)行預(yù)計(jì)算。因此可以高效地查詢輻照度，取代了成本高昂的在線計(jì)算，如圖 3（右）所示。基于 TBL 的渲染方程由公式 (1) 重新寫(xiě)為公式 (2)。

如視提出了兩種表示來(lái)建模預(yù)計(jì)算輻照度。一種是神經(jīng)輻照度場(chǎng)（NIrF），它是一個(gè)淺層多層感知器（MLP），以表面點(diǎn)作為輸入并輸出輻照度 p。另一種是輻照度紋理（IrT），它類(lèi)似于計(jì)算機(jī)圖形學(xué)中常用的光照貼圖。

可以看到，這種混合光照表示包含了用于漫反射分量的預(yù)計(jì)算輻照度和用于鏡面反射分量的源 TBL，大大降低了渲染噪聲，實(shí)現(xiàn)了材質(zhì)的高效優(yōu)化。公式 (2) 中的漫反射分量被建模為公式 (3) 所示。

基于分割的三階段式材質(zhì)估計(jì)

對(duì)于神經(jīng)材質(zhì)而言，很難用極其復(fù)雜的材質(zhì)對(duì)大規(guī)模場(chǎng)景進(jìn)行建模，并且不適配傳統(tǒng)的圖形引擎。如視選擇直接優(yōu)化幾何的顯式材質(zhì)紋理，使用了以 SV 反照率和 SV 粗糙度作為參數(shù)的簡(jiǎn)化版 Disney BRDF 模型。不過(guò)由于觀察的稀疏性，直接優(yōu)化顯式材質(zhì)紋理導(dǎo)致不一致和未收斂的粗糙度。

對(duì)此，如視利用語(yǔ)義和房間分割先驗(yàn)來(lái)解決這一問(wèn)題，其中語(yǔ)義圖像通過(guò)基于學(xué)習(xí)的模型預(yù)測(cè)，房間分割通過(guò)占用網(wǎng)格計(jì)算。在實(shí)現(xiàn)過(guò)程中，如視采取三階段式策略。

第一階段基于 Lambertian 假設(shè)來(lái)優(yōu)化稀疏反照率，而不像以物體為中心的小場(chǎng)景那樣將反照率初始化為常數(shù)。雖然可以通過(guò)公式 (3) 直接計(jì)算漫反射反照率，但在高光區(qū)域會(huì)使得反照過(guò)亮，導(dǎo)致下一階段的粗糙度過(guò)高。因此，如視使用語(yǔ)義平滑約束在相同的語(yǔ)義分割上激發(fā)類(lèi)似的反照率，如下公式 (4) 所示。稀疏的反照率通過(guò)公式 (5) 來(lái)優(yōu)化。

第二階段基于虛擬高光（VHL）的采樣和基于語(yǔ)義的傳播。在多視圖圖像中，只能觀察到稀疏的鏡面反射線索會(huì)導(dǎo)致全局不一致的粗糙度，大規(guī)模場(chǎng)景尤甚。不過(guò)通過(guò)語(yǔ)義分割先驗(yàn)，高光區(qū)域的合理粗糙度可以傳播到具有相同語(yǔ)義的區(qū)域。

如視首先基于粗糙度為 0.01 的輸入姿態(tài)來(lái)渲染圖像以找到每個(gè)語(yǔ)義類(lèi)的 VHL 區(qū)域，然后根據(jù)凍結(jié)的稀疏反照率和光照來(lái)優(yōu)化這些 VHL 的粗糙度。合理的粗糙度可以通過(guò)公式 (6) 傳播到相同的語(yǔ)義分割中，并且該粗糙度可以通過(guò)公式 (7) 進(jìn)行優(yōu)化。

第三階段基于分割的微調(diào)。如視基于語(yǔ)義分割和房間分割先驗(yàn)來(lái)微調(diào)所有的材質(zhì)紋理。具體地，如視使用了與公式 (4) 類(lèi)似的平滑約束以及用于粗糙度的房間平滑約束，使不同房間的粗糙度變得更柔和、平滑。房間平滑約束由公式 (8) 定義，同時(shí)不對(duì)反照率使用任何平滑約束，總損失被定義公式 (9) 所示。

實(shí)驗(yàn)設(shè)置和效果比較

關(guān)于數(shù)據(jù)集，如視使用了兩個(gè)數(shù)據(jù)集：合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集。對(duì)于前者，如視使用路徑追蹤器創(chuàng)建一個(gè)具有不同材質(zhì)和光源的合成場(chǎng)景，渲染了 24 個(gè)用于優(yōu)化的視圖和 14 個(gè)新視圖，為每個(gè)視圖渲染 Ground Truth 材質(zhì)圖像。對(duì)于后者，由于 Scannet、Matterport3D 和 Replica 等常用大規(guī)模場(chǎng)景的真實(shí)數(shù)據(jù)集缺乏 full-HDR 圖像，如視收集了 10 個(gè) full-HDR 真實(shí)數(shù)據(jù)集，并通過(guò)合并 7 個(gè)包圍式曝光捕獲 10 到 20 個(gè) full-HDR 全景圖像。

關(guān)于基線方法。對(duì)于從大規(guī)模場(chǎng)景的多視圖圖像中恢復(fù) SVBRDFs，目前逆渲染方法有基于單張圖像學(xué)習(xí)的 SOTA 方法 PhyIR、以多視圖物體為中心的 SOTA 神經(jīng)渲染方法 InvRender、NVDIFFREC 和 NeILF。關(guān)于評(píng)估指標(biāo)，如視使用 PSNR、SSIM 和 MSE 來(lái)評(píng)估材質(zhì)預(yù)測(cè)和重渲染圖像以進(jìn)行定量比較，并使用 MAE 和 SSIM 來(lái)評(píng)估由不同光照表示渲染的重打光圖像。

首先來(lái)看合成數(shù)據(jù)集上的評(píng)估，如下表 1 和圖 4 所示，如視方法在粗糙度估計(jì)方面顯著優(yōu)于 SOTA 方法，并且該粗糙度可以產(chǎn)生物理合理的鏡面反射率。此外相較于原來(lái)的隱式表示，具有如視混合光照表示的 NeILF 減少了材質(zhì)與光照之間的模糊性。

接著在包含復(fù)雜材質(zhì)和光照的挑戰(zhàn)性真實(shí)數(shù)據(jù)集上進(jìn)行評(píng)估，下表 2 的定量比較結(jié)果顯示出如視方法優(yōu)于以往方法。盡管這些方法具有近似的重渲染誤差，但僅有如視方法解耦了全局一致和物理合理的材質(zhì)。

下圖 5 和圖 6 分別展示了3D 視圖和 2D 圖像視圖的定性比較。PhyIR 由于域間隙大導(dǎo)致泛化性能差，無(wú)法實(shí)現(xiàn)全局一致性預(yù)測(cè)。InvRender、NVDIFFREC 和 NeILF 產(chǎn)生了帶有偽影的模糊預(yù)測(cè)，難以解耦正確的材質(zhì)。NVDIFFREC 雖能實(shí)現(xiàn)與如視方法類(lèi)似的性能，但無(wú)法解耦反照率與粗糙度之間的模糊性，比如鏡面反射分量中的高光被錯(cuò)誤地恢復(fù)為漫反射反照率。

消融實(shí)驗(yàn)

為了展示其光照表示和材質(zhì)優(yōu)化策略的有效性，如視針對(duì) TBL、混合光照表示、第一階段的反照率初始化、第二階段用于粗糙度估計(jì)的 VHL 采樣和語(yǔ)義傳播、第三階段基于分割的微調(diào)進(jìn)行了消融實(shí)驗(yàn)。

首先將 TBL 與以往方法中廣泛使用的 SH 光照和 SG 光照方法進(jìn)行了比較，結(jié)果如下圖 7 所示，如視 TBL 在低頻和高頻特征方面都表現(xiàn)出了高保真度。

其次驗(yàn)證混合光照表示的有效性，將混合光照表示與原始 TBL 進(jìn)行比較，結(jié)果如下圖 8 所示。如果沒(méi)有混合光照表示，反照率會(huì)導(dǎo)致噪聲并且收斂變慢。預(yù)計(jì)算輻照度的引入可以使用高分辨率輸入來(lái)恢復(fù)精細(xì)的材質(zhì)，并大大加速優(yōu)化過(guò)程。同時(shí)與 NIrF 相比，IrT 產(chǎn)生了更精細(xì)和無(wú)偽影的反照率。

最后對(duì)三階段式策略的有效性進(jìn)行了驗(yàn)證，結(jié)果如下表 3 和圖 9 所示?；€粗糙度未能收斂且僅高光區(qū)域得到更新。第一階段如果沒(méi)有反照率初始化，則高光區(qū)域反照過(guò)亮并導(dǎo)致不正確的粗糙度。第二階段基于 VHL 的采樣和基于語(yǔ)義的傳播，對(duì)于恢復(fù)未觀察到鏡面反射高光區(qū)域的合理粗糙度至關(guān)重要。第三階段基于分割的微調(diào)產(chǎn)生了精細(xì)的反照率，使得最終的粗糙度更平滑，并阻止了不同材質(zhì)之間粗糙度的錯(cuò)誤傳播。

如視全新逆渲染技術(shù)，強(qiáng)在哪里？

其實(shí)，如視在其 CVPR 2022 論文《PhyIR: Physics-based Inverse Rendering for Panoramic Indoor Images》中通過(guò)提出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，在單張圖像的逆渲染任務(wù)上取得了 SOTA 結(jié)果?，F(xiàn)在全新逆渲染框架不僅做到了多視角、整屋全空間全場(chǎng)景，而且解決了以往逆渲染方法的多個(gè)關(guān)鍵缺陷。

首先以往基于合成數(shù)據(jù)訓(xùn)練的方法在真實(shí)場(chǎng)景中表現(xiàn)不佳。如視全新深度逆渲染框架首次引入了「層級(jí)式場(chǎng)景先驗(yàn)」，通過(guò)多階段的材質(zhì)優(yōu)化并結(jié)合全球最大三維空間數(shù)據(jù)庫(kù)如視數(shù)字空間中的居住空間數(shù)據(jù)，對(duì)空間內(nèi)的光照、反射率和粗糙度等物理屬性實(shí)現(xiàn)了分層級(jí)的精準(zhǔn)預(yù)測(cè)。

預(yù)測(cè)結(jié)果最終輸出為物理合理、全局一致的多類(lèi)型材質(zhì)貼圖，將如視設(shè)備真實(shí)拍攝的室內(nèi)場(chǎng)景數(shù)據(jù)無(wú)縫轉(zhuǎn)化為數(shù)字化渲染資產(chǎn)，適配 Unity、Blender 等目前所有主流渲染引擎，由此實(shí)現(xiàn)場(chǎng)景資產(chǎn)自動(dòng)生成和基于物理的 MR 應(yīng)用，如材質(zhì)編輯、新視圖合成、重打光、虛擬物體插入等。這種通用性很強(qiáng)的數(shù)字資產(chǎn)有利于支持后續(xù)更多不同的應(yīng)用和產(chǎn)品。

材質(zhì)編輯

重打光

其次以往基于優(yōu)化的可微渲染方法計(jì)算成本極高，效率極低。近年來(lái)，為了更好地解決逆渲染問(wèn)題，同時(shí)減少對(duì)訓(xùn)練數(shù)據(jù)的依賴，可微渲染方法被提出，即通過(guò)「微分求導(dǎo)」方式使正向渲染可微分，進(jìn)而將梯度反向傳播至渲染參數(shù)，最終優(yōu)化得到基于物理的待求解參數(shù)。這類(lèi)方法包括球諧（spherical-harmonic, SH）光照 [1] 和三維球形高斯（Volumetric Spherical Gaussian, VSG）光照。

但是大規(guī)模室內(nèi)場(chǎng)景存在遮擋、陰影等大量復(fù)雜的光學(xué)效應(yīng)，在可微渲染中建模全局光照會(huì)帶來(lái)高昂的計(jì)算成本。如視本次提出的 TBL 在高效準(zhǔn)確地表示室內(nèi)場(chǎng)景全局光照的同時(shí)，只需要大約 20MB 內(nèi)存，而基于密集網(wǎng)格的 VSG 光照 [2] 大約需要 1GB 內(nèi)存，基于稀疏網(wǎng)格的 SH 光照方法 Plenoxels [3] 大約需要 750MB 內(nèi)存，數(shù)據(jù)內(nèi)存容量實(shí)現(xiàn)了數(shù)十倍縮減。

不僅如此，如視新方法可以在30 分鐘內(nèi)完成整個(gè)室內(nèi)場(chǎng)景的逆渲染，而傳統(tǒng)方法 [4] 可能需要12 個(gè)小時(shí)左右，整整提升了24 倍。計(jì)算速度的大幅提升意味著成本的降低，性價(jià)比優(yōu)勢(shì)更加顯著，從而離大規(guī)模實(shí)際應(yīng)用更近了一步。

最后以往的類(lèi) NeRF 神經(jīng)逆渲染方法（如 PS-NeRF [5]、 NeRFactor [6] 等）主要面向以物體為中心的小規(guī)模場(chǎng)景，建模大規(guī)模室內(nèi)場(chǎng)景似乎無(wú)能為力?；谌缫暰珳?zhǔn)數(shù)字空間模型以及高效準(zhǔn)確的混合光照表示，全新逆渲染框架通過(guò)引入語(yǔ)義分割和房間分割先驗(yàn)解決了這一問(wèn)題。

對(duì)于此次的全新深度逆渲染框架，如視首席科學(xué)家潘慈輝表示，「真正意義上實(shí)現(xiàn)了對(duì)真實(shí)世界更深層的數(shù)字化，解決了以往逆渲染方法難以在真實(shí)場(chǎng)景下恢復(fù)物理合理的材質(zhì)和光照以及多視角一致性的問(wèn)題，為三維重建和 MR 的落地應(yīng)用帶來(lái)了更大想象空間。」

把握逆渲染技術(shù)優(yōu)勢(shì)在數(shù)字空間中創(chuàng)新 VR + 產(chǎn)業(yè)融合

一直以來(lái)，如視在三維重建領(lǐng)域擁有很多技術(shù)積累，投入大量精力打磨并致力于相關(guān)算法的落地。同時(shí)對(duì)前沿技術(shù)的研發(fā)支持力度很大，非常看重行業(yè)上領(lǐng)先技術(shù)的攻克。這些成為包括此次全新逆渲染技術(shù)在內(nèi)如視三維實(shí)景模型重建和 MR 研究獲得國(guó)際學(xué)術(shù)界認(rèn)可的重要基礎(chǔ)，并幫助如視算法能力在理論研究、技術(shù)應(yīng)用等層面步入國(guó)際領(lǐng)先水平。

這些算法及技術(shù)優(yōu)勢(shì)將實(shí)現(xiàn)對(duì)真實(shí)世界的更深層數(shù)字化，并借此進(jìn)一步加速實(shí)現(xiàn)數(shù)字空間的建設(shè)。目前，如視數(shù)字空間通過(guò)自研的采集設(shè)備，在不同國(guó)家、不同應(yīng)用場(chǎng)景中的累計(jì)采集量已經(jīng)超過(guò) 2700 萬(wàn)套、覆蓋面積達(dá)到 22.74 億平方米。如視數(shù)字空間又將助力其 VR + 產(chǎn)業(yè)融合發(fā)展方向，為商業(yè)零售、工業(yè)設(shè)施、文博會(huì)展、公共事務(wù)、家居家裝、房產(chǎn)交易等行業(yè)帶來(lái)數(shù)字化應(yīng)用升級(jí)的全新發(fā)展機(jī)遇，如 VR 看房、VR 博物館等。

如視打造的AI營(yíng)銷(xiāo)助手

對(duì)于 VR + 產(chǎn)業(yè)融合，如視的最大優(yōu)勢(shì)在于不斷良性進(jìn)化的數(shù)字化重建算法和海量真實(shí)數(shù)據(jù)的積累，使其同時(shí)擁有了較高的技術(shù)壁壘和較大的數(shù)據(jù)壁壘。這些算法和數(shù)據(jù)在某種程度上還能相互循環(huán)起來(lái)，不斷地?cái)U(kuò)大優(yōu)勢(shì)。同時(shí)數(shù)據(jù)和算法的壁壘使如視更加容易地切入各個(gè)行業(yè)的痛點(diǎn)問(wèn)題，帶來(lái)一些技術(shù)解決方案，創(chuàng)新行業(yè)發(fā)展新模式。

逆渲染技術(shù)成果連續(xù)兩年入選 CVPR，主要脫胎于如視想要在 MR 方向上有所作為并在產(chǎn)業(yè)上實(shí)現(xiàn)一些落地。未來(lái)，如視希望打通實(shí)景 VR 與純虛擬仿真之間的 Gap，真正做到虛實(shí)融合，并構(gòu)建更多行業(yè)應(yīng)用。

關(guān)鍵詞：