1秒炸裂3D藝術圈！浙大&西湖突破3D風格化瓶頸：Styl3R引領3D場景風格化新紀元
論文鏈接：https://arxiv.org/pdf/2505.21060
項目鏈接：https://nickisdope.github.io/Styl3R/
亮點直擊
- 提出了一種前饋網絡用于3D風格化，該網絡處理稀疏無位姿的內容圖像和任意風格圖像，無需測試時優化，并能很好地泛化到域外輸入——使其適用于交互式應用。
- 設計了一種雙分支網絡架構，將外觀建模與結構建模解耦，有效增強了新視角合成與3D風格化的聯合學習。
- 本文方法實現了最先進的零樣本3D風格化性能，超越了現有零樣本方法，并接近針對特定風格優化技術的效果，這通過定量指標和定性結果得到了驗證。
總結速覽
解決的問題
- 3D場景快速風格化的挑戰：現有方法依賴計算密集的測試時優化，難以實現實時風格化。
- 多視角一致性問題：風格遷移易破壞3D場景的結構一致性，導致視角間 artifacts。
- 輸入限制：現有方法需密集多視角圖像和已知相機位姿，難以處理稀疏、無位姿的輸入。
- 風格與重建的解耦：風格遷移與3D重建目標存在沖突，需平衡藝術風格與場景結構保真度。
提出的方案
- Styl3R模型：基于前饋網絡的端到端框架，直接聯合重建與風格化3D場景，無需測試時優化。
- 雙分支架構：
- 結構分支：從無位姿稀疏圖像預測3D高斯的結構參數，保持幾何一致性。
- 外觀分支：通過Transformer解碼器融合多視角內容特征與風格特征，生成色彩。
- 身份損失（Identity Loss）：在風格化微調時，隨機輸入原內容圖像，保留原始重建能力。
應用的技術
- 3D高斯表示：利用密集幾何先驗高效建模場景結構。
- Transformer特征融合：在外觀分支中跨視角混合內容與風格特征。
- 無監督預訓練：通過新視角合成任務初始化模型，兼顧重建與風格化能力。
- 輕量化設計：支持2-8張無位姿輸入，處理時間僅0.15秒。
達到的效果
- 高效性：0.15秒內完成3D風格化，比優化方法快數個數量級。
- 多視角一致性：雙分支設計避免結構失真，顯著優于現有方法。
- 輸入靈活性：支持稀疏（2-8張）、無位姿圖像和任意風格圖像輸入。
- 保真度：在域內外數據上均實現高質量風格化，平衡藝術風格與場景真實性。
- 兼容性：保留原始重建能力，無需場景或風格特定的微調。
方法
本文提出一種雙分支架構，將網絡分為結構構建分支和外觀著色分支。在外觀分支中，采用風格化解碼器，首先對所有視角的內容 token 執行全局自注意力以確保多視角一致性，隨后注入風格 token 并與內容 token 進行交叉注意力，同時不干擾結構分支。
下圖2展示了整體流程。本節首先介紹利用 DUSt3R 密集幾何先驗的結構分支，隨后說明控制輸出高斯分布顏色的外觀分支，最后設計一種訓練策略以促進風格化學習并有效保留幾何先驗。
結構分支
外觀分支
訓練策略
3D風格化與重建并非天然對齊，因為優化風格損失可能損害場景的底層3D結構。本文采用兩階段訓練策略。第一階段訓練模型準確估計場景結構并執行標準真實感著色。此階段后，進入風格化微調階段，期間凍結結構分支以確保場景幾何的忠實保留。
訓練損失。兩訓練階段使用的損失總結如下：
漸進式多視圖訓練：為了穩定多視圖訓練，首先在 2 視圖設置下對模型進行新視角合成（NVS）任務的預訓練，隨后利用該預訓練模型初始化 4 視圖 NVS 訓練及后續的風格化微調。盡管訓練時使用 4 個輸入視圖，但本文的模型在推理時可靈活處理 2 至 8 個視圖（如下圖 8 所示）。
實驗
數據集：采用RealEstate10K（RE10K）和DL3DV的組合作為場景數據集，涵蓋具有多樣化相機運動模式的室內外視頻。對于風格監督，使用WikiArt并為訓練集和評估集中的每個場景分配唯一風格圖像，確保測試場景和風格均未在訓練中出現。為零樣本泛化評估，在Tanks and Temples數據集上進行測試，該數據集被先前3D風格遷移方法廣泛采用。
基線方法：由于現有方法均無法從稀疏無位姿內容圖像和風格參考圖像即時風格化3D重建（如下表1所述），精選一組代表性基線進行比較。對于基于2D的方法，采用AdaIN、AdaAttN和StyTr2的兩階段流程：首先生成真實新視角圖像，再應用各2D風格化模型。對于3D方法，對比ARF、StyleRF和StyleGaussian，這些方法需密集輸入視角和測試時優化。為確保功能正常，以密集輸入訓練這些方法，承認這使其具有優勢，使對比對本方法（僅需稀疏輸入）不利。ARF需要逐場景和逐風格優化；StyleRF和StyleGaussian雖支持零樣本風格遷移，但仍依賴逐場景優化。
評估指標：由于3D風格化的新穎性和探索不足，缺乏評估風格化質量的指標。本文評估多視角一致性：使用RAFT估計序列圖像間光流，通過softmax splatting扭曲前一幀，在有效像素上計算LPIPS和RMSE作為一致性度量。短程和長程一致性分別計算相鄰視角和相隔七幀的視角。對新視角合成質量，報告標準圖像相似性指標：PSNR、SSIM和LPIPS。
實現細節：使用PyTorch框架。內容與風格編碼器采用patch size為16的標準ViT-Large架構，結構與風格化解碼器基于ViT-Base模型。編碼器、解碼器和高斯中心預測頭以MASt3R預訓練權重初始化，其余層隨機初始化。模型在256×256像素分辨率圖像上訓練，高斯采用0階球諧函數。訓練在8塊NVIDIA A100 GPU上耗時約1.5天。
實驗結果
三維風格化結果。 如下圖3和表2所示，本文的方法顯著優于所有基線方法。在視覺效果上，本文的風格化結果在內容保留與風格遷移忠實度之間實現了更平衡的權衡。基于測試時優化的三維基線方法中，StyleRF和StyleGaussian往往無法準確復現參考風格色調，導致輸出結果過度泛白或變暗。ARF雖然能更好地捕捉風格色彩，但容易過擬合并施加過度的風格化，從而掩蓋場景細節。例如，在圖3第三行中，客廳的家具因強烈的素描線 artifacts 幾乎無法辨認。作為二維基線，StyTr2在單張真實新視角上生成視覺愉悅的結果，但缺乏多視角一致性（如表2和下圖5所示）。相比之下，本文的方法始終生成更優的風格化結果，同時保持最佳的短程和長程一致性指標，這得益于對多視角內容與風格 token 聯合操作的注意力機制。盡管StyleRF在短程評估中略低的RMSE，但這主要歸因于其過度平滑的輸出。
跨數據泛化性。為評估方法的泛化性能，直接將其應用于Tanks and Temples數據集（先前工作中廣泛使用的基準）。如下圖4所示，本文的模型在分布外場景（如Garden、Ignatius和Horse等與RE10K訓練數據差異顯著的物體中心場景）上表現出優越性能，超越了現有最優方法。值得注意的是，盡管StyleRF和StyleGaussian需逐場景訓練，它們仍無法泛化到任意風格輸入。而ARF雖在某些場景中表現更好，但需要密集標定視圖及逐場景、逐風格的優化，限制了其在時間敏感應用中的實用性。
新視角合成。本文的最終模型支持風格化與標準三維重建兩種模式，具體取決于外觀分支的輸入是風格圖還是內容圖。本文報告兩組指標：一組針對風格化輸出（Ours-stylization），另一組針對未經過風格化微調的標準重建（Ours）。如下表3所示，Ours的性能與NoPoSplat相當，盡管未使用預訓練權重初始化風格化解碼器。而Ours-stylization雖性能略有下降，但可同時支持照片級真實感和風格化重建。本文的結果來自RE10K雙視圖模型，與NoPoSplat一致。
風格化時間。本文將風格化時間定義為從接收輸入內容圖和風格圖到生成最終風格化輸出的總時長。該指標更實際地反映用戶獲取結果的速度。對于三維方法，該時間包括重建時間和風格化相關訓練或優化時間。如表2所示，本文的方法風格化時間顯著快于所有現有三維方法，同時接近最先進二維方法的速度。
消融實驗
身份損失對保留NVS能力的作用。探究了風格化微調中身份損失的必要性。下圖6表明，若禁用該損失，模型在進行新視角合成時將無法恢復場景原始外觀。
內容損失層數。同時使用??relu3_1???和??relu4_1???計算內容損失能更好地保留結構細節而不犧牲藝術表達。下圖7顯示，僅依賴??relu3_1??會導致風格壓倒場景底層結構。
輸入視圖數量的靈活性。以4張內容圖像訓練的模型展現出強泛化性，可有效處理2至8張輸入視圖。下圖8中，無論是2視圖還是4視圖模型，在僅輸入2張內容圖像時均能生成滿意風格化結果。但當輸入增至8張內容圖像時，2視圖模型難以跨視圖對齊高斯體，導致重復 artifacts（如多根立柱和沙發）。而4視圖模型表現優異，盡管從未接受過8視圖輸入訓練。
應用
風格插值。下圖9中展示了模型的一項應用——風格插值。在將風格 token 輸入風格化解碼器前，對兩幅參考風格圖的風格 token 進行插值，從而生成融合兩種風格的平滑過渡結果。此方法可輕松擴展至多于兩種風格的情形，只需計算對應風格 token 的加權和。
結論
本文提出一種前饋網絡，可從稀疏、未標定輸入視圖和單張參考風格圖中實現即時三維風格化，且無需測試時優化即可泛化至任意場景和風格。該網絡由結構分支和外觀分支組成，共同實現一致的新視角合成與風格化。大量實驗表明，本文的方法在零樣本風格化質量上優于現有基線，同時推理速度顯著更快，使其更適用于現實世界和交互式應用。需指出，當前方法僅支持靜態場景；將其擴展至動態場景是未來工作的重要方向。
本文轉自AI生成未來 ，作者：AI生成未來
