文章鏈接：https://arxiv.org/pdf/2410.18775 Git鏈接：https://github.com/Shilin-LU/VINE

亮點直擊

• 提出了W-Bench，這是首個綜合性基準測試，旨在評估11 種代表性水印模型在多種圖像編輯方法下的表現：圖像再生、全局編輯、局部編輯和圖像到視頻生成。
• 該評估涵蓋了7種廣泛使用的編輯模型和算法，并表明當前的水印模型在面對這些編輯時表現脆弱。
• 圖像編輯主要會去除高頻波段的水印信息，而低頻波段的水印受影響較小。這一現象在某些模糊失真（blurring distortion）中同樣存在。因此，這些失真可以作為替代攻擊手段，以規避訓練時直接使用 T2I 模型的挑戰，并增強水印的魯棒性。
• 將水印編碼器視為條件生成模型，并引入兩種技術來適配SDXL-Turbo（一種預訓練的單步文生圖模型），使其適用于水印任務。這一強大的生成先驗不僅提升了水印圖像的感知質量，還增強了其對各種圖像編輯的魯棒性。實驗結果表明，本文的模型VINE在多種圖像編輯方法下均保持魯棒性，同時維持高圖像質量，優于現有水印模型。

W-Bench 評估程序的流程圖，水印表現

總結速覽

解決的問題

當前圖像水印技術面臨大型文本到圖像（T2I）模型支持的先進圖像編輯技術的威脅，這些技術會在編輯過程中破壞嵌入的水印，嚴重挑戰版權保護的有效性。現有水印方法在應對圖像再生、全局編輯、局部編輯及圖像到視頻生成等多樣化編輯操作時表現不佳，導致水印難以檢測。

提出的方案

• W-Bench基準：首個全面評估水印方法魯棒性的基準，涵蓋四類圖像編輯技術（圖像再生、全局/局部編輯、圖像到視頻生成），并對11種代表性水印方法進行測試。
• VINE水印方法：

• 頻率特性分析：通過分析圖像編輯的頻率特性，發現其與模糊失真（如像素化、散焦模糊）具有相似的高頻模式衰減特性，遂將模糊失真作為訓練中的替代攻擊以提升魯棒性。
• 預訓練擴散模型適配：基于SDXL-Turbo大模型構建水印編碼器，利用其強大的生成先驗實現更隱蔽且魯棒的水印嵌入。

應用的技術

• 頻率域分析：識別圖像編輯與模糊失真在頻域的共性，指導噪聲層設計。
• 生成模型適配：將SDXL-Turbo擴散模型遷移至水印任務，通過條件生成實現高質量水印嵌入。
• 替代攻擊訓練：在訓練階段引入多種模糊失真模擬編輯攻擊，避免直接反向傳播T2I模型的內存問題。

達到的效果

1. 魯棒性提升：VINE在W-Bench測試中顯著優于現有方法，能抵抗多種編輯操作（如Instruct-Pix2Pix全局編輯、ControlNet局部修改），水印提取成功率更高。
2. 圖像質量保持：結合SDXL-Turbo的生成能力，水印圖像在PSNR、SSIM等指標上表現優異，平衡了隱蔽性與魯棒性。
3. 基準貢獻：W-Bench為水印研究提供標準化評估框架，揭示現有方法在T2I時代的技術短板。

方法

圖像編輯的頻率特性

為開發抗圖像編輯的魯棒水印模型，直接方法是在訓練時將圖像編輯模型集成到編碼器與解碼器之間的噪聲層中。然而，主流圖像編輯方法基于擴散模型，通常需多步采樣生成編輯后圖像，這會導致在去噪過程中反向傳播時出現內存問題。替代方法（如梯度截斷）效果不佳，而直通估計器在從頭訓練時難以收斂。因此，尋求訓練中的替代攻擊手段。

我們首先分析圖像編輯方法如何影響圖像頻譜。在低頻、中頻和高頻波段分別插入對稱圖案進行三組實驗。下圖2展示了低頻波段圖案的分析流程：

下圖3表明，圖像編輯方法通常會去除中高頻波段圖案，而低頻圖案相對不受影響。這是因為T2I模型傾向于捕捉圖像整體語義（低頻成分）以對齊文本提示，導致高頻細節在生成過程中被平滑。因此，魯棒水印模型需學會將信息嵌入低頻波段。

為尋找有效替代攻擊，我們探索與圖像編輯相似的圖像失真方法T(.) 。如上圖3所示，某些模糊失真（如像素化和散焦模糊）與圖像編輯具有相似趨勢，而JPEG壓縮和飽和度調整則無此特性。由于模糊失真計算高效，我們將其按不同強度納入訓練噪聲層，迫使模型在低頻波段嵌入信息。如下表2的消融實驗所示，此舉顯著提升了抗編輯魯棒性。

噪聲層包含的完整失真集包括：

• 傳輸退化對抗：飽和度、對比度、亮度調整、JPEG壓縮、高斯噪聲、散粒噪聲、脈沖噪聲、斑點噪聲；

水印編碼的生成先驗

盡管在噪聲層中引入圖像畸變可以增強對抗圖像編輯的魯棒性，但這種改進是以犧牲水印圖像質量為代價的，而圖像質量受限于水印編碼器的能力。水印編碼器可視為條件生成模型，其條件不僅包含水印信息，還包含完整圖像細節（而非深度圖、Canny邊緣或涂鴉等簡化表征）。假設強大的生成先驗能夠以更隱蔽的方式嵌入信息，同時提升魯棒性。因此，我們嘗試將大規模文生圖（T2I）模型改造為水印編碼器。現有大規模T2I模型分為兩類：多步生成與單步生成。多步模型會導致水印提取損失的反向傳播過程復雜化，且推理速度緩慢，故選用單步預訓練模型SDXL-Turbo。

要將SDXL-Turbo轉化為水印編碼器，關鍵在于有效融合輸入圖像與水印信息。擴散模型中常用的條件控制策略是添加適配器分支。但單步生成模型的UNet輸入——噪聲圖會直接決定最終圖像布局，這與多步擴散模型逐步構建圖像布局的特性截然不同。在單步模型中添加額外條件分支會導致UNet同時接收兩組表征不同結構的殘差特征，這不僅大幅增加訓練難度（如上表2消融實驗所示），還會導致性能下降。

如下圖4所示，采用條件適配器來融合輸入圖像與水印信息（結構詳見下圖11），再將融合數據輸入VAE編碼器獲取潛在特征，最后通過UNet和VAE解碼器生成水印圖像。我們也嘗試通過文本提示輸入水印并微調文本編碼器，但該方法無法收斂，因此訓練時將文本提示設為空值。

盡管SDXL-Turbo的VAE通常表現良好，但其架構并不完全適配水印任務。標準VAE需要在重建能力與壓縮能力之間取得平衡，因此會犧牲部分重建精度以獲得更平滑的潛在空間和更好的壓縮性。但在水印任務中，重建能力對保證水印圖像與輸入圖像的視覺一致性至關重要。為此，在VAE編碼器與解碼器之間添加跳躍連接（圖4）：在編碼器每個下采樣塊后提取四組中間激活值，通過零卷積層傳遞至解碼器對應的上采樣塊。如表2所示，這一改進顯著提升了水印圖像的視覺保真度。水印解碼采用ConvNeXt-B作為解碼器，并添加全連接層輸出100位水印信息。

目標函數與訓練策略

目標函數采用標準訓練方案，平衡水印圖像質量與各種圖像操作下的水印提取效果。總損失函數為：

分辨率縮放。現有水印模型通常采用固定輸入分辨率訓練，導致測試時僅能處理固定分辨率輸入。但實際應用中，支持原始分辨率水印對保持圖像質量至關重要。Bui等人提出一種方法，可使任意水印模型適配不同分辨率，且不損害水印圖像質量與固有魯棒性。實驗中，我們對所有方法應用該分辨率縮放技術，使其統一在512×512分辨率下運行（該分辨率與圖像編輯模型兼容）。

實驗

在W-Bench中，本文評估了11種代表性水印模型對多種圖像編輯方法的魯棒性，包括圖像再生、全局編輯、局部編輯和圖像到視頻生成。

圖像編輯方法

全局和局部編輯。盡管全局編輯通常涉及風格化，也考慮僅由文本提示引導的編輯方法。在這些情況下，無論請求的編輯是添加、替換或移除對象，改變動作，更改顏色，修改文本或圖案，還是調整對象數量，經常會出現非預期的背景變化。盡管編輯后的背景在感知上通常與原始背景相似，但這些非預期的改變可能會損害嵌入的水印。相比之下，局部編輯指的是使用區域掩碼作為輸入的編輯模型，確保編輯圖像中掩碼外的區域保持不變。本文采用Instruct-Pix2Pix、MagicBrush和UltraEdit進行全局編輯，而ControlNet-Inpainting和UltraEdit用于局部編輯。值得注意的是，UltraEdit可以接受區域掩碼或不使用掩碼運行，這使得我們可以將該模型用于全局和局部編輯。我們使用每個模型的默認采樣器，并執行50個采樣步驟來生成編輯后的圖像。全局編輯的難度由文本提示的無分類器引導尺度控制，范圍為5到9，而圖像引導固定為1.5。對于局部編輯，難度由編輯區域占整個圖像的百分比（即區域掩碼的大小）決定，區間設置為10-20%、20-30%、30-40%、40-50%和50-60%。在所有局部編輯的情況下，圖像和文本引導值分別固定為1.5和7.5。

圖像到視頻生成。在實驗中，使用SVD從單張圖像生成視頻。本文評估水印是否在生成的視頻幀中仍可檢測到。由于初始幀與輸入圖像非常相似，從第5幀開始分析，直到第19幀，每隔兩幀選擇一幀。

實驗設置

數據集。本文使用OpenImage數據集以256×256分辨率訓練VINE。訓練細節見附錄F。為評估，本文從UltraEdit數據集隨機采樣10,000個實例，每個實例包含源圖像、編輯提示和區域掩碼。UltraEdit數據集中的圖像來自COCO、Flickr和ShareGPT4V等數據集。這10,000個樣本中，1,000個用于隨機再生，1,000個用于確定性再生，1,000個用于全局編輯。對于局部編輯，指定5,000個樣本，分為五組，每組1,000張圖像，分別對應10-20%、20-30%、30-40%、40-50%和50-60%的圖像區域掩碼大小。此外，我們還包含1,000個樣本用于圖像到視頻生成，1,000個用于測試傳統失真，從而完成整個評估集。

基線方法。本文將VINE與11種水印基線方法進行比較，均使用其官方發布的檢查點。這些基線包括MBRS、CIN、PIMoG、RivaGAN、SepMark、TrustMark、DWTDCT、DWTDCTSVD、SSL、StegaStamp和EditGuard。盡管基線方法在不同固定分辨率下訓練，但應用分辨率縮放將其統一標準化為512×512分辨率。

評估指標。本文使用PSNR、SSIM、LPIPS和FID等標準指標評估水印模型的不可感知性。對于水印提取，必須嚴格控制誤報率（FPR），因為將非水印圖像錯誤標記為水印圖像可能有害——這一關注點在過去研究中常被忽視。無論是高比特準確率還是AUROC單獨都不能保證在低FPR下獲得高真陽性率（TPR）。因此，本文主要關注TPR@0.1%FPR和TPR@1%FPR作為主要指標。相應地，水印圖像和原始圖像都被輸入水印解碼器進行評估。本文還提供比特準確率和AUROC作為參考。請注意，所有報告的基線比特準確率均未包含BCH（Bose & Ray-Chaudhuri，1960）等糾錯方法，這些方法可應用于所有水印模型。

基準測試結果與分析

下表1總結了整體評估結果。如上所述，以TPR@0.1%FPR作為主要指標，下圖5中提供了其他補充指標。每個報告的TPR@0.1%FPR值是m×1,000張圖像的平均結果，其中m代表特定圖像編輯任務的難度級別數量。質量指標——PSNR、SSIM、LPIPS和FID——通過計算每對水印圖像與輸入圖像的差異后，在所有10,000對圖像上取平均值得出。MBRS和StegaStamp在圖像再生和局部編輯任務中表現良好，但其圖像質量較低。此外，MBRS的編碼容量僅限30比特。雖然SepMark、PIMoG和TrustMark在圖像質量與檢測準確率之間取得了更好平衡，但其檢測準確率仍不理想。相比之下，本文的方法VINE-B和VINE-R實現了最佳權衡：VINE-B在圖像編輯下提供更優的圖像質量和略低的檢測準確率，而VINE-R通過犧牲部分圖像質量獲得更強魯棒性。EditGuard并非針對抗圖像編輯的魯棒水印設計（其訓練采用輕度退化），而是提供篡改定位功能以識別編輯區域。

定性對比

圖5展示了不同圖像編輯方法在各難度級別下的水印性能。圖中顯示了對代表性編輯模型的評估結果，如下圖18。對于圖像再生，VINE-R和MBRS在各難度級別均保持較高TPR@0.1%FPR；VINE-B、StegaStamp和PIMoG在輕微擾動下表現良好。需注意大噪聲步長的隨機再生會顯著改變圖像，如下圖12，13。雖然SSL比TrustMark具有更高比特準確率和AUROC，但其TPR@0.1%FPR較低。進一步研究發現SSL存在高誤報率，對無水印圖像常產生超過0.7的比特準確率，因此單靠比特準確率和AUROC不足以評估水印性能。

在全局編輯和局部編輯任務中，VINE-B、VINE-R和StegaStamp在不同無分類器引導尺度下均實現較高TPR@0.1%FPR。值得注意的是，本文也將UltraEdit用于全局編輯——相比instruct-Pix2Pix和MagicBrush，它能更好地對齊編輯圖像與編輯指令（編輯模型的定量分析見下表4，5，圖14，15）。但如上圖18(b)所示，在局部編輯中表現良好的方法，當應用于同一模型的全局編輯時效果欠佳，這表明全局編輯對水印的破壞更顯著。圖像到視頻生成雖非傳統圖像編輯，但我們關注水印能否在生成幀中持續存在。如圖18(e)所示，整體檢測率不高。通過頻域分析發現，該過程會顯著降低所有頻段模式的強度（使其不可被人眼察覺），我們推斷這是因為生成的視頻幀會隨物體或相機移動而改變圖像布局。這種情況下，水印模式的強度需大幅提升，至少應超過圖7所示水平。

消融實驗

本節通過一系列消融實驗（前表2）展示了本文設計方案的有效性。從配置 A 開始，這是一個基線模型，使用一個簡單的 UNet 作為水印編碼器，并僅包含常見擾動。在此基礎上，配置 B 在噪聲層中引入了模糊擾動，顯著增強了對圖像編輯的魯棒性，但犧牲了一定的圖像質量。配置 C 對配置 B 進行了進一步優化，使用直通估計器（straight-through estimator）結合 Instruct-Pix2Pix 進行微調，進一步提升了魯棒性，但圖像質量略有下降。

配置 D 用預訓練的 SDXL-Turbo 替代了 UNet 主干，并通過 ControlNet整合了圖像與水印條件，提升了魯棒性，但由于額外分支引入的沖突，圖像質量下降。配置 E 將 ControlNet 替換為我們提出的條件適配器（condition adaptor），在保持配置 D 的魯棒性的同時，將圖像質量恢復到了與配置 B 相當的水平。

配置 F（VINE-B）在配置 E 的基礎上引入了跳躍連接（skip connections）和零卷積層（zero-convolution layers），進一步提升了圖像質量和魯棒性。配置 G（VINE-R）使用直通估計器結合 Instruct-Pix2Pix 對配置 F 進行微調，增強了魯棒性但犧牲了一部分圖像質量。值得注意的是，與配置 C 相比，配置 G 借助更大的模型和強大的生成先驗，不僅在圖像質量上有了顯著提升，在魯棒性方面也有了小幅改進。

最后，配置 H 在保留配置 G 的所有設置的前提下，使用隨機初始化的權重進行訓練，而非預訓練模型，導致圖像質量（尤其是在 FID 指標上）下降，但魯棒性沒有變化。

總結

本研究提出了W-Bench，這是第一個整合四種基于大規模生成模型的圖像編輯方式的全面評估基準，用于評估水印模型的魯棒性。選取了 11 種具有代表性的水印方法，并在 W-Bench 上進行了測試。展示了圖像編輯如何普遍影響圖像的傅里葉頻譜，并在訓練過程中識別出一種高效的替代方法來模擬這些影響。

提出的模型 VINE 在面對各種圖像編輯技術時展現出卓越的水印表現，優于現有方法，在圖像質量和魯棒性方面都取得了領先。這些結果表明，單步預訓練模型可以作為強大且通用的水印主干，同時，強大的生成先驗有助于以更隱蔽且更魯棒的方式嵌入信息。

局限性：雖然本文的方法在常見的由生成模型驅動的圖像編輯任務中表現優異，但在圖像轉視頻（I2V）生成方面的有效性仍有限。此外，本文的模型相較于基線模型更大，因此需要更多的內存，推理速度也略慢（詳見下表7）。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/4-TYvUM8znqBbAQmuguHjQ??