RID 的作者來自于中國人民大學和 Sea AI Lab。第一作者為香港大學在讀博士生郭瀚中，該工作為其碩士期間完成，其研究方向為擴散模型。本文由中國人民大學孫浩教授和李崇軒教授共同指導，其他作者包括中國人民大學博士生聶燊和 Sea AI Lab 研究員龐天宇和杜超。

近年來許多論文研究了基于擴散模型的定制化生成，即通過給定一張或幾張某個概念的圖片，通過定制化學習讓模型記住這個概念，并能夠生成這個概念的新視角、新場景圖片。

但是當有用戶惡意使用定制化生成技術，例如利用發布在社交平臺的照片生成假照片，會對用戶的隱私權造成威脅。一些研究通過對原始圖片加擾動的方式來保護圖片不被定制化學習，而由于這些研究都是通過梯度上升的方式去優化對應的擾動，因此瓶頸在于計算時間和計算開銷上，為了給一個圖片添加保護的擾動，需要花費幾分鐘甚至幾十分鐘，并且需要較大的顯存消耗。

本文中，中國人民大學和 Sea AI Lab 聯名提出名為 RID 的全新人物圖片保護模型，通過一個提前訓練的小網絡實現輸入圖片輸出擾動的方式，在 RID 范式下，圖片的防定制化保護只需要幾十毫秒并且可以在用戶手機終端部署。

• 論文標題：Real-time Identity Defenses against Malicious Personalization of Diffusion Models
• 論文地址：https://arxiv.org/pdf/2412.09844
• 項目地址：https://github.com/Guohanzhong/RID

為了更助于理解，RID 提供了涉及到的不同任務和解決方案的流程框圖。定制化學習的概念是指用戶提供幾張同個概念的幾張圖片（RID 聚焦在人物的保護上），微調預訓練擴散模型，如下圖 a 所示。在定制化學習完后，用戶可以利用定制化微調模型實現原始概念的新圖片生成，如下圖 b 所示。而目前為了保護圖片不被定制化，存在的方案是基于預訓練模型梯度上升優化一個微小擾動，但是這個過程對計算時間和計算量要求較大，如下圖 c 所示。而 RID 是利用 Adv-SDS 的方式在使用前優化一個小網絡，如下圖 d 所示。RID 使用的時候即輸入圖片輸出擾動，實現低成本、實時的圖片保護，如下圖 e 所示。當對 RID 保護后的圖片再進行定制化學習，微調得到的定制化模型則已經無法生成真實、正常的圖片，即圖片被定制化保護成功，如圖 f 所示。

對抗得分蒸餾采樣 Adv-SDS

RID 的目標是通過一個小網絡的單步推理，實現對圖片增加微小的擾動實現圖片不被成功定制化學習。受到 Dreamfusion 的 score distillation sampling (SDS) 啟發，RID 與 Dreamfusion 本質上都是優化一個圖片生成器，在 Dreamfusion 里是不同角度渲染圖片，而 RID 的場景是通過添加一個擾動得到一個 “新” 的圖片。而 RID 與 Dreamfusion 的任務定義不同，Dreamfusion 目的是生成一個不同角度渲染的圖片符合擴散模型空間的，因此需要 SDS 損失最小，而我們是希望 RID 保護后的圖片不被定制化學習，因此通過引入一個最大化 SDS 損失的 Adv-SDS。

但實驗中 RID 發現，如果只通過 Adv-SDS 優化，RID 會陷入局部最優，RID 產生的擾動是網格狀的，為了更好的保護效果以及讓擾動更不易察覺，RID 還引入了一個回歸損失。RID 會提前離線產生干凈圖片、擾動數據對，這個擾動是通過基于梯度優化的方式制造的，例如 AdvDM 或 Anti-DB 等。完整的 RID 優化見下圖所示，相比僅采用其中一種損失優化，在兩個損失共同優化下，RID 可以達到較好的保護效果。

模型架構：由于 RID 的目的是輸入圖片，輸入擾動，這個任務和擴散模型網絡的任務類似，擴散模型是輸入帶噪圖片，輸出預測噪聲，因此本文采用 DiT 作為主要網絡架構，由于我們不需要額外的條件引導，因此 RID 的網絡架構是將 DiT 的條件注入變成常數。此外為了限制 RID 的輸出擾動大小，RID 會在網絡最后增加一個 tanh 非線性映射并進行縮放達到每個 RID 網絡可以產生不同大小約束的擾動。

實驗結果

訓練評估測試集構建：RID 的訓練數據集是經過篩選后的 70k VGG-Face 2 數據集，評估集是從 Celeba-HQ 中隨機篩選的 15 個 ID，每個 ID 的 12 張圖片組成的。

評估方式：對于每個 ID，會對 12 張干凈圖片或者不同方法的保護圖片進行定制化學習，定制化學習均采用 Dreambooth 損失，微調參數為 Textual Inversion (TI)，TI + LoRA， 全參數微調 (DB)，RID 默認的評估定制化方法為 TI + LoRA，訓練的 prompt 均為 “photo of a <news>/sks person”。用每組定制化模型再推理 12 張圖片，定量評測的時候推理均用 “photo of a <news>/sks person”，定性分析的時候會做任意文本的組合泛化生成。

從下圖 a 中可以看出，經過 RID 保護的圖片可以有效的實現圖片的反定制化，即保護后的圖片的定制化模型無法生成正常的圖片。并且圖 b 展示了不同方法之間的保護對數時間，RID 可以在一張 GPU 上實現 8.33 Images/Second 的保護速度，雖然圖 c 展示 RID 的定量指標上有所下降，但從圖 d 的定性中說明不同方法間均能使用有效的保護，因此說明 RID 的有效性。

并且 RID 能夠在不同定制化方法、 不同定制化使用的預訓練模型、不同噪聲幅度下均達到有效的保護效果。

并且對于黑盒攻擊場景和圖片后處理場景下，無論從定性上還是定量上，RID 均可以展現出有效的保護效果。下圖展示了 RID 保護成功的原理，相比干凈圖片，RID 保護的圖片在擴散模型不同時間步上的損失均有較大程度的上升，而定制化模型本質上只是引入了一個新的概念，對于同一組圖片，定制化前后的模型損失變化并不大，因此沒辦法覆蓋 RID 增加擾動所帶來的損失上升，因此 RID 保護的圖片對于模型而言是一個 OOD 的圖片概念，模型無法正確學習到并且生成。

思考和展望

目前基于 SD 系列集成訓練的 RID 展現出來了魯棒的保護能力，但目前主流開源的還有許多 DiT 架構的擴散模型，因此未來如何將 DiT 架構的擴散模型融合進 Adv-SDS 一起優化實現更魯棒的保護效果值得探索。此外，目前 RID 的擾動仍然是隨機優化的擾動，未來能否設計一種具有良性作用的擾動，例如將擾動設計為妝照，也是值得更深入的研究。