零樣本 | ZAPS:零樣本擴散采樣,3倍加速逆問題重建,重塑高效影像修復新范式
一、 一眼概覽
ZAPS(Zero-Shot Approximate Posterior Sampling)是一種針對擴散模型(Diffusion Models, DMs)在逆問題(Inverse Problems)中的高效采樣方法。它利用零樣本學習(Zero-Shot Learning)進行自適應超參數優化,使得擴散采樣步驟固定,同時提高重建質量并減少推理時間。
二、核心問題
當前的擴散模型在解決逆問題(如去模糊、修復、超分辨率)時,存在以下挑戰:
- 需要大量的采樣步驟,導致推理速度慢;
- 現有的噪聲調度策略(Noise Schedule)在逆問題場景下難以直接適用;
- 傳統方法使用手動調整的對數似然權重(Log-Likelihood Weights),不夠魯棒,容易導致次優解。論文核心問題:如何在固定的采樣步數下,提高擴散模型的逆問題求解性能,并自適應優化超參數?
三、技術亮點
1. 提出零樣本近似后驗采樣(ZAPS)方法:
? 通過零樣本學習自動優化對數似然權重,無需手動調整;
? 避免傳統方法中的手工調參問題,適應不同的噪聲調度。
2. 設計基于離散小波變換(DWT)的 Hessian 近似:
? 近似后驗的二階信息,提高計算效率;
3.優化采樣策略,實現快速收斂:
? 結合不規則噪聲調度(Irregular Noise Schedule),在低噪聲水平更多采樣;
? 相比傳統方法,將采樣步數從1000步減少到 20-30步,實現3×加速。
四、方法框架
圖片
ZAPS 通過以下關鍵步驟完成擴散模型的高效后驗采樣:
1. 采樣初始化:從噪聲分布開始,設定固定的采樣步數(S 步)。
2. 零樣本優化:
? 采用自監督損失函數調整對數似然權重 ζt;
? 通過 DWT 近似 Hessian 計算,提高計算效率。
3. 逐步采樣更新:
? 交替執行擴散模型采樣(Score Model Sampling, SMS)和似然引導(Likelihood Guidance, LG)。
4. 最終輸出:生成高質量的逆問題重建結果。
五、實驗結果速覽
圖片
論文在FFHQ、ImageNet等數據集上進行了去模糊、修復、超分辨率等任務測試,主要結果如下:
? ZAPS 在超分辨率任務中比 DPS 提高 2.77dB(PSNR),且計算時間減少 3 倍。
? 相較于 DDRM,ZAPS 在相近計算復雜度下顯著提升圖像質量。
? 實驗驗證 ZAPS 在多種逆問題(高斯去模糊、運動去模糊、超分辨率、圖像修復)上均表現優越。
6. 實用價值與應用
ZAPS 具備廣泛的實際應用場景:
? 醫學影像重建(MRI、CT 降噪):減少成像時間,提高細節還原能力;
? 自動駕駛(圖像去模糊):提升低光環境下的視覺感知能力;
? 計算機視覺(圖像修復):改善低質量視頻和照片;
? 遙感成像(超分辨率重建):提高衛星影像質量。
7. 開放問題
? ZAPS 是否能推廣到非線性逆問題(如 3D 重建、層析成像)?
? 如果輸入數據具有極端噪聲或大尺度失真,ZAPS 的性能如何?
? 該方法是否可用于文本和信號處理領域,如語音降噪、時序預測?