一眼概覽

MDMS-Diffusion 提出了一種多域多尺度擴(kuò)散模型（Multi-Domain Multi-Scale Diffusion Model），通過(guò)結(jié)合空間-頻率特征學(xué)習(xí)和多尺度采樣策略，突破低光圖像增強(qiáng)的現(xiàn)有局限，實(shí)現(xiàn)了無(wú)損降噪和高保真度的圖像恢復(fù)，在 LOL 和 LOLv2 數(shù)據(jù)集上達(dá)到了 SOTA 級(jí)別的性能。

核心問(wèn)題

在低光條件下拍攝的圖像往往存在低對(duì)比度和高噪聲問(wèn)題，不僅影響視覺(jué)質(zhì)量，還會(huì)降低下游計(jì)算機(jī)視覺(jué)任務(wù)（如目標(biāo)檢測(cè)、分割等）的準(zhǔn)確性。當(dāng)前的擴(kuò)散模型主要在空間域建模噪聲分布，而忽略了頻率域信息。此外，傳統(tǒng)的單尺度補(bǔ)丁采樣策略容易引發(fā)嚴(yán)重的棋盤格偽影。本研究提出 MDMS-Diffusion 模型，以同時(shí)解決這兩個(gè)問(wèn)題。

技術(shù)亮點(diǎn)

1. 空間-頻率融合學(xué)習(xí)：提出多域?qū)W習(xí)（Multi-Domain Learning, MDL）模塊，結(jié)合 Fast Fourier Transform (FFT) 提取的頻率域信息，以更全面地建模圖像特征，提高低光圖像增強(qiáng)的質(zhì)量。

2. 多尺度采樣策略：通過(guò)不同分辨率補(bǔ)丁的融合（64×64、96×96、128×128），平滑邊界區(qū)域，避免傳統(tǒng)單尺度方法導(dǎo)致的棋盤格偽影問(wèn)題。

3. 亮通道先驗(yàn)（Bright Channel Prior, BCP）引導(dǎo)：基于自然圖像的統(tǒng)計(jì)規(guī)律，為擴(kuò)散過(guò)程提供額外的光照和顏色信息，引導(dǎo)生成更自然的增強(qiáng)圖像。

方法框架

圖片

MDMS-Diffusion 采用 U-Net 結(jié)構(gòu)，并引入以下關(guān)鍵模塊：

1. 多域?qū)W習(xí)（MDL）：空間域和頻率域雙分支處理，分別提取局部/全局信息，并利用 IFFT 變換回到空間域，實(shí)現(xiàn)特征融合。

2. 多尺度采樣（MSS）：在采樣過(guò)程中，利用不同大小的補(bǔ)丁提取信息，并在融合階段合并多尺度結(jié)果，以平滑圖像邊界。

3. 亮通道先驗(yàn)（BCP）：基于圖像亮度通道信息提供先驗(yàn)引導(dǎo)，增強(qiáng)色彩和光照一致性，減少失真。

實(shí)驗(yàn)結(jié)果速覽

圖片

實(shí)驗(yàn)結(jié)果表明，MDMS-Diffusion 在 LOL 和 LOLv2 數(shù)據(jù)集上均達(dá)到 SOTA 性能：

? LOL 數(shù)據(jù)集：PSNR 27.12 dB，SSIM 0.882，LPIPS 0.078，相比現(xiàn)有最佳方法 Pydiff（27.07 dB）略有提升，尤其在 LPIPS 指標(biāo)上顯著降低。

? LOLv2-Real 數(shù)據(jù)集：PSNR 提升至 33.30 dB，相比 Pydiff（31.11 dB）提高 2.19 dB，表明該方法在真實(shí)低光圖像上的泛化能力更強(qiáng)。

? 多尺度采樣策略分析：相比傳統(tǒng)單尺度方法，MSS 采樣策略能夠顯著減少棋盤格偽影，使增強(qiáng)圖像更平滑自然。

??數(shù)據(jù)呈現(xiàn)方式

? 表格：對(duì)比現(xiàn)有方法（Zero-DCE、LLFlow、Pydiff 等）的性能指標(biāo)（PSNR/SSIM/LPIPS）。

? 圖示：展示不同方法的增強(qiáng)效果，包括細(xì)節(jié)保留、光照均衡度等。

實(shí)用價(jià)值與應(yīng)用

MDMS-Diffusion 可廣泛應(yīng)用于低光環(huán)境下的計(jì)算機(jī)視覺(jué)任務(wù)，例如：

• ? 自動(dòng)駕駛：提高夜間和低光環(huán)境下的視覺(jué)感知能力，增強(qiáng)目標(biāo)檢測(cè)和分割的準(zhǔn)確性。
• ? 視頻監(jiān)控：改善夜間監(jiān)控視頻的清晰度，有助于犯罪預(yù)防和證據(jù)采集。
• ? 醫(yī)療成像：適用于低光醫(yī)學(xué)圖像增強(qiáng)，提高診斷準(zhǔn)確度。
• ? 機(jī)器人導(dǎo)航：提升機(jī)器人在弱光環(huán)境下的視覺(jué)感知能力，提高定位和避障能力。

開(kāi)放問(wèn)題

1. MDMS-Diffusion 在極端低光場(chǎng)景（如紅外或夜視成像）下的適應(yīng)性如何？是否需要進(jìn)一步調(diào)整先驗(yàn)或結(jié)構(gòu)？

2. 多域?qū)W習(xí)是否可以擴(kuò)展到其他圖像增強(qiáng)任務(wù)，如超分辨率或去噪？頻率域特征的深度建模是否會(huì)帶來(lái)進(jìn)一步提升？

3. 如何在計(jì)算資源受限的環(huán)境下優(yōu)化該模型，使其適用于移動(dòng)端或嵌入式設(shè)備？