AI視頻修復(fù)速度十倍提升，過曝變色也能逐幀搞定｜美圖國科大新算法

2024-07-22 07:10:00

人工智能

新算法“BlazeBVD”可以自動(dòng)消除視頻中的閃爍，而且處理速度非常快，據(jù)稱比現(xiàn)有方法快10倍。更妙的是！這種方法甚至無需事先知道視頻閃爍的具體類型或程度。

家人們，消除“視頻閃爍”（比如畫面突然一白）有新招了！

回想一下，當(dāng)你看一部老電影或者用手機(jī)拍攝的視頻時(shí)，畫面偶爾會(huì)出現(xiàn)閃爍或顏色不一致等現(xiàn)象。

為了消除這些，來自美圖影像研究院、中國科學(xué)院大學(xué)，以及四川大學(xué)的研究人員提出了一種新算法。

新算法“BlazeBVD”可以自動(dòng)消除視頻中的閃爍，而且處理速度非常快，據(jù)稱比現(xiàn)有方法快10倍。

更妙的是！這種方法甚至無需事先知道視頻閃爍的具體類型或程度。

換句話說，它是“盲”的，可以應(yīng)用于各種不同的視頻。

這下，即使拍攝環(huán)境光線變化，或者相機(jī)硬件跟不上也無需頭疼了。[doge]

目前相關(guān)論文已被計(jì)算機(jī)視覺頂會(huì)ECCV 2024接收。

感興趣的話，咱們接著康康~

BlazeBVD如何消除視頻閃爍？

首先，受經(jīng)典的STE（閃爍去除方法尺度時(shí)間均衡）啟發(fā)，BlazeBVD引入了直方圖輔助解決方案。

圖像直方圖被定義為像素值的分布，它被廣泛應(yīng)用于圖像處理，以調(diào)整圖像的亮度或?qū)Ρ榷取?/p>

打個(gè)比方，圖像直方圖就像是一個(gè)統(tǒng)計(jì)表，它告訴我們?cè)谝粡堈掌校煌炼鹊南袼赜卸嗌佟?/p>

△ 圖片由Claude 3.5 Sonnet生成

而STE通過分析視頻中每一幀的直方圖，然后用一種叫做高斯濾波的方法來平滑這些直方圖，先初步矯正直方圖分布突變的圖像幀，能夠讓畫面看起來更加穩(wěn)定，減少閃爍。

雖然STE只對(duì)一些輕微的閃爍有效，但它驗(yàn)證了：

直方圖比原始的像素?cái)?shù)據(jù)更簡(jiǎn)潔，能夠更有效地捕捉到視頻中的亮度變化和閃爍。
通過平滑直方圖，可以減少視頻中的閃爍現(xiàn)象，讓視頻看起來更穩(wěn)定。

因此，利用STE和直方圖的提示來提高盲視頻去閃爍的質(zhì)量和速度是可行的。

具體而言，BlazeBVD包括三個(gè)階段。

BlazeBVD三階段詳解

就像醫(yī)生治病一樣，BlazeBVD會(huì)首先檢查視頻的每一幀。

它引入了STE對(duì)視頻幀在光照空間下的直方圖序列進(jìn)行校正。

然后從處理過的幀中提取出重要信息，比如哪些幀閃爍最明顯（奇異幀集）、哪些地方光線需要調(diào)整（濾波后的光照?qǐng)D），以及哪些地方曝光過度或不足（曝光圖）。

接下來，BlazeBVD開始進(jìn)行修復(fù)。

一方面，BlazeBVD使用一個(gè)叫做全局閃爍去除模塊（GFRM）的工具，利用之前提取的光照?qǐng)D來調(diào)整整個(gè)視頻的光線，確保每一幀的亮度和顏色看起來都很自然。

另一方面，對(duì)于一些特別需要關(guān)注的局部區(qū)域，比如曝光過度或不足的地方，BlazeBVD會(huì)使用局部閃爍去除模塊（LFRM）。這個(gè)模塊會(huì)利用光流信息（就像追蹤物體在視頻中的運(yùn)動(dòng)）來修復(fù)這些區(qū)域的細(xì)節(jié)。

完成這一步，BlazeBVD最后進(jìn)行完善工作。

它引入一個(gè)輕量級(jí)的時(shí)序網(wǎng)絡(luò)（TCM），這個(gè)網(wǎng)絡(luò)就像是視頻的“美容師”，確保每一幀在視覺上都是平滑過渡的，沒有突兀的變化。

為了進(jìn)一步提高視頻的一致性，BlazeBVD設(shè)計(jì)了一種特殊的評(píng)分系統(tǒng)（自適應(yīng)掩模加權(quán)損失）。這個(gè)系統(tǒng)會(huì)給每一幀打分，確保它們?cè)谝曈X上的一致性，讓整個(gè)視頻看起來更加流暢和自然。

至此，BlazeBVD完成了整個(gè)“診治”流程。