[[429626]]

2015年，一個(gè)里程碑的神經(jīng)網(wǎng)絡(luò)模型ResNet發(fā)布。因?yàn)樵谶^(guò)深的網(wǎng)絡(luò)訓(xùn)練會(huì)產(chǎn)生梯度消失和梯度爆炸，并且訓(xùn)練過(guò)深的網(wǎng)絡(luò)中會(huì)出現(xiàn)準(zhǔn)確率下降的問(wèn)題，而RestNet 采用殘差連接很容易讓研究人員訓(xùn)練出上百層甚至上千層的網(wǎng)絡(luò)。

在ResNet論文觀(guān)察到的退化問(wèn)題（degradation problem），即34層的網(wǎng)絡(luò)在整個(gè)訓(xùn)練過(guò)程中比18層的網(wǎng)絡(luò)具有更高的訓(xùn)練誤差，但18層網(wǎng)絡(luò)的解空間顯然是34層網(wǎng)絡(luò)的子空間。

一個(gè)很自然的假設(shè)是這個(gè)問(wèn)題和RNN 網(wǎng)絡(luò)中觀(guān)察到的梯度消失問(wèn)題（Vanishing Gradient Problem）相同，也是長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long-Short Term Memory Networks, LSTM）主要改進(jìn)的問(wèn)題。

但論文的作者Kaiming 大神當(dāng)時(shí)并不這么認(rèn)為，他在論文中寫(xiě)道：

「我們認(rèn)為這種優(yōu)化困難不太可能是由梯度消失引起的，因?yàn)檫@些普通神經(jīng)網(wǎng)絡(luò)使用 BN 進(jìn)行訓(xùn)練，確保前向傳播的信號(hào)具有非零方差可以緩解這個(gè)問(wèn)題。我們還驗(yàn)證了反向傳播的梯度，結(jié)果可以看到表現(xiàn)出 BN 的結(jié)果也很正常。因此，前向或后向的信號(hào)都不會(huì)消失。事實(shí)上，34 層的普通網(wǎng)絡(luò)仍然能夠達(dá)到有競(jìng)爭(zhēng)力的精度，這表明這個(gè)解決方法在一定程度上是有效的。我們推測(cè)普通神經(jīng)網(wǎng)絡(luò)的收斂速度可能呈指數(shù)級(jí)低，這會(huì)影響訓(xùn)練誤差的減少。未來(lái)將研究這種優(yōu)化困難的原因。」

這個(gè)論點(diǎn)也被網(wǎng)友稱(chēng)為「ResNet 假說(shuō)」，而關(guān)于ResNet 假說(shuō)的正確性最近又在Reddit 上引起了熱議。

提問(wèn)者認(rèn)為，最近的許多論文和教程似乎都假設(shè) ResNet 假設(shè)是錯(cuò)誤的，論文的作者大多添加了跳躍連接以「改進(jìn)梯度傳播流」，并引用了原始的 ResNet 論文來(lái)支持這一主張。雖然添加跳躍連接會(huì)改善梯度流是很有道理的，但首先是什么導(dǎo)致了退化問(wèn)題依然沒(méi)有答案。

跳過(guò)連接通過(guò)改進(jìn)梯度流來(lái)解決退化問(wèn)題的想法似乎與 ResNet 假設(shè)明顯矛盾；那么這個(gè)想法是從哪里來(lái)的呢？ResNet 假說(shuō)是否被證偽了？

有網(wǎng)友從技術(shù)角度認(rèn)為并沒(méi)有完整的分析，關(guān)于 ResNets 的工作原理主要存在三種相互競(jìng)爭(zhēng)的假說(shuō)，并且給出了相關(guān)的論文：

1、進(jìn)行了迭代細(xì)化（iterative refinement）

這篇論文從分析和實(shí)證兩方面研究了resnet。研究人員通過(guò)顯示殘差連接自然地鼓勵(lì)殘差塊的特征在從一個(gè)塊到下一個(gè)塊的過(guò)程中沿著損失的負(fù)梯度移動(dòng)，從而在resnet中形式化了迭代細(xì)化的概念。

此外，實(shí)證分析表明，resnet能夠進(jìn)行表征學(xué)習(xí)和迭代優(yōu)化。通常，Resnet塊傾向于將表示學(xué)習(xí)行為集中在前幾層，而更高層執(zhí)行特征的迭代細(xì)化。

最后，研究人員觀(guān)察到共享殘差層會(huì)導(dǎo)致表示爆炸和反直覺(jué)的過(guò)擬合，文中提出了一個(gè)簡(jiǎn)單的策略可以幫助緩解這個(gè)問(wèn)題。

2、指數(shù)級(jí)的集成模型

這項(xiàng)工作中對(duì)殘差網(wǎng)絡(luò)提出了一種新穎的解釋?zhuān)哼@個(gè)模型可以被視為許多不同長(zhǎng)度路徑的模型的集成。此外，殘差網(wǎng)絡(luò)似乎通過(guò)在訓(xùn)練期間僅利用短路徑來(lái)實(shí)現(xiàn)非常深的網(wǎng)絡(luò)。為了支持這一觀(guān)察，研究人員將殘差網(wǎng)絡(luò)重寫(xiě)為一個(gè)顯式的路徑集合。

研究結(jié)果表明，這些路徑表現(xiàn)出類(lèi)似整體的行為并不強(qiáng)烈地相互依賴(lài)。并且大多數(shù)路徑都比人們預(yù)期的要短，在訓(xùn)練期間也只需要短路徑，因?yàn)檩^長(zhǎng)的路徑不會(huì)產(chǎn)生任何梯度。

例如，具有 110 層的殘差網(wǎng)絡(luò)中的大部分梯度來(lái)自?xún)H 10-34 層深的路徑。這篇論文的結(jié)果認(rèn)為Resnet 能夠訓(xùn)練非常深的網(wǎng)絡(luò)的關(guān)鍵特征之一是殘差網(wǎng)絡(luò)通過(guò)引入可以在非常深的網(wǎng)絡(luò)范圍內(nèi)攜帶梯度的短路徑來(lái)避免梯度消失問(wèn)題。

3、原始論文中提到的，梯度傳播過(guò)程被改進(jìn)了

答主也看過(guò)一些神經(jīng)切線(xiàn)內(nèi)核（neural tangent kernel stuff）的東西，但他仍然不明白其中的原理，并且他也認(rèn)為沒(méi)有人真正坐下來(lái)試圖弄清楚真正的解釋是什么。

不過(guò)他有一個(gè)想法，可以通過(guò)考慮具有重疊跳過(guò)連接（overlapping skip connections）的網(wǎng)絡(luò)來(lái)測(cè)試集成理論（ensemble theory），這些網(wǎng)絡(luò)具有集成論文中定義的最大多樣性（maximal multiplicity）。并且可以改變跳過(guò)連接長(zhǎng)度的同時(shí)保持多重性不變，但還沒(méi)有人這樣做過(guò)任何與此有關(guān)的實(shí)驗(yàn)。

還可以嘗試的另一件事是使 Resnets 的梯度流保證完美而無(wú)需跳過(guò)連接的情況，但是當(dāng)用戶(hù)添加殘差連接時(shí)，大多數(shù)此類(lèi)事情都無(wú)法達(dá)到完美的情況，因此必須考慮新的方式來(lái)達(dá)成完美梯度傳播。

另一個(gè)高贊網(wǎng)友表示，捷徑連接（shortcut connections）改善了損失情況，能夠使優(yōu)化變得更加容易，有很多研究結(jié)果都支持這一點(diǎn)。

The Shattered Gradients Problem: If resnets are the answer, then what is the question? (ICML 2017) 表明 ResNet 具有更穩(wěn)定的梯度。

Visualizing the Loss Landscape of Neural Nets (NeurIPS 2018) 再次表明 ResNets 具有更平滑的損失表面。

并且也有研究表示，可以不需要捷徑來(lái)學(xué)習(xí)有效的表示，但優(yōu)化會(huì)更難。例如，F(xiàn)ixup Initialization: Residual Learning without Normalization (ICLR 2019) 表明，如果你對(duì)初始化結(jié)果進(jìn)行多次調(diào)整，那你可以在沒(méi)有殘差連接的情況下訓(xùn)練 ResNets 以獲得不錯(cuò)的結(jié)果。

RepVGG：Making VGG-style ConvNets Great Again (CVPR 2021) 表明可以在訓(xùn)練后移除捷徑并仍然擁有性能不錯(cuò)的網(wǎng)絡(luò)。

但這仍然符合 ResNet 的原始想法：將每個(gè)塊初始化為一個(gè)identify function，因此最初看起來(lái)好像參數(shù)實(shí)際上并不存在，也對(duì)網(wǎng)絡(luò)訓(xùn)練沒(méi)有產(chǎn)生任何影響，然后逐漸讓塊的效果發(fā)揮作用。

也有網(wǎng)友認(rèn)為標(biāo)題的用詞實(shí)在不準(zhǔn)確，因?yàn)閐ebunked 相當(dāng)于直接給Resnet判定為錯(cuò)誤，提問(wèn)者也表示自己確實(shí)是標(biāo)題黨了，但標(biāo)題無(wú)法更改了。