隨著深度學習的飛速發(fā)展，已經(jīng)創(chuàng)建了整個神經(jīng)網(wǎng)絡架構，以解決各種各樣的任務和問題。 盡管有無數(shù)的神經(jīng)網(wǎng)絡架構，但對于任何深度學習工程師而言，這里有11種必不可少的知識，它們分為四大類：標準網(wǎng)絡，遞歸網(wǎng)絡，卷積網(wǎng)絡和自動編碼器。

[[332182]]

標準網(wǎng)絡

1.感知器

感知器是所有神經(jīng)網(wǎng)絡中最基礎的，是更復雜的神經(jīng)網(wǎng)絡的基本構建塊。 它僅連接輸入單元和輸出單元。

2. 前饋網(wǎng)絡

前饋網(wǎng)絡是感知器的集合，其中存在三種基本類型的層-輸入層，隱藏層和輸出層。 在每次連接期間，來自上一層的信號乘以權重，加到偏置上，并通過激活函數(shù)。 前饋網(wǎng)絡使用反向傳播來迭代更新參數(shù)，直到達到理想的性能為止。

3.殘差網(wǎng)絡(ResNet)

深度前饋神經(jīng)網(wǎng)絡的一個問題稱為消失梯度問題，即當網(wǎng)絡太長而無法在整個網(wǎng)絡中反向傳播有用信息時。 隨著更新參數(shù)的信號通過網(wǎng)絡傳播，它逐漸減小，直到網(wǎng)絡前端的權重完全沒有改變或被利用為止。

為了解決這個問題，殘差網(wǎng)絡采用了跳過連接，可以跨“跳躍的”層傳播信號。 通過使用不太容易受到影響的連接，可以減少消失的梯度問題。 隨著時間的流逝，網(wǎng)絡在學習特征空間時會學習恢復跳過的圖層，但由于其不易受到梯度消失的影響并且需要探索較少的特征空間，因此訓練效率更高。

循環(huán)網(wǎng)絡

4.遞歸神經(jīng)網(wǎng)絡(RNN)

遞歸神經(jīng)網(wǎng)絡是一種特殊類型的網(wǎng)絡，它包含循環(huán)并在其自身上遞歸，因此稱為“遞歸”。 RNN允許將信息存儲在網(wǎng)絡中，使用先前訓練中的推理來做出有關即將發(fā)生的事件的更好，更明智的決策。 為此，它將先前的預測用作“上下文信號”。 由于其性質，RNN通常用于處理順序任務，例如逐字母生成文本或預測時間序列數(shù)據(jù)(例如股票價格)。 他們還可以處理任何大小的輸入。

5.長期短期記憶網(wǎng)絡(LSTM)

RNN存在問題，因為實際上上下文信息的范圍非常有限。給定輸入對隱藏層(因此對網(wǎng)絡輸出)的影響(反向傳播誤差)，要么呈指數(shù)級增長，要么隨著圍繞網(wǎng)絡連接的循環(huán)而消失。解決這個逐漸消失的梯度問題的方法是使用長短期內存網(wǎng)絡或LSTM。

這種RNN架構是專門為解決消失的梯度問題而設計的，將結構與存儲塊配合在一起。這些模塊可以看作是計算機中的存儲芯片-每個模塊都包含幾個循環(huán)連接的存儲單元和三個門(輸入，輸出和忘記，相當于寫入，讀取和重置)。網(wǎng)絡只能通過每個門與單元交互，因此門學會了智能地打開和關閉，以防止梯度爆炸或消失，而且還可以通過“恒定誤差輪播”傳播有用的信息，并丟棄無關的存儲內容。

6.回聲狀態(tài)網(wǎng)(ESN)

回聲狀態(tài)網(wǎng)絡是循環(huán)神經(jīng)網(wǎng)絡的一種變體，具有非常稀疏的連接的隱藏層(通常為百分之一的連接性)。 神經(jīng)元的連通性和權重是隨機分配的，并且忽略層和神經(jīng)元的差異(跳過連接)。 學習輸出神經(jīng)元的權重，使網(wǎng)絡可以產生和再現(xiàn)特定的時間模式。 該網(wǎng)絡背后的理由來自這樣一個事實，盡管它是非線性的，但訓練過程中唯一修改的權重是突觸連接，因此可以將誤差函數(shù)區(qū)分為線性系統(tǒng)。

卷積網(wǎng)絡

7.卷積神經(jīng)網(wǎng)絡(CNN)

圖像具有很高的維數(shù)，因此訓練一個標準的前饋網(wǎng)絡來識別圖像將需要成千上萬的輸入神經(jīng)元，這除了公然高昂的計算費用之外，還可能導致與神經(jīng)網(wǎng)絡的維數(shù)詛咒相關的許多問題 。 卷積神經(jīng)網(wǎng)絡(CNN)通過使用卷積層和池化層來幫助降低圖像的維數(shù)，從而提供了解決方案。 由于卷積層是可訓練的，但是其參數(shù)比標準隱藏層少得多，因此它能夠突出顯示圖像的重要部分并將它們向前傳遞。 傳統(tǒng)上，在CNN中，最后幾層是隱藏層，用于處理“壓縮圖像信息”。

卷積神經(jīng)網(wǎng)絡在基于圖像的任務上表現(xiàn)出色，例如將圖像分類為狗或貓。

8.反卷積神經(jīng)網(wǎng)絡(DNN)

顧名思義，反卷積神經(jīng)網(wǎng)絡的作用與卷積神經(jīng)網(wǎng)絡相反。 DNN不執(zhí)行卷積來減小圖像的維數(shù)，而是利用反卷積來創(chuàng)建圖像，通常是根據(jù)噪聲來進行的。 這是一項固有的艱巨任務。 考慮CNN的任務是為奧威爾(Orwell)1984年的整本書寫一個三句摘要，而DNN的任務是從三句結構寫整個本書。

9.生成對抗網(wǎng)絡(GAN)

生成對抗網(wǎng)絡是一種專門設計用于生成圖像的特殊類型的網(wǎng)絡，它由兩個網(wǎng)絡組成：鑒別器和生成器。 區(qū)分者的任務是區(qū)分是從數(shù)據(jù)集中提取圖像還是由生成器生成圖像，而生成者的任務是生成足夠有說服力的圖像，以使區(qū)分器無法區(qū)分圖像是否真實。

隨著時間的流逝，經(jīng)過精心的監(jiān)管，這兩個對手彼此競爭，互相推動，成功地改善了彼此。 最終結果是訓練有素的生成器，可以吐出逼真的圖像。 鑒別器是一個卷積神經(jīng)網(wǎng)絡，其目的是最大程度地提高識別真實/偽造圖像的準確性，而生成器是反卷積神經(jīng)網(wǎng)絡，其目的是使鑒別器的性能最小化。

自動編碼器

10.自動編碼器(AE)

自動編碼器的基本思想是獲取原始的高維數(shù)據(jù)，將其“壓縮”為高度信息化的低維數(shù)據(jù)，然后將壓縮后的形式投影到新的空間中。 自動編碼器有許多應用，包括降維，圖像壓縮，去噪數(shù)據(jù)，特征提取，圖像生成和推薦系統(tǒng)。 它既可以作為無監(jiān)督方法，也可以作為有監(jiān)督方法，對于數(shù)據(jù)的性質可以非常有見地。

隱藏的單元可以用卷積層替換以適應處理圖像。

11.可變自動編碼器(VAE)

自動編碼器學習輸入的壓縮表示形式，例如可以是圖像或文本序列，方法是先壓縮輸入然后將其解壓縮以匹配原始輸入，而變分自動編碼器(VAE)學習概率分布的參數(shù) 代表數(shù)據(jù)。 它不僅學習表示數(shù)據(jù)的函數(shù)，還獲得了數(shù)據(jù)的更詳細和細微差別的視圖，從分布中采樣并生成新的輸入數(shù)據(jù)樣本。 從這個意義上講，它更像是一種純粹的“生成”模型，例如GAN。

VAE使用概率隱藏單元格，該單元格將徑向基函數(shù)應用于測試用例與單元格均值之間的差異。