近日，來自清華大學的學者提出了一套基于自動編碼器實現的新訓練方法，使其能夠忽略輸入圖像中的無關特征，同時保留相關特征。與現有的端到端提取方法相比，該方法只需要圖像級標簽，降低了標記成本。

研究者發現，通過訓練卷積神經網絡（CNNs）模型來處理編碼器的輸出，并產生一個轉向角來控制車輛，可驗證了該方法的有效性。整個端到端的自動駕駛方法可以忽略不相關特征的影響，即使這些特征在訓練卷積神經網絡的時候也不存在。

基于卷積神經網絡的自動編碼器

論文作者列出了相應算法的主要思想和基本過程：該系統由自動編碼器和自動編碼器組成如圖1所示。來自前置攝像頭的圖像作為輸入提供給自動編碼器。自動編碼器由編碼器和解碼器組成，編碼器的輸出作為CNN的輸入，CNN計算并輸出轉向角度來控制車輛。 

（圖1、完整系統的示意圖，該系統包含一個自動編碼器來消除圖像中的無關特征，以及一個產生控制命令的CNN）

自動編碼器是一種人工神經網絡，它旨在以無監督的方式學習高效的數據編碼。它學習如何有效地對數據進行編碼，并將數據從編碼后的表示重構為盡可能接近原始數據的表示。自編碼器的兩個主要應用是降維和信息檢索。雖然降維與我們的任務相似，但由于它們都需要從輸入中提取有用的特征，所以通常不會去除特征。

最近，自動編碼器被證明可應用于不同的任務，如圖像處理方面，自動編碼器可以達成圖像壓縮和圖像去噪，然而這些任務對精準的路側物體識別意義不大。

在圖形壓縮工作中，圖像被壓縮以降低存儲或傳輸的成本；在圖像去噪任務中，噪聲圖像被傳輸到原始圖像中。噪聲圖像作為輸入，原始圖像作為標簽來訓練網絡。另外，噪聲圖像應該與原始圖像完全相同。

從文中的例子來看，如果將不相關的物體作為噪聲處理，那么圖像去噪的方法似乎可以用來提取相關的特征。但是，在實際駕駛場景中，天空、樹木等不相關的物體是無法去除的，所以這種方法并不可行。

Auto-Encoder如何配合CNNs

研究者提出，算法的目的是在保留所有相關特征的同時，從圖像中去除所有與決策無關的特征。為了降低標簽的成本，最好只使用圖像級標簽訓練網絡。

同時，為了滿足端到端方法的定義，特征提取過程的輸出應該具有隱含意義。與CNNs相比，自動編碼器在這方面是一個更好的選擇：它不可能直接理解編碼器的輸出，而是將其轉換為原始輸入，因為它包含了和輸入一樣多的信息。

解碼器的輸出和原始輸入之間總是有一些錯誤。換句話說，總有一些信息丟失。在理想情況下，算法的目標是確保任何丟失的信息只包含不相關的特征，同時保留想要保留的特征。為了實現這一點，網絡需要被教導哪些類型的特征應該保留，哪些應該消除。然后，經過多次重復訓練過程，網絡就具備了從輸入中提取所需特征的能力。

 那么，CNNs在其中的作用又是什么呢？我們系統的CNN體系結構如圖1所示，它包括三個卷積層和四個全連通層，其中最后一層輸出控制命令(即方向盤角度)。

訓練CNN時，自動編碼器的參數保持不變。在良好場景的專業駕駛測試過程中，訓練圖像會包含很多正常狀態的圖像。不過，一旦車輛偏離了當前車道的中心，CNN就可能無法做出正確的決定。

為了避免該問題，研究者采用如圖2所示的在線訓練方法：由網絡控制車輛，同時由專家提供控制命令。訓練過程中獲取的圖像將作為訓練數據，而專家給出的命令作為標簽，這些數據隨后被用來訓練網絡。

由于網絡是隨機初始化的，在訓練的早期，車輛經常處于異常狀態，避免了正常圖像過多的問題。

（圖2、CNN培訓過程。實線表示用于控制車輛的信息流，虛線表示用于訓練模型的信息流）

利用仿真實現的模擬器和數據集描述（Dataset Description）

展示了仿真模擬器和數據收集過程，并將開發的系統與具有相同網絡結構的基線模型的性能進行了比較。

仿真環境采用PreScan構建，PreScan是智能車輛系統開發的仿真環境，用戶可以在其中設計逼真的交通場景。一旦特定的交通場景完成，該工具可以自動生成Simulink模型，用于測試自動駕駛算法。

為此，研究者制定了以下四個測試計劃。

1)測試方案一:算法在場景1-1進行訓練，在場景1-3和場景1-4進行測試。

2)測試方案二:算法在場景1-2進行訓練，在場景1-3和場景1-4進行測試。

3)測試方案三:算法在場景2-1進行訓練，在場景2-3和場景2-4進行測試。

4)測試方案四:算法在場景2-2進行訓練，在場景2-3和場景2-4進行測試。

（圖3、內置PreScan的場景）

自動解碼器訓練過程需要收集正、負樣本。在所構建的場景中，道路和車道標志是影響駕駛指令的主要因素，而樹木和天空則無關緊要。研究者先在模擬環境中隨機拍攝圖片，然后將每個圖像分配給一個數據集，如下所示。

如果圖像主要由道路特征組成，則將其歸類為陽性樣本。另一方面，如果圖像主要由樹木或天空特征組成，則將其歸類為負樣本。否則，如果相關特征和不相關特征的比例幾乎相同，則丟棄圖像。正、負樣本集如圖4所示。

在訓練CNN的方法中，用于訓練目的的數據是在訓練過程中收集的。前置攝像頭拍攝的輸入圖像尺寸為240 × 320 × 3。由于任務是保持在車道上，標簽即轉向角度可以通過跟蹤算法來確定，該算法可以控制車輛沿著車道的中心線行駛，且該跟蹤算法由PreScan環境提供。 

（圖4、部分數據集用于訓練自動編碼器 ）

綜合看來，該論文提出了一種新的訓練方法，即允許自動編碼器從輸入圖像中提取有用的特征，并將其應用到端到端自動駕駛方法中，以忽略不相關的路邊目標。

從中我們可以得到一些結論：首先，在訓練自動編碼器時采用正負交替采樣，編碼器可學會從輸入圖像中去除那些不相關的特征，從而保證輸出特征映射只包含相關特征。在解碼器輸出的圖像中，不相關的物體，如樹木和天空，實際上是無法區分的，而道路和車道標記是清晰的。

同時，文中所提出的訓練方法僅依賴圖像級標記即可對自動編碼器進行訓練。與現有的端到端多任務自動駕駛方法相比，該方法降低了標簽成本。

另外，使用自動編碼器與CNN組成的端到端自動駕駛方法，即使訓練數據中幾乎沒有不相關的物體，也不會受到路邊不相關物體的影響。由此提煉出的模型和基線模型不容易受到陰影的影響。當陽光角度設置為45°，提出的模型仍然提供良好的性能，而基線模型無法保持車輛在車道上。

這種方法目前的一個限制是「簡單的場景」。為了擴大應用范圍，可以有不同的無關對象，如建筑物和周圍的車輛。該模型中的CNN可以用強化學習算法代替來處理動態場景。也可以考慮有限范圍的道路測試。此外，為了處理如此復雜的圖像，決策網絡的架構也將被擴展。

原文鏈接: 

Wang, T., Luo, Y., Liu, J., Chen, R., & Li, K. (2022). End-to-end self-driving approach independent of irrelevant roadside objects with auto-encoder. IEEE Transactions on Intelligent Transportation Systems, 23(1), 641-650. doi:http://dx.doi.org/10.1109/TITS.2020.3018473

主要作者信息:

Yugong Luo(IEEE成員)——分別在1996年和1999年分別獲得重慶大學科技學士和科學碩士學位。2003年獲得清華大學博士學位?，F任清華大學汽車與交通學院教授。他撰寫了70多篇期刊文章，擁有31項專利。主要研究方向為智能互聯電動汽車動力學與控制、汽車噪聲控制。

Tinghan Wang——在2016年獲得了清華大學的科技學士學位，目前正在攻讀博士學位。他的研究興趣包括基于深度神經網絡的端到端自動駕駛和深度強化學習。

Jinxin Liu——于2017年獲得合肥工業大學理工科學士學位。他目前在攻讀清華大學博士學位。主要研究方向為汽車意圖識別和行為規劃。