隨著大模型等人工智能技術的突破與發展，算法復雜度劇增，對傳統計算芯片帶來了算力和功耗的雙重挑戰。近年來，以光計算為基礎、通過光電融合的方式構建光電神經網絡的計算處理方法已經成為國際熱點研究問題，有望實現計算性能的顛覆性提升。

然而，光電神經網絡的前向數學模型由對光場的精準物理建模得到，計算復雜度高、參數冗余度大；其學習機制沿用人工神經網絡常用的梯度下降算法，面向大規模光電神經網絡時優化速度慢、資源消耗高、收斂效果差。因此，現有學習架構僅能支撐小規模光電神經網絡的訓練，其網絡容量和特征捕獲能力不足以有效處理 ImageNet 等大型復雜數據集。

近日，清華大學電子工程系方璐副教授課題組提出了面向大規模光電智能計算的：光學-人工雙神經元學習架構（DuAl-Neuron opTical-artificial lEarning，DANTE）。其中光學神經元精準建模光場計算過程，人工神經元以輕量映射函數建立跳躍連接助力梯度傳播，全局人工神經元與局部光學神經元以交替學習的機制進行迭代優化，在確保學習有效性的同時，大大降低了訓練的時空復雜度，使得訓練更大更深的光電神經網絡成為可能。DANTE 突破了大規模光電神經網絡物理建模復雜、參數優化困難等桎梏，網絡規模提升一至兩個數量級，訓練學習速度提升兩個數量級。

該研究以《光學-人工雙神經元架構訓練大規模光電神經網絡》（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）為題，于 11 月 4 日發表于《自然·通訊》（Nature Communications）期刊上。

人工神經網絡（ANN）無疑是近年來機器智能研究領域中最具代表性的技術。在過去的十年中，隨著網絡規模、模型參數和數據集大小的增長，人工神經網絡在視覺計算、自然語言處理、機器人等各個領域取得了顯著的進步。大規模神經網絡也給現有的電子計算硬件帶來了巨大的壓力。由于硅基計算設備的性能和能源效率受到摩爾定律停滯期的限制，研究人員開始將注意力重新轉向光學/光電網絡。

光學和光電神經網絡（ONN）具有固有的高速和高能效特性。其中，衍射神經網絡僅通過經過訓練的光學調制元件傳播編碼光來進行計算，可以自然地處理光學圖像并實現各種機器視覺任務的光學計算。

然而，現有的衍射神經網絡研究主要集中在探索新型光學計算硬件或新的網絡結構，而很少關注 ONN 的建模和優化。大多數現有的 ONN 研究仍在努力解決基本任務和小數據集，例如 MNIST 和 Fashion-MNIST 分類。

受限于算力瓶頸與顯存容量，現有的單神經元學習方法僅能實現百萬量級神經元的光電神經網絡訓練，難以滿足 ImageNet 等復雜大規模數據集的訓練需求。

在此，研究人員提出了 DANTE：用于大規模光電機器學習的雙神經元光學人工學習。

具體來說，硬件網絡由光學神經元層和人工神經元層建模。光學神經元層精確地模擬光場的衍射和調制過程，人工神經元層使用輕量級函數近似計算量大的光學神經元層光學衍射建模。與單神經元學習方法不同，DANTE 通過采用迭代全局人工學習步驟和局部光學學習步驟來解耦所有光學神經元。通過在全局人工學習步驟中引入人工神經元，顯著減少了優化空間和計算內存需求，實現了端到端網絡學習更快更好的收斂。而在局部光學學習中，光學神經元層的參數是從優化的人工神經元中獨立有效地學習的，而不是從海量數據集中學習，這可以進一步加速網絡訓練。

圖 1：光學-人工雙神經元學習架構（DANTE）。（來源：論文）

研究人員在空間光智能計算平臺上開展了大量仿真與物理實驗驗證，將現有百萬量級光電神經元網絡的訓練時間從數十小時級縮短到了分鐘級。

在模擬實驗中，與單神經元學習方法相比，DANTE 在 CIFAR-10 基準上實現了約 200 倍的訓練加速，準確率提高了約 10%。

圖 2：使用 DANTE 改進 ONN 訓練。（來源：論文）

更重要的是，DANTE 能夠訓練具有 150 M 神經元的大規模 ONN，在現代 ImageNet 基準上實現與代表性 VGG 網絡相當的性能。網絡規模大約是現有大型 ONN 的 10 倍。

圖 3：DANTE 支持的大規模 ONN。（來源：論文）

在物理實驗中，研究人員開發了一個兩層物理 ONN 系統，能夠有效提取特征以增強自然圖像的分類（CIFAR-10 和 ImageNet），作為 DANTE 物理可行性的驗證。

圖 4：物理 ONN 系統上的 DANTE。（來源：論文）

研究人員進一步基于 DANTE，首次實現了億級神經元的大規模光電神經網絡訓練與推理，在 CIFAR-10、ImageNet等多個數據集上實現了與經典人工神經網絡 VGG-11 和 VGG-16 相當的準確率。

值得強調的是，在 ImageNet 基準上成功訓練光電神經網絡具有重要意義。這展現了 DANTE 在支撐大規模光電神經網絡訓練學習上的巨大潛力，有望推動光電智能計算從基于 MNIST 基準的原型驗證階段邁入到使用現代 ImageNet 基準來解決大規模現實問題的全新時代。

圖 5：DANTE 在 CIFAR-10 和 ImageNet 數據集上的訓練與推理性能評測。（來源：論文）

總之，DANTE框 架有效地解決了 ONN 面臨的學習挑戰，這些挑戰源于光學衍射建模中復雜的空間和時間復雜性。因此，該研究在訓練大規模 ONN 方面取得了顯著的成功，而以前認為使用現有方法不可能訓練這些 ONN。

實驗結果證明了 ONN 在高級機器視覺任務中的巨大潛力。研究人員堅信，該研究將為大規模 ONN 的訓練和部署奠定堅實的理論基礎，為 ONN 解決大規模實際問題的新時代鋪平道路。

論文鏈接：https://www.nature.com/articles/s41467-023-42984-y

參考內容：https://www.tsinghua.edu.cn/info/1175/107842.htm