隨著Scaling Law越來越成功，LLM的電力和算力消耗也逐漸達到了驚人程度。我們越來越難以想象，當前的模型規模如何能再擴大10倍、100倍，甚至1000倍。

即使擴大1000倍的模型能夠實現，它的能耗還能在人類負擔范圍內嗎？能在智能手機或傳感器這些邊緣設備上進行本地推理嗎？

要回答這些問題，我們需要重新思考AI模型的工作和訓練方式，尤其是要轉換視角，首先考慮底層硬件的物理約束。

或許，物理神經網絡PNN（physical neural network）就是我們要找的答案。

最近，一篇有關PNN訓練的綜述性論文登上了HN熱榜。作者提出，基于過去幾年的研究，我們有理由認為，PNN可以從根本上改變AI系統的可能性和實用性，實現前所未有的模型規模。

論文地址：https://arxiv.org/abs/2406.03372

論文的合著者列表也是星光璀璨，云集了眾多頂尖機構，包括微軟研究院、DeepMind、劍橋、耶魯、康奈爾、斯坦福、普朗克研究所、EPFL、UCLA等。

文章力證，雖然迄今為止PNN依舊是在實驗室演示階段的小眾領域，但可以說是現代人工智能領域最被低估的重要機會之一。

之前對PNN的研究和回顧一般集中在光學、電子學等領域，而這篇論文則是從訓練角度，盡可能探索PNN的發展，并且不限于特定領域。

PNN是什么

作者首先提出，當前典型的AI系統存在高能耗、低吞吐率、高延遲等問題，其中的核心矛盾在于內存和處理單元的分離，而且兩者之間的數據傳輸速度較低。

由于看到了這些性能限制，研究人員對可替代當前AI系統的其他計算平臺重新產生了興趣，例如光學、光子學和模擬電子學。

論文將這些非常規計算平臺統稱為PNN，指代利用物理系統的屬性執行計算的一種類神經網絡，與當前深度學習使用的人工神經網絡（artificial neural network， ANN）相區分。

和ANN類似，PNN系統同樣使用可訓練權重??處理輸入數據??，但不同之處在于，系統中至少有一部分是模擬的而非數字的。

這意味著部分或者全部的輸入/輸出數據被連續編碼為物理參數，權重也可以是物理參數，以期在性能和效率上超越數字硬件。

從是否模仿數字神經網絡的角度，PNN可以被分為兩類（圖1a）：同構（isomorphic）PNN，和破壞同構（broken-isomorphism）PNN。

前者會設計出嚴格的、逐個操作的數學同構的硬件來執行數學變換，比如用于矩陣-向量乘法的憶阻器交叉開關。

相比之下，后者則會徹底打破數學同構的想法，直接訓練硬件的物理變換。但這種方法的復雜之處在于，我們不知道通用計算或通用函數逼近需要哪些特征。

相比數字方法，破壞同構PNN的計算效率更高，從而為速度更快、更有擴展性、能量效率更高的機器學習方法開辟了道路。

PNN訓練方法發展時間表

PNN的訓練

下圖展示了PNN訓練生態中的10種方法，論文對其中7種進行了較為詳細的論述。目前來看，這些方法各有利弊，誰也不能完全取代誰，大有「百花齊放」之勢。

PNN訓練方法生態系統

計算模擬（In-Silico）訓練

用于訓練PNN的計算機模擬方法涉及數字模擬和優化硬件的物理自由度（??）。

在訓練階段先采用基于物理的前向模型和/或數字神經網絡在計算機環境中創建PNN的數字孿生，并針對特定任務優化，之后根據優化結果部署硬件，用于新數據的模擬處理。

計算模擬訓練可以快速探索、驗證和測試各種PNN架構，有助于在進行實際的物理建構之前提高PNN的準確性和功能性。

這種方法不僅速度更快，成本效益更高，無需為每次設計迭代建立和優化昂貴而耗時的物理系統，還具有可擴展性，并確保了可重復性和透明度。

然而，計算模擬方法也有自身的局限性，比如數字前向模型無法涵蓋實際PNN硬件中的所有物理現象（噪聲、偏移、制造和材料缺陷等），而且連續物理世界的離散化過程需要更精細的網格來提高精度，這可能會導致計算需求的指數級增長。

此外，該方法的效率上限受到計算機性能的限制，而且考慮到建模PNN硬件的額外計算開銷，通常會比訓練常規的數字神經網絡更低效。

物理感知反向傳播訓練（Physics-aware BP Training，BPT）

物理感知訓練是現場（in-situ）方法和計算模擬方法的混合體：物理系統執行前向計算，后向傳播則通過數字模型的微分來執行。

由于其現場方法的成分，PAT可緩解實驗與數字模型之間不匹配的影響，同時，其中模擬方法的本質又能實現精確的訓練。

反饋對齊（Feedback Alignment，FA）

反饋對齊（FA）和直接反饋對齊（DFA）方法可以在不將權重從前向計算轉移到后向計算的情況下訓練NN，從而提高效率，但通常會犧牲性能。

物理局部學習

局部學習在硬件方面具有巨大的擴展潛力，但這一方法是否能夠復現反向傳播的性能，目前還很不清楚。

雖然完全匹配反向傳播并不是必要的（尤其是考慮到從根本上提高效率的潛力），但在未來，這種有保證的高維擴展是物理局部學習技術的基本要求。

零階梯度和無梯度訓練

為了消除對物理系統詳細知識的需求，人們提出了無模型、「黑盒」或無梯度訓練算法。

然而，這些算法在硬件上的完整實現仍然很少，而且速度通常很慢，因為梯度更新的次數與網絡中可學習參數的數量成線性比例，這給擴展帶來了巨大挑戰。

通過物理動力學進行梯度下降訓練

梯度下降優化是最先進的機器學習系統的主力，與基于GPU的神經網絡訓練相比，這類方法有可能帶來4個數量級的能量增益。

持續學習

持續學習的目的是使神經網絡能夠逐步從非穩態數據流中學習。

這有助于解決一個重要問題：當在新的數據集上進行訓練時，神經網絡往往會因為重寫權重而失去之前學習的能力，即「災難性遺忘」現象。

實現對大型模型的高效模擬

研究人員發現，如果PNN硬件設計得當，其不同的底層物理特性可能會使其表現出與數字電子系統不同的能量縮放行為。

這意味著，在模型規模足夠大的情況下，PNN可能實現比數字系統更高的效率。盡管模擬硬件有許多間接成本，例如數模轉換成本。

PNN的光學點積能量縮放優勢可能轉化為與人工智能模型推理類似的縮放優勢，因為大多數模型主要由點積組成。

模擬大型模型

PNN的多樣性和使用案例表明，該領域的主要挑戰不是找到單一的最佳訓練方法。而是針對不同情況找尋出最佳的訓練方法。

新興前沿的PNN技術

在論文的最后，研究人員介紹了PNN技術的多個應用方向，凸顯了這支「潛力股」的發展前景。

新興的PNN技術

在PNN方面，量子計算、概率計算、光子計算、光物質計算和混合計算都是大有可為的發展方向。

量子計算機可以利用量子力學的特點，比如可以利用量子力學的疊加等特征，從而解決對PNN訓練至關重要的優化問題。

然而，由于當前量子系統的量子比特有限、計算錯誤率大，這些量子優勢的實用性受到了限制。

目前正在設計特定的量子算法和量子神經網絡框架，以便在這些限制條件下運行。

例如，利用軟量子神經元、量子電路、量子生成對抗網絡和變異量子算法，在生成新樣本和學習數據分布方面有可能超越經典模型。

概率比特

數字電子設備都是使用經典比特存儲，這種技術較為完善。

量子計算通常使用量子比特存儲，問題就在于，物理實現量子比特的存儲仍然在技術上困難重重。

于是，研究人員就引入了概率比特（p-bits），它是經典比特和和量子比特的一個中間過渡。

概率比特又被稱為「窮人的量子比特」，因為它們可以使用現有的電子設備進行存儲和處理，并且可以模擬量子比特的某些屬性。

除了量子計算之外，概率比特還可以應用于機器學習中，概率計算機可能有助于機器學習技術開發。

人工智能和機器學習的一個關鍵步驟是根據不完整的數據預測決策，最好的方法是輸出每個可能答案的概率。

目前的經典計算機無法以節能的方式做到這一點，而概率計算機的出現有望填補這一空缺。

概率比特類似于機器學習中所使用的二進制隨機神經元，這可令其成為有效的硬件加速器。

因此，它就適合訓練深度生成模型和隨機神經網絡，特別是深度玻爾茲曼機（DBM），為PNN 的訓練帶來了另一個機會。

光學神經網絡

機器學習技術不斷發展，除計算機領域外，在生命科學、醫學、材料科學、量子物理、音樂等領域都展現了其獨特的優勢。

通常意義上的機器學習是一種純數字化的神經網絡模型，往往基于計算機等數字平臺實現。

隨著越來越多的機器學習算法的開發，大規模機器學習應用對計算機算力和能耗提出了新的挑戰。

針對上述問題，搭建基于物理系統的模擬計算平臺被認為是一種極具潛力的解決方案。

研究人員利用物理系統固有的聲、光、電信號等轉換性質，對物理單元進行設計和組合來構建PNN，從而實現與傳統的純數字化神經網絡相似的計算效果。

經過訓練的PNN可以基于物理系統的自響應進行信號處理，與電子芯片相比能耗更低、速度更快。

與電子系統相比，光的特性，如光學中可實現的空間并行性和光傳播中可實現計算的無耗散動態，具有顯著優勢，利用這種優勢，可以為PNN帶來新的方法。

康奈爾大學的研究人員打破了上述訓練模式，提出一種物理感知訓練方法（PAT）對基于可調物理系統的物理神經網絡進行訓練。

在該訓練模式下，采用揚聲器、光學晶體和電路元件分別構建了聲學、光學和電學版的PNN。

經過訓練的PNN可以高效地執行元音分類、手寫字體識別等常見的機器學習任務。

PAT訓練過程中將基于物理系統的前向計算和基于仿真數字模型的反向傳播相結合，顯著降低了由于參數移植帶來的性能損失。

網絡中全光子路由器的編程與PNN的訓練也有很大的相似之處，這兩個領域可以相互助益。

無論具體實現如何，可編程全光子路由器都是（通常是線性的）輸入輸出系統，具有大量可調整的自由度。

后者必須在運行時重新配置，以實現不同的路由功能（即實現不同的輸入-輸出關系）。

除了各種成熟的全局優化技術外，純粹基于局部反饋回路逐步配置特定硬件架構的想法也在不斷涌現。

將這些先進的計算范式集成到PNN中需要解決幾個難題，包括調整學習算法以利用量子和光子，管理量子系統中的噪聲和錯誤率，以及架構的可擴展性。

開發將量子或光子處理單元與經典計算元素相結合的混合系統，可能會為利用這些技術的優勢提供實用的途徑。

將這些物理系統的獨特屬性與PNN的目標結合起來，可以為下一代智能系統鋪平道路。

這些智能系統將擁有前所未有的速度、極高的效率和良好的可擴展性，訓練出大1000倍的模型也就不是夢了。