人大高瓴人工智能學院孫浩團隊Nature子刊發文:AI走進工程應用,數據驅動多學科復雜系統
眾所周知,大到宇宙天體運動、大氣動力演化,小到細胞群、分子運動,復雜物理系統都滿足著某種特定的規律。
作為精美的科學符號語言,數學方程可以用于準確描述這些復雜的現象,如開普勒行星運動定律、牛頓運動定律和納維葉—斯托克斯方程(Navier-Stokes equations)等,它們都可以用一系列經典的微分方程來表達。
然而,在實際應用中,不少測量數據具有 “小樣本、高維度、稀疏、噪聲大” 等特征,這導致現有的提取偏微分方程的方法不再適用。
為此,中國人民大學高瓴人工智能學院長聘副教授孫浩帶領其團隊提出了一種新穎的“物理驅動深度學習+稀疏回歸”(Physics-informed Neural Network with Sparse Regression,簡稱 PINN-SR)方法。該方法基于 “小樣本稀疏噪聲”測量數據,可準確提取出復雜系統的控制方程,這種控制方程又被稱為時空偏微分方程簡明解析式。
相關論文以《從稀缺數據中學習控制方程的物理學知識》(Physics-informed learning of governing equations from scarce data)為題發表在 Nature Communications ,第一作者為陳釗,美國東北大學機械與工業工程系助理教授、博導劉揚為共同通訊作者[1]。
圖 | 相關論文(來源:Nature Communications)
在工程應用的研究中,科學家們通常依賴于完全已知的控制方程,對常規的物理系統進行建模與仿真。而推導系統狀態控制方程的傳統方法主要為利用守恒定律、現象觀測與猜想,可能不適用一些復雜物理系統。
多元化的測量數據和深度學習的發展,為解決這一難題帶來了新思路。研究者們從數據角度進行探索,可面向復雜物理系統構造出物理可詮釋性的數據驅動模型,這有助于推進系統的建模與仿真,并加深人們對該類系統的認識。
當前,通用深度學習理論和技術存在一定的弊端,其雖然擁有強大的信息挖掘和表示能力,但主要依賴大量監督數據,這樣得到的數據驅動模型并不具備明確的物理含義,且外推和泛化能力普遍較弱,在面臨非理想化數據下的科學問題時往往力不從心。
圖 | 孫浩(來源:孫浩)
孫浩表示,“現有提取偏微分方程的大多數方法基于稀疏回歸,利用數值方法求導數,因此局限于理想化的小噪聲或零噪聲、非稀疏結構性的高質量測量數據。”
因此,該團隊首先構建了一個深度神經網絡,用來近似于偏微分方程,利用自動微分得到導數解析表達,形成候選代數項文庫,進而用來表達未知的偏微分控制方程;通過深度神經網絡和偏微分方程的相互約束,形成整體單一型網絡結構(one-network architecture)。
圖 | PINN-SR 框架的示意圖架構(來源:Nature Communications)
由于訓練參數具有異構屬性,如深度神經網絡參數是連續的、方程代數項系數是稀疏的等,會形成 NP-hard 優化問題,無法對網絡參數進行統一訓練。
對此,該團隊提出一種交替方向優化(alternating direction optimization)的方法,將神經網絡參數和方程代數項系數進行交替迭代優化,從而訓練出具有外推能力的高質量神經網絡,用來近似系統響應,進而提供精確的導數估值,確保稀疏回歸識別方程系數的嚴格稀疏性。
圖 | 劉揚(來源:劉揚)
孫浩稱,對于一些未知的復雜非線性或混沌系統,用作描述其狀態和響應的方程解析表達通常是未知的,如新材料的本構關系、宏觀經濟指標演化規律、在特殊培養環境下細胞群運動規律、環境指標的時空演化、極端天氣下的大氣動力系統等等。
而該團隊提出的方法,在解決這些挑戰性問題上,有很大的應用潛力, 一方面為進一步仿真、了解、控制此類系統提供理論基礎,另一方面利用可詮釋性 AI 技術推動了此類應用學科的新發展。
目前,該團隊提出的方法已成功應用在各類物理及生物、化學系統,如流體、反應擴散系統、量子系統和細胞群體運動等。
審稿人認為,該方法是一項重要的成果,能夠有效 解決 “從小樣本、高維度、稀疏、高噪聲測量數據中準確提取偏微分方程” 這一挑戰性難題,并以實驗充分證明了該方法具有較好的通用性,可用在各類復雜物理、化學、生物系統中。
目前,文章的第一作者陳釗在美國太平洋國家實驗室做博士后。此前,他在美國東北大學取得博士學位,指導老師為孫浩教授。
圖 | 陳釗(來源:陳釗)
陳釗表示,寫這篇文章的過程中,在工作學習、生活娛樂等方面發生了許多有意思的事情,讓人有 “work hard, play hard” 的感覺。在改進算法、提升結果的時候,該團隊經常會集思廣益,“唇槍舌戰” 也不時發生過。而在課題構思、算法設計和論文寫作等方面,團隊的老師們都投入了巨大的精力,事無巨細給學生提供了很有針對性的指導,好像很多細節都在腦海中提前過了一遍一樣。
此外,陳釗稱,孫浩老師很善于文字表達和視覺設計,經過他修改過的段落或圖片令人印象深刻,很值得學習。