為了讓AI更像科學(xué)家，他們將人類知識注入大模型…

正如教孩子解難題，你可以讓他們自己反復(fù)試錯找到正確方法，也可以教他們一些基礎(chǔ)規(guī)則和技巧提高解題效率。

類似地，將規(guī)則和技巧等人類知識融入到ChatGPT、Sora等基于數(shù)據(jù)驅(qū)動的AI模型訓(xùn)練中，有可能提高模型的效率和推理能力。

△該圖由AI模型StableDiffusionXL生成

但關(guān)鍵問題是如何平衡數(shù)據(jù)和知識對模型的影響。

為了解決這一問題，美國國家工程院院士張東曉、寧波東方理工大學(xué)（暫名）助理教授陳云天領(lǐng)銜，提出了一個新框架——

它首次對知識的價值進(jìn)行定量評估，從而增強(qiáng)深度學(xué)習(xí)模型的預(yù)測能力。

實驗證明，該框架可在物理、化學(xué)、工程學(xué)等不同領(lǐng)域有廣泛的實際應(yīng)用，比如使用該方法優(yōu)化機(jī)器學(xué)習(xí)模型來解決多變量方程、預(yù)測薄層色譜實驗的結(jié)果優(yōu)化未來的實驗化學(xué)條件等。

目前，該研究已刊于Cell Press交叉學(xué)科領(lǐng)域期刊Nexus。

此外值得一提的是，雖然Sora發(fā)布后被認(rèn)為可以理解“事物在現(xiàn)實世界中的存在方式”，但本文研究人員認(rèn)為它不能準(zhǔn)確模擬許多基本交互的物理特性：

如果沒有對世界的基本理解，模型本質(zhì)上就是動畫，而不是一個模擬。

新框架長啥樣？

在數(shù)據(jù)科學(xué)中，知識可被視為是數(shù)據(jù)在時間和空間維度中復(fù)雜關(guān)系的體現(xiàn)。深度學(xué)習(xí)領(lǐng)域，先驗知識對于彌補(bǔ)數(shù)據(jù)驅(qū)動模型的缺陷至關(guān)重要。

然而，要想將物理機(jī)理等知識融入大模型仍然存在挑戰(zhàn)——

如何評估先驗知識的價值？數(shù)據(jù)和知識之間的關(guān)系是什么？如何使先驗知識更好地發(fā)揮作用？

為解決這幾點問題，本文研究框架的核心提出了兩個新的概念：

• 規(guī)則重要性（Rule Importance, RI）
• 完全重要性（Full Importance, FI）

其中，規(guī)則重要性（RI）用于量化每條規(guī)則對模型預(yù)測精度的邊際貢獻(xiàn)，研究特定規(guī)則或組合如何影響模型的預(yù)測準(zhǔn)確性。

本文提到的“規(guī)則”指的是在知情機(jī)器學(xué)習(xí)（informed machine learning）框架中，用于指導(dǎo)模型學(xué)習(xí)和預(yù)測的先驗知識。

計算過程如下圖：

對于模型中納入的第i條規(guī)則，定義它的邊際貢獻(xiàn)為：

為了進(jìn)行比較，完全重要性（FI）表示在所有其他規(guī)則存在的情況下，某條規(guī)則的重要性，計算公式可以表示為：

值得一提的是，研究人員還建立了一種基于擾動的高效計算RI的方法，避免了每次都從頭訓(xùn)練模型。

（更多細(xì)節(jié)，感興趣的家人們可以查看原論文）

數(shù)據(jù)和規(guī)則的基本原理

接下來，研究人員通過一系列系統(tǒng)實驗，揭示了數(shù)據(jù)和規(guī)則之間的一些內(nèi)在原理和關(guān)系。

具體來說，他們選擇了四個典型的物理過程作為實驗案例，涉及的規(guī)則包括控制偏微分方程（PDEs）、邊界條件（BCs）和初始條件（ICs）。

研究人員發(fā)現(xiàn)，在分布內(nèi)（in-distribution）預(yù)測場景中，隨著訓(xùn)練數(shù)據(jù)量增加，RI會逐漸降低。尤其是局部規(guī)則（local rules）如初始條件，RI下降得更快。

這表明在數(shù)據(jù)量較大時，模型可以通過學(xué)習(xí)數(shù)據(jù)本身來提高預(yù)測精度，而不需要依賴于規(guī)則來限制可能的分布范圍。

分布外（out-of-distribution）預(yù)測場景中，不同類型規(guī)則的RI會隨數(shù)據(jù)量變化呈現(xiàn)出不同趨勢。全局規(guī)則（global rules）如PDE，RI會隨數(shù)據(jù)量的增加而升高，而局部規(guī)則如初始條件的RI會隨著數(shù)據(jù)量的增加而降低。

全局規(guī)則在指導(dǎo)模型全局分布方面發(fā)揮更關(guān)鍵的作用，而局部規(guī)則與觀測數(shù)據(jù)緊密相關(guān)，過多的數(shù)據(jù)可能導(dǎo)致過擬合。

研究人員總結(jié)，規(guī)則之間存在著依賴（Dependence）、協(xié)同（Synergism）和替代（Substitution）等復(fù)雜交互作用。

• 依賴性體現(xiàn)為規(guī)則內(nèi)部之間的依賴（inner dependence）和規(guī)則與依賴變量之間的外部依賴（outer dependence）。內(nèi)部依賴指的是規(guī)則之間相互依賴以發(fā)揮作用，而外部依賴則是指規(guī)則對模型預(yù)測的依賴程度。
• 協(xié)同作用體現(xiàn)為：在某些情況下，多條規(guī)則共同作用產(chǎn)生的效應(yīng)大于它們各自效應(yīng)的總和。
• 替代作用體現(xiàn)為：在某些情況下，一個規(guī)則的功能可以被數(shù)據(jù)或其他規(guī)則替代。

值得一提的是，研究人員表示該框架在實際應(yīng)用中具有實際效用，不僅能夠提高知情機(jī)器學(xué)習(xí)（informed machine learning）的性能，還能夠通過改善模型的規(guī)則選擇來提高模型的安全性和可靠性。

作者簡介

論文通訊作者

張東曉，美國工程院院士，美國地質(zhì)學(xué)會會士，國際石油工程師協(xié)會SPE最高榮譽會員。

現(xiàn)任寧波東方理工大學(xué)（暫名）常務(wù)副校長兼教務(wù)長，主要從事智慧能源與碳中和領(lǐng)域研究。

陳云天，東方理工助理教授，博導(dǎo)。清華大學(xué)能源與動力工程系學(xué)士，北京大學(xué)力學(xué)（能源與資源工程）博士，鵬城實驗室博士后。

研究方向為科學(xué)機(jī)器學(xué)習(xí)，主要專注于：物理驅(qū)動與數(shù)據(jù)驅(qū)動的融合、AI輔助的科學(xué)知識發(fā)現(xiàn)。

論文一作

徐浩，北京大學(xué)工學(xué)院博士研究生。

擅長運用人工智能技術(shù)輔助科學(xué)探索，相關(guān)研究曾發(fā)表在Nature Communications、Chem和Advanced Science等期刊。