隨著 AI4Science 的浪潮席卷科研各領(lǐng)域，如何將強(qiáng)大的人工智能模型真正用于分析科學(xué)數(shù)據(jù)、構(gòu)建數(shù)學(xué)模型、發(fā)現(xiàn)科學(xué)規(guī)律，正成為該領(lǐng)域亟待突破的關(guān)鍵問(wèn)題。

近日，中國(guó)科學(xué)院自動(dòng)化研究所的研究人員提出了一種創(chuàng)新性框架 ——DrSR (Dual Reasoning Symbolic Regression)：通過(guò)數(shù)據(jù)分析與經(jīng)驗(yàn)歸納 “雙輪驅(qū)動(dòng)”，賦予大模型像科學(xué)家一樣 “分析數(shù)據(jù)、反思成敗、優(yōu)化模型” 的能力。

在 DrSR 中，三位 “虛擬科學(xué)家” 協(xié)同工作：

• 一個(gè)善于洞察變量關(guān)系的 “數(shù)據(jù)科學(xué)家”；
• 一個(gè)擅長(zhǎng)總結(jié)失敗教訓(xùn)與成功經(jīng)驗(yàn)的 “理論科學(xué)家”；
• 一個(gè)勇于嘗試假設(shè)、不斷優(yōu)化模型的 “實(shí)驗(yàn)科學(xué)家”。

這三種角色基于大模型構(gòu)建起高效的協(xié)作機(jī)制，共同驅(qū)動(dòng) DrSR 實(shí)現(xiàn)智能化、系統(tǒng)化的科學(xué)方程發(fā)現(xiàn)。

在物理、生物、化學(xué)、材料等跨學(xué)科領(lǐng)域的典型建模任務(wù)中（如非線性振蕩系統(tǒng)建模、微生物生長(zhǎng)速率建模、化學(xué)反應(yīng)動(dòng)力學(xué)建模、材料應(yīng)力 - 應(yīng)變關(guān)系建模等），DrSR 展現(xiàn)出強(qiáng)大的泛化能力，刷新當(dāng)前最優(yōu)性能，成為 AI 助力科學(xué)研究的有力工具。

• 論文地址：https://arxiv.org/abs/2506.04282
• 論文標(biāo)題：DrSR: LLM based Scientific Equation Discovery with Dual Reasoning from Data and Experience

研究背景

在科學(xué)發(fā)現(xiàn)和工程建模中，尋找數(shù)據(jù)背后的數(shù)學(xué)模型一直是一項(xiàng)核心任務(wù)。這正是符號(hào)回歸（Symbolic Regression, SR）的目標(biāo) —— 從觀測(cè)數(shù)據(jù)出發(fā)，自動(dòng)生成解釋性強(qiáng)、結(jié)構(gòu)清晰的數(shù)學(xué)方程。

這種 “從數(shù)據(jù)中還原規(guī)律” 的能力，已在物理、化學(xué)、生物、材料等多個(gè)學(xué)科中發(fā)揮了巨大作用，成為人類理解復(fù)雜系統(tǒng)的重要工具。

隨著大模型的興起，符號(hào)回歸正邁入一個(gè) “類人推理” 的新階段。例如，LLM-SR 等方法開(kāi)始嘗試用大模型直接生成公式骨架（skeleton），再配合優(yōu)化器擬合參數(shù)，實(shí)現(xiàn) “從提示詞到方程” 的自動(dòng)生成。這讓符號(hào)回歸從傳統(tǒng)的遺傳進(jìn)化算法中解放出來(lái)，性能和表達(dá)能力雙雙提升。

但問(wèn)題也隨之而來(lái)，這些方法雖然 “公式寫得快”，卻往往 “不看數(shù)據(jù)”，更 “不記經(jīng)驗(yàn)”。

模型生成公式靠的是大模型內(nèi)嵌的科學(xué)知識(shí)，而非對(duì)當(dāng)前實(shí)驗(yàn)數(shù)據(jù)的深入理解。

一旦某個(gè)公式生成失敗，模型通常無(wú)法從失敗中改進(jìn)策略，只會(huì)機(jī)械地重復(fù)嘗試，陷入 “盲猜” 或 “重走老路” 的困境。

結(jié)果就是：不是過(guò)擬合 “已有套路”，就是反復(fù)生成無(wú)效表達(dá)式，計(jì)算資源浪費(fèi)嚴(yán)重，智能化程度受限。

為了解決這一難題，研究團(tuán)隊(duì)提出了全新框架 DrSR：讓模型 “會(huì)看題”“會(huì)復(fù)盤”“會(huì)改進(jìn)”—— 像科學(xué)家一樣，從數(shù)據(jù)中洞察結(jié)構(gòu)、從失敗中總結(jié)經(jīng)驗(yàn)、在生成中持續(xù)進(jìn)化。

DrSR：讓大模型 “有據(jù)可依、步步為營(yíng)” 地發(fā)現(xiàn)規(guī)律

DrSR 的核心理念是 “雙路徑推理”（Dual Reasoning）：通過(guò)引入 “數(shù)據(jù)洞察” 與 “經(jīng)驗(yàn)總結(jié)” 兩條信息流，為大模型提供結(jié)構(gòu)引導(dǎo)與策略反饋，讓其像科學(xué)家一樣高效、穩(wěn)健地進(jìn)行探索。

DrSR 的兩大關(guān)鍵機(jī)制包括：

•  數(shù)據(jù)驅(qū)動(dòng)的洞察生成（Data-aware Insight Extraction）
•  經(jīng)驗(yàn)驅(qū)動(dòng)的策略總結(jié)（Inductive Idea Learning）

DrSR 的流程并不復(fù)雜，關(guān)鍵在于：讓 LLM 在每一輪嘗試中都 “看數(shù)據(jù)、學(xué)經(jīng)驗(yàn)、再出手”，具體流程如圖 1 所示。

圖 1：DrSR 的雙路徑推理機(jī)制，讓 LLM 在分析、生成、復(fù)盤三個(gè)環(huán)節(jié)協(xié)同工作，模擬科學(xué)家的研究思維

?? 模塊 a：從數(shù)據(jù)中提煉結(jié)構(gòu)線索

• 數(shù)據(jù)分析模塊由一個(gè) “結(jié)構(gòu)洞察型 LLM” 構(gòu)成，它負(fù)責(zé)分析輸入輸出變量之間的映射關(guān)系，提取變量之間的耦合程度、單調(diào)性、線性 / 非線性趨勢(shì)等結(jié)構(gòu)特征。
• DrSR 不只分析原始數(shù)據(jù)，還會(huì)根據(jù)上一輪候選方程的殘差，進(jìn)一步定位 “沒(méi)擬合好” 的數(shù)據(jù)段，為后續(xù)方程生成提供更高質(zhì)量的提示。

?? 模塊 b：從歷史結(jié)果中總結(jié)成功經(jīng)驗(yàn)

方程一旦生成，DrSR 不僅會(huì)進(jìn)行擬合與打分，還會(huì)將結(jié)果分類為「效果更好」「效果變差」「無(wú)法執(zhí)行」三類，并交由一個(gè) “經(jīng)驗(yàn)型 LLM” 進(jìn)行分析，總結(jié)出可以重復(fù)利用的經(jīng)驗(yàn)知識(shí)。

該模塊會(huì)進(jìn)行如下反思：

• 為什么這條方程效果更好 / 更壞 / 無(wú)法執(zhí)行？
• 從這次方程的生成中，可以總結(jié)出什么經(jīng)驗(yàn)或教訓(xùn)？

總結(jié)出的知識(shí)以 idea 的形式存入 idea 庫(kù)（Idea Library），供后續(xù)輪次調(diào)用，提升生成策略的有效性。

?? 模塊 c：方程生成 + 數(shù)值擬合

DrSR 的 “主控型 LLM” 負(fù)責(zé)綜合問(wèn)題描述、數(shù)據(jù)分析結(jié)論和 idea 庫(kù)的經(jīng)驗(yàn)，生成方程 skeleton。隨后調(diào)用 BFGS 等優(yōu)化器進(jìn)行系數(shù)擬合，并評(píng)估方程的整體誤差。表達(dá)式被送回評(píng)估路徑，進(jìn)入下一輪經(jīng)驗(yàn)提煉與數(shù)據(jù)再分析循環(huán)。

這個(gè)模塊是整個(gè) DrSR 的 “前臺(tái)”，而 a 與 b 是強(qiáng)大的 “后端支持”。

總結(jié)來(lái)說(shuō)，DrSR 的運(yùn)行流程是一種閉環(huán)：

數(shù)據(jù)分析 → 提示引導(dǎo) → 方程生成 → 評(píng)估打分 → 經(jīng)驗(yàn)總結(jié)，如此循環(huán)。每一次生成，模型都在積累知識(shí)、修正路徑，從 “盲目試探” 走向 “有的放矢”。

實(shí)驗(yàn)結(jié)果：DrSR 不僅 “更準(zhǔn)”，還 “更快、更穩(wěn)、更聰明”

研究團(tuán)隊(duì)在六大符號(hào)回歸基準(zhǔn)任務(wù)上系統(tǒng)評(píng)估了 DrSR 的性能，涵蓋物理、生物、化學(xué)、材料等多個(gè)科學(xué)領(lǐng)域，結(jié)果顯示 DrSR 全面超越現(xiàn)有主流方法，不僅準(zhǔn)確率更高，而且在推理效率和泛化能力上也顯著領(lǐng)先。

?? 全面領(lǐng)先的擬合精度與準(zhǔn)確率

表 1. DrSR 和基線方法在六個(gè)符號(hào)回歸基準(zhǔn)上的總體性能

如表 1 所示，平均來(lái)看，DrSR 在 6 個(gè)任務(wù)中有 5 個(gè)取得了最高準(zhǔn)確率（Acc）和最低歸一化均方誤差（NMSE）。特別地，DrSR 在非線性阻尼振蕩系統(tǒng)建模任務(wù)（Oscillation 2）上達(dá)成了近乎完美的 99.94% 準(zhǔn)確率，誤差低至 1.8e-12，顯著優(yōu)于所有基線方法。

?? 快速收斂：從一開(kāi)始就更聰明

圖 2. 訓(xùn)練收斂性比較

從圖 2 可以看到，DrSR 在幾乎所有數(shù)據(jù)集上都以更快速度達(dá)到更低的誤差。在初期迭代階段，其誤差下降趨勢(shì)也更穩(wěn)定，不容易陷入振蕩或卡頓，這說(shuō)明 DrSR 的雙推理策略能更有效引導(dǎo)方程生成方向，從而減少無(wú)效嘗試次數(shù)。

? 有效率更高：生成的方程更 “靠譜”

圖 3. 有效解比例對(duì)比

如圖 3 所示，DrSR 生成的方程在語(yǔ)法、編譯、可求值等方面的有效比例普遍高于 LLM-SR 約 10%-20%，這背后正是 “經(jīng)驗(yàn)學(xué)習(xí)” 機(jī)制的作用 —— 模型逐步避開(kāi)常見(jiàn)失敗結(jié)構(gòu)。

?? 泛化更強(qiáng)，且對(duì)噪聲和 OOD 更魯棒

圖 4. 在 ID 和 OOD 數(shù)據(jù)下跨科學(xué)領(lǐng)域的泛化對(duì)比

圖 4 展示了 DrSR 在 ID（域內(nèi)）與 OOD（域外）數(shù)據(jù)下的性能對(duì)比?？梢钥吹剑涸谒腥蝿?wù)、所有設(shè)置下，DrSR 的歸一化均方誤差（NMSE）始終是最低的，展現(xiàn)出極強(qiáng)的模型穩(wěn)定性。其他方法（如 PySR 或 uDSR）雖然在部分任務(wù)中 ID 表現(xiàn)尚可，但面對(duì) OOD 分布時(shí)誤差陡升、性能驟降，而 DrSR 則表現(xiàn)出了 “跨場(chǎng)景保持魯棒” 的能力。

表 2. 不同高斯噪聲水平下的性能比較

如表 2 所示，在不同高斯噪聲水平下，DrSR 均顯著優(yōu)于 LLM-SR，展現(xiàn)出抗噪、抗漂移的泛化優(yōu)勢(shì)。

?? 消融實(shí)驗(yàn)：兩個(gè)核心機(jī)制 “缺一不可”

圖 5. 消融實(shí)驗(yàn)

圖 5 的消融實(shí)驗(yàn)也驗(yàn)證了兩個(gè)核心機(jī)制的重要性：沒(méi)有結(jié)構(gòu)引導(dǎo)，模型不知從何生成；沒(méi)有經(jīng)驗(yàn)總結(jié)，模型容易反復(fù)試錯(cuò)。DrSR 的成功，正是這兩者閉環(huán)協(xié)同的結(jié)果。

案例展示：DrSR 如何一步步逼近 “真實(shí)方程”

為了更直觀地展示 DrSR 的 “類科學(xué)家” 建模過(guò)程，研究團(tuán)隊(duì)以非線性阻尼振蕩系統(tǒng)建模任務(wù)為例，繪制了其在 1000 次迭代過(guò)程中的方程演化軌跡，如圖 6 所示。

圖 6. DrSR 的性能軌跡與代表性表達(dá)式演化，每一個(gè)臺(tái)階，都是模型一次深刻的 “認(rèn)知飛躍”

該任務(wù)的真實(shí)方程為：

DrSR 在僅 1000 輪迭代后生成的最優(yōu)方程為：

基線 LLM-SR 在 2000 輪迭代后生成的最優(yōu)方程為：

可以看到：DrSR 用一半的迭代次數(shù)，就生成了更接近真實(shí)結(jié)構(gòu)的表達(dá)式，充分體現(xiàn)其 “有方向感” 的探索能力。

這一案例也展現(xiàn)出 DrSR 獨(dú)特的三大智能行為：

• 初期：大膽探索，快速淘汰
  

在前幾十輪中，DrSR 嘗試了一系列初步構(gòu)造的方程，例如僅包含多項(xiàng)式組合的表達(dá)式（如 -0.5xv - 0.04x2 - 0.24v2 等），盡管形式接近，但精度仍遠(yuǎn)未達(dá)到理想值。此階段模型更像一個(gè) “實(shí)驗(yàn)科學(xué)家”，快速試錯(cuò)、積累經(jīng)驗(yàn)。

• 中期：融合非線性成分，跨越式發(fā)展

隨著經(jīng)驗(yàn)的積累與數(shù)據(jù)結(jié)構(gòu)的洞察引入，DrSR 開(kāi)始生成帶有 sin (x)、x2v 等非線性物理元素的表達(dá)式，方程擬合誤差明顯下降近兩個(gè)數(shù)量級(jí)，說(shuō)明模型已開(kāi)始理解系統(tǒng)的振蕩性本質(zhì)。此時(shí)，它如同一個(gè) “理論科學(xué)家”，開(kāi)始用正確的符號(hào)結(jié)構(gòu)組織規(guī)律。

• 后期：精煉組合，逼近真實(shí)動(dòng)力學(xué)

最終，DrSR 提出了形如 0.8sin (x) - 0.5xv - 0.5v3 - 0.2x3 的復(fù)雜但精確表達(dá)式，誤差降至 10^-5 級(jí)別，接近人類解析解。這一過(guò)程高度模擬了科學(xué)發(fā)現(xiàn)中的 “假設(shè) - 驗(yàn)證 - 歸納” 的迭代式建模模式。

這個(gè)案例生動(dòng)說(shuō)明了 DrSR 如何結(jié)合 “結(jié)構(gòu)洞察 + 經(jīng)驗(yàn)引導(dǎo)” 兩種智慧，逐步收斂到準(zhǔn)確又可解釋的科學(xué)方程。

總結(jié)：讓大模型更像科學(xué)家，科學(xué)智能邁出關(guān)鍵一步

DrSR 提出了一種融合數(shù)據(jù)感知與經(jīng)驗(yàn)反思的符號(hào)回歸新范式，它通過(guò)結(jié)構(gòu)洞察指導(dǎo)生成方向，通過(guò)經(jīng)驗(yàn)總結(jié)提升推理質(zhì)量，讓大模型在科學(xué)建模中逐步具備 “看數(shù)據(jù)、記教訓(xùn)、會(huì)修正” 的能力。

在多個(gè)跨學(xué)科的符號(hào)回歸任務(wù)中，DrSR 實(shí)現(xiàn)了對(duì)傳統(tǒng)方法與現(xiàn)有 LLM 基線的全方位超越，在準(zhǔn)確率、收斂速度、方程有效性和泛化能力等維度表現(xiàn)突出。作為一套通用性強(qiáng)、可解釋性好、建模效率高的新架構(gòu)，DrSR 為人工智能深度參與科學(xué)發(fā)現(xiàn)提供了堅(jiān)實(shí)技術(shù)支撐。

DrSR 已集成至一站式智能科研平臺(tái) ScienceOne，為科研工作者提供高效、可解釋的科學(xué)建模服務(wù)。值得強(qiáng)調(diào)的是，DrSR 并不依賴特定的大模型，具備良好的模型兼容性和可擴(kuò)展性。未來(lái)，研究團(tuán)隊(duì)將基于平臺(tái)自研的科學(xué)基礎(chǔ)大模型 S1-Base，進(jìn)一步增強(qiáng) DrSR 在科學(xué)建模中的推理能力與跨任務(wù)泛化能力。

局限與展望

盡管 DrSR 展現(xiàn)出優(yōu)異的建模性能與類科學(xué)家的推理能力，但仍存在若干值得改進(jìn)的方面：

• 輸出波動(dòng)：由于大模型生成本身具有隨機(jī)性，部分方程可能存在結(jié)構(gòu)冗余、表達(dá)復(fù)雜等問(wèn)題，仍需人工后處理或規(guī)則約束。
• 模態(tài)輸入有限：DrSR 目前主要面向結(jié)構(gòu)化數(shù)值數(shù)據(jù)，尚未支持圖像、圖表等更豐富的科學(xué)輸入形式，制約了其多模態(tài)建模能力。

這些問(wèn)題正是未來(lái)演進(jìn)的關(guān)鍵方向。研究團(tuán)隊(duì)計(jì)劃繼續(xù)擴(kuò)展 DrSR 至多模態(tài)科學(xué)建模場(chǎng)景，引入持續(xù)學(xué)習(xí)機(jī)制，提升策略泛化能力，逐步構(gòu)建一個(gè)具備長(zhǎng)期認(rèn)知積累、適應(yīng)科學(xué)復(fù)雜性的智能建模引擎。

讓人工智能不僅能 “擬合數(shù)據(jù)”，更能 “發(fā)掘自然規(guī)律”，這正是 AI4Science 走向深層科學(xué)智能的必由之路。