人工智能以及自主實(shí)驗(yàn)?zāi)壳爸饕蒔ython等語(yǔ)言編寫(xiě)，但并非所有實(shí)驗(yàn)科學(xué)工作者都擅長(zhǎng)這類編程語(yǔ)言，在真實(shí)世界實(shí)驗(yàn)中的影響力還是比較有限。

不過(guò)，基于OpenAI 最近發(fā)布的ChatGPT API函數(shù)調(diào)用功能[1]，現(xiàn)有的技術(shù)已經(jīng)足夠支撐打造一個(gè)曾經(jīng)只能在鋼鐵俠電影中看到的賈維斯智能助手。

圖片

近日，MIT李巨教授組開(kāi)發(fā)了一個(gè)實(shí)驗(yàn)科學(xué)家的人工智能助手CRESt（Copilot for Real-world Experimental Scientist），其后端是用ChatGPT作為核心串聯(lián)起：

1. 真實(shí)世界的機(jī)械臂進(jìn)行自動(dòng)化實(shí)驗(yàn)

2. 本地或網(wǎng)上專業(yè)的材料數(shù)據(jù)庫(kù)

3. 優(yōu)化材料配方的主動(dòng)學(xué)習(xí)算法

視頻地址：https://youtu.be/POPPVtGueb0

目前CRESt的前端已經(jīng)實(shí)現(xiàn)了voice-in voice-out，AI生成語(yǔ)音，以及多平臺(tái)無(wú)縫切換。

有了CRESt之后，即使沒(méi)有任何代碼經(jīng)驗(yàn)，科研工作者都能通過(guò)與其口頭對(duì)話來(lái)利用自動(dòng)化實(shí)驗(yàn)平臺(tái)幫自己做實(shí)驗(yàn)。

圖片

論文鏈接：https://doi.org/10.26434/chemrxiv-2023-tnz1x 

項(xiàng)目介紹

「CRESt 操作系統(tǒng)」主要由四部分組成：用戶界面，ChatGPT后端，主動(dòng)學(xué)習(xí)和末端執(zhí)行器。

其中用戶界面基于一個(gè)支持語(yǔ)音轉(zhuǎn)文本和文本轉(zhuǎn)語(yǔ)音交互的Github項(xiàng)目chatgpt-voice[2]。其便捷的網(wǎng)絡(luò)框架使得用戶可以在離開(kāi)實(shí)驗(yàn)室后在他們的手機(jī)上無(wú)縫地繼續(xù)對(duì)話。

并且后端是獨(dú)立運(yùn)行的，即使前端改變也不會(huì)受到影響。

此外，作者還將可以實(shí)時(shí)生成非常逼真的人聲的ElevenLabs AI語(yǔ)音集成到了前端中[3]

從前端收到的文本消息隨后將被傳輸?shù)浇⒃贑allingGPT基礎(chǔ)之上的ChatGPT后端。

CallingGPT是另一個(gè)Github項(xiàng)目，其能將Google docstring樣式記錄的Python函數(shù)轉(zhuǎn)換成ChatGPT API可以識(shí)別的JSON格式，以供在ChatGPT認(rèn)為需要時(shí)調(diào)用。

此外，它在ChatGPT和本地Python函數(shù)庫(kù)之間閉合了一個(gè)反饋回路：ChatGPT所建議調(diào)用的函數(shù)將立即在本地執(zhí)行，并且其返回值將被發(fā)送回ChatGPT。

除此之外，作者還在CRESt中嵌入了主動(dòng)學(xué)習(xí)算法，得益于在小數(shù)據(jù)集上不錯(cuò)的性能，主動(dòng)學(xué)習(xí)被認(rèn)為是最適合實(shí)驗(yàn)科學(xué)的機(jī)器學(xué)習(xí)算法之一[5-7]。

在涉及真實(shí)物理世界實(shí)驗(yàn)的機(jī)器學(xué)習(xí)項(xiàng)目中，數(shù)據(jù)采集往往是最大的挑戰(zhàn)。

與虛擬世界不同，真實(shí)物理世界中的每一個(gè)數(shù)據(jù)點(diǎn)可能都需要花費(fèi)大量的時(shí)間和金錢。

一般來(lái)說(shuō)，1000個(gè)點(diǎn)的數(shù)據(jù)集就已經(jīng)是相當(dāng)不錯(cuò)的了，在這樣的條件下，如何對(duì)設(shè)計(jì)空間進(jìn)行高效取樣變得至關(guān)重要。

主動(dòng)學(xué)習(xí)的主要功能是交互式地建議在下一批實(shí)驗(yàn)中測(cè)試的參數(shù)組合，比如在視頻中展示的合金配方推薦。

在CRESt中內(nèi)嵌的是由Meta團(tuán)隊(duì)開(kāi)發(fā)的基于BoTorch的Ax平臺(tái)[8, 9]，Ax有著優(yōu)秀的SQL存儲(chǔ)功能：即使GPT后端重置，也可以通過(guò)調(diào)取數(shù)據(jù)庫(kù)中存儲(chǔ)的記錄來(lái)繼續(xù)之前的主動(dòng)學(xué)習(xí)。

末端執(zhí)行器是一系列通過(guò)HTTP請(qǐng)求調(diào)用的子程序。其中一些可能涉及信息檢索任務(wù)（本地或公共數(shù)據(jù)庫(kù)查詢，如Materials Project[10]），而其他一些可能會(huì)對(duì)物理世界產(chǎn)生真實(shí)的影響，就像在視頻中展示的那樣（液體處理機(jī)器人、激光切割機(jī)、泵、氣閥、機(jī)械臂等），主要是用于做實(shí)驗(yàn)的一些自動(dòng)化的硬件。

這些設(shè)備的自動(dòng)化主要由PyAutoGUI實(shí)現(xiàn)，一個(gè)可以模擬人類鼠標(biāo)和鍵盤(pán)動(dòng)作的Python庫(kù)[11]。

然而，作者預(yù)期這個(gè)冗余步驟最終將失去其必要性，因?yàn)樵诓痪玫膶?lái)大多數(shù)實(shí)驗(yàn)室設(shè)備都應(yīng)該會(huì)在人類交互界面之外提供一個(gè)專用的AI通信接口。

展望

大語(yǔ)言模型可以為科學(xué)和工程領(lǐng)域帶來(lái)什么？

這是作者團(tuán)隊(duì)自ChatGPT問(wèn)世以來(lái)一直在思考的問(wèn)題。毫無(wú)疑問(wèn)，大語(yǔ)言模型已經(jīng)展示了其作為文獻(xiàn)整理員的超凡潛力，我們需要做的只是在預(yù)訓(xùn)練過(guò)程中向其提供更多的文獻(xiàn)全文。

除此之外還有哪些可能性呢？除了我們以CRESt形式開(kāi)發(fā)的實(shí)驗(yàn)員助手的角色，我們?cè)O(shè)想大語(yǔ)言模型至少還會(huì)在以下三個(gè)維度發(fā)揮革命性的作用：

儀器技術(shù)指導(dǎo)員

目前，研究人員必須理解他們希望利用的任何技術(shù)的理論基礎(chǔ)，以及個(gè)別儀器的具體操作（有時(shí)是基于經(jīng)驗(yàn)的“技巧”、“手藝”），而這些操作可能會(huì)因制造商而異。

后者往往意味著不可忽視的時(shí)間成本，例如一個(gè)公共儀器的一系列培訓(xùn)課程，或者閱讀一個(gè)組內(nèi)儀器的200頁(yè)說(shuō)明書(shū)，以及上百小時(shí)的實(shí)操練習(xí)。

但我們冷靜下來(lái)思考一下，這些步驟真的是必要的嗎？

我們預(yù)見(jiàn)，在不久的將來(lái)，研究人員只需要清楚地用自然語(yǔ)言表達(dá)他們的需求，大語(yǔ)言模型就能夠?qū)⑦@些需求翻譯成最佳的參數(shù)設(shè)置（其實(shí)這就是現(xiàn)在一些儀器專家正在做的事情，了解客戶的需求，并轉(zhuǎn)化成儀器參數(shù)設(shè)定/操作）。

當(dāng)必要時(shí)，大語(yǔ)言模型也可以將說(shuō)明書(shū)中的對(duì)應(yīng)部分提供給用戶以便用戶了解詳情。

從技術(shù)上來(lái)說(shuō)，儀器制造商只需要適當(dāng)?shù)匚⒄{(diào)一個(gè)大語(yǔ)言基礎(chǔ)模型，讓其學(xué)習(xí)公司內(nèi)高級(jí)技術(shù)員所掌握的儀器操作經(jīng)驗(yàn)即可，這件事從今天就能開(kāi)始做。

流水線診斷師

結(jié)合了多傳感器的機(jī)器人或無(wú)人機(jī)后，大語(yǔ)言模型可以幫助確定實(shí)驗(yàn)可重復(fù)性不佳的根本原因。

在未來(lái)，最理想的實(shí)驗(yàn)范式是記錄每個(gè)樣品整個(gè)生命周期中的所有元數(shù)據(jù)。當(dāng)出現(xiàn)無(wú)法解釋的現(xiàn)象時(shí)，所有相關(guān)的日志數(shù)據(jù)都將被輸入到多模態(tài)大語(yǔ)言模型進(jìn)行分析。

利用其優(yōu)秀的假說(shuō)生成能力，大語(yǔ)言模型可以提出一系列潛在的原因，以供人類專家進(jìn)一步調(diào)查他們認(rèn)為最有可能的幾個(gè)假說(shuō)。

這種方法也可以應(yīng)用于工業(yè)流水線——如果注意到生產(chǎn)產(chǎn)量/良品率大幅下降，大語(yǔ)言模型可以通過(guò)對(duì)比流水線歷史記錄來(lái)識(shí)別「罪魁禍?zhǔn)住埂?/span>

只有需要復(fù)雜的現(xiàn)實(shí)世界操作時(shí)，人類工程師才需要介入，除此以外大語(yǔ)言模型可以直接對(duì)大概率出了問(wèn)題的子環(huán)節(jié)進(jìn)行參數(shù)微調(diào)。

實(shí)現(xiàn)這個(gè)角色的前提條件是大語(yǔ)言模型可以處理大量的圖像（視頻），且其性能取決于多模態(tài)信息（樣品元數(shù)據(jù)，視覺(jué)信息，聲音信息等）的對(duì)齊程度。

機(jī)理猜想者

我們預(yù)期大語(yǔ)言模型十分擅長(zhǎng)將已建立的科學(xué)原理用于解釋新的實(shí)驗(yàn)現(xiàn)象。科學(xué)機(jī)理探索階段的很大一部分工作都是模式匹配型工作（例如，從光譜中提取微小的特征并與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)進(jìn)行比較），這些都在大語(yǔ)言模型的能力范圍內(nèi)。

在不久的將來(lái)，這個(gè)工作流將會(huì)變的非常簡(jiǎn)單直接，我們只需要問(wèn)大語(yǔ)言模型：我們制備并測(cè)試了一個(gè)樣品，它的成分是xxx，處理工藝和參數(shù)是xxx，其性能是xxx。

這是所有的表征結(jié)果（掃描電子顯微鏡，X射線衍射等），請(qǐng)給出10個(gè)理由詳細(xì)表述為什么這個(gè)樣品的性能這么好。

人類研究者可以從大語(yǔ)言模型生成的一系列敘述中篩選出最合理的解釋，并以此為基礎(chǔ)完善整個(gè)機(jī)理解釋。

然而，這個(gè)任務(wù)是所有我們預(yù)想的大語(yǔ)言模型的角色中最具有挑戰(zhàn)性的，其實(shí)現(xiàn)的前提條件包括：

1. 圖像輸入和與科學(xué)術(shù)語(yǔ)的對(duì)齊，

2. 從專業(yè)物理科學(xué)數(shù)據(jù)庫(kù)中檢索特定信息的能力，

3. 大語(yǔ)言模型在科學(xué)期刊正文和附錄的預(yù)訓(xùn)練，

4. 大語(yǔ)言模型有能力調(diào)用一系列前沿的子領(lǐng)域的機(jī)器學(xué)習(xí)模型或是仿真模型。

總結(jié)

CRESt只是大語(yǔ)言模型協(xié)助科學(xué)家的一個(gè)起點(diǎn)，我們相信大語(yǔ)言模型的真正潛力在于其假說(shuō)生成能力[12]。

人類擁有相對(duì)有限的知識(shí)庫(kù)，但出色的因果推理能力使得我們能夠給出雖然數(shù)量不多但一針見(jiàn)血的假說(shuō)。

相比之下，人工智能有著廣泛的知識(shí)庫(kù)以及從大數(shù)據(jù)中提取統(tǒng)計(jì)信息的能力[13]，因此它們可以在短時(shí)間內(nèi)生成大量的，沒(méi)那么精準(zhǔn)的假說(shuō)。

因此，這不是一個(gè)人工智能與人類競(jìng)爭(zhēng)的故事，而是人工智能補(bǔ)足人類短板的故事。

在「AI suggests, humans select」的合作模式下，雙方都能發(fā)揮出各自的優(yōu)勢(shì)，「各盡其才」。