2023年科研領域「 科學ChatGPT」有哪些？LLM for Science有哪些探索......
2023 年，人工智能領域最具影響的莫過于 GPT-4、ChatGPT 了。
ChatGPT 入選《Nature》2023 年度十大人物（Nature’s 10），這是有史以來第一次「計算機程序」——首個非人類實體入選。《Nature》表示這一做法旨在認可模仿人類語言的 AI 系統在科學發展和進步中所發揮的作用。
同時，ChatGPT 在內的 AI 工具也被《Nature》評為 2024 年值得關注的科學事件之一。期待更先進的下一代 AI 模型 GPT-5、AlphaFold 新版本發布。
繼 ChatGPT 之后，全球各行各業大模型千帆競發。
ChatGPT 火出了圈，在科學研究領域，衍生出哪些「科研 ChatGPT」？ChatGPT 在科學研究中有哪些應用？
對于，ChatGPT 對科學領域的影響，科研界的研究人員雖然有不同的思考和探索。
有研究人員認為，ChatGPT 已經有了非常強大的能力，可以幫助我們進行計算材料科學。同時，ChatGPT 仍然有很大的改進空間。
有研究者認為，ChatGPT 的準確性是相對比較差的。大語言模型目前很難生成出超出人類認知邊界的內容，發現新的現象和建立新的理論。
ChatGPT 現在的狀態就像「Science GPT for Babies」。ChatGPT 出來的時間還很短，在 ChatGPT for Science 方面，大部分工作都是一些簡單的 GPT 直接應用，或者做一些微調。但這個階段很快就會過去。
對于「生化環材」等科學領域，機遇與挑戰并存，一方面是賦能「生化環材」，AI 助力更高效的科研，另一方面也存在人才的稀缺等挑戰。
今天，可能已經到了一個給大模型找應用對象、找落地場景的一個時代了？
另外，干濕實驗室閉環，AI +機器人實驗系統結合的「自動駕駛實驗室」是未來？
2023 年，ScienceAI 曾報道過很多 AI/LLM for Science 相關研究。2023 年已接近尾聲，在此，我們盤點了這一年大語言模型在基礎科學研究領域取得的進展。
那么，ChatGPT 對科學意味著什么？對科研帶來哪些改變？又催生出哪些科學基礎大模型？還有哪些值得期待的？
在此，ScienceAI 回顧了 2023 年 ChatGPT 浪潮下，在科學研究領域，全球發布的各大科學基礎模型，以及 ChatGPT 相關的科學研究......
溫馨提示：點擊推薦閱讀小標題可直接訪問相關文章
科研領域基礎大模型「 科學 ChatGPT」有哪些？
ChatGPT 火出了圈，在科學研究領域，也出來很多基礎科研領域的「科學 ChatGPT」。
有自然科學領域大模型、生命基礎大模型、生物醫藥領域基礎大模型、地球科學大語言模型、醫療大模型、單細胞基礎模型、天氣預報大模型......
今年年初，谷歌 Med-PaLM 的下一個迭代：Med-PaLM 2，在醫學考試問題上持續表現出「專家」醫生水平。7 月份，谷歌對醫學大模型進行了優化和升級。研究人員提出了新的基準 MultiMedQA，Med-PaLM 準確率與人類醫生相當。沒過多久，谷歌又提出了新的基準。Med-PaLM M 是 「通才生物醫療人工智能」 的首次演示！
Med-PaLM M 概述。
2023 年 3 月 23 日，百圖生科在北京發布生命科學大模型驅動的 AIGP —— AI Generated Protein 平臺。
AIGP 可以對各種各樣生命問題進行理解，有針對性地生成蛋白質或者對生成式的方式設計蛋白質。
AIGP 3 大功能模塊+12 項核心能力示意圖。
4 月 7 日，上海人工智能實驗室團隊發布全球中期天氣預報大模型「風烏」。
基于多模態和多任務深度學習方法構建，AI 大模型「風烏」首次實現在高分辨率上對核心大氣變量進行超過 10 天的有效預報，并在 80% 的評估指標上超越 DeepMind 發布的模型 GraphCas。此外，「風烏」僅需 30 秒即可生成未來 10 天全球高精度預報結果，在效率上大幅優于傳統模型。
「風烏」多模態網絡結構。不同的模態通過不同的編碼解碼器處理，多模態特征通過跨模態融合模塊進行融合。
4 月 19 日，清華大學智能產業研究院（AIR）團隊在生物醫藥領域大模型方向上的最新進展，開源了輕量級科研版基礎模型 BioMedGPT-1.6B。最終目標是生物醫藥領域基礎大模型。
5 月份，加拿大多倫多大學和彼得·蒙克心臟中心（Peter Munk Cardiac Centre）的研究人員，通過利用呈指數增長的單細胞測序數據，首次嘗試對超過 1000 萬個細胞進行生成預訓練來構建單細胞基礎模型。這是第一個基于單細胞生物學的大型語言模型。
隨后，7 月份，該研究團隊首次嘗試對超過 3300 萬個細胞進行生成預訓練來更新 scGPT。
scGPT 模型概述。
8 月份，UNSW AI Institute 和澳大利亞國家超算中心以及 GreenDynamics 推出了首個自然科學領域大模型 DARWIN ：超過GPT-4，能自我設計新材料。
自然科學任務中 DARWIN 與 GPT-4 的對比分析。可以發現，DARWIN在物理、化學、材料科學特殊任務中的表現要優于GPT-4。
9 月底，中國科學院多學科交叉研究團隊組成的「指南針聯盟」（Xcompass Consortium）在 AI 能賦能生命科學研究方面取得了重要突破，成功構建了世界首個跨物種生命基礎大模型——GeneCompass。
GeneCompass：首個跨物種生命基礎大模型。
9 月 21 日，清華系初創團隊水木分子發布了新一代對話式藥物研發助手 ChatDD (Drug Design) ，覆蓋藥物立項、臨床前研究、臨床試驗的各階段，作為制藥專家的得力 AI 助手，提升藥物研發效率。當天，團隊還發布了全球首個千億參數多模態生物醫藥對話大模型 ChatDD-FM 100B，在權威中文基礎模型 C-Eval 評測中達到全部醫學 4 項專業第一，也是在該四項任務上截至目前唯一平均分超過 90 分的模型。
聶再清教授發布藥物研發助手 ChatDD。
8 月份，上海交通大學的團隊推出一個 70 億參數的地球科學大語言模型 K2。K2 是基于初代 LLaMA-7B 模型，并使用了 100 萬余篇地球科學文獻以及和地球科學相關的維基百科的文章進行更進一步的預訓練。
地球科學領域大語言模型 K2 的構建流程圖。
9 月份，微軟亞洲研究院的研究團隊提出了 BioGPT，這是一種在大規模生物醫學文獻上進行預訓練的特定領域生成式 Transformer 語言模型。研究人員在六項生物醫學自然語言處理任務上評估了 BioGPT，并證明他們的模型在大多數任務上優于以前的模型。
大語言模型在科學研究中的應用（LLM for Science）
在 ChatGPT 等 LLM 的熱潮下，基礎科研領域的研究人員，也應用 LLM 進行了各種探索，包括在材料、化學、生物、藥物等領域。
前不久，卡內基梅隆大學的研究團隊提出了一種基于 GPT-4 的智能 Agent（稱為 Coscientist），用一個簡單的語言提示就可以執行整個實驗過程。能夠自主設計、規劃和執行復雜的科學實驗。
Coscientist 可以設計、編碼和執行多種反應，在濕實驗中使用其機器人設備制造包括撲熱息痛和阿司匹林在內的化合物。
Coscientist 系統架構。
香港理工大學和密歇根州立大學的研究人員在分子發現領域利用 LLM 的強大功能進行了探索嘗試。開發了一個基于檢索的提示范式 MolReGPT，使用提示來指導 LLM 在分子和分子文本描述之間進行翻譯。
MolReGPT 的總體流程框架。
MIT 團隊發布微調的大語言模型 MechGPT，可跨學科理解、多尺度建模。該方法包括使用通用 LLM 從原始來源中提取問答對，然后進行 LLM 微調。由此產生的 MechGPT LLM 基礎模型用于一系列計算實驗，從而可以探索其知識檢索、各種語言任務、假設生成以及跨不同領域連接知識的能力。
MechGPT LLM 工作流程示意圖。
11 月 13 日，微軟團隊在 arXiv 預印平臺發表題為《大型語言模型對科學發現的影響：使用 GPT-4 的初步研究》的文章。
微軟研究人員深入研究了 LLM 在科學發現/研究背景下的表現，重點關注最先進的語言模型 GPT-4。研究涵蓋多個科學領域，包括藥物發現、生物學、計算化學、材料設計和偏微分方程。
澳大利亞新南威爾士大學的 Bram Hoex AI4Science 研究組提出了一種全新的 NLP 任務，即結構化信息推斷（SII），成功利用 GPT-3 從科學文獻中獲取有價值的科學知識。該任務的成本極低，不需要提供專業性的標注,僅僅依靠綜述論文。過去需要數十位頂尖科學家才能完成的科學信息總結，現在通過 GPT-SII 的組合在幾秒鐘內即可完成。
GPT-3 在 SII 任務的工作流程。
洛桑聯邦理工學院（EPFL）和羅切斯特大學的研究人員開發了 ChemCrow，一種 LLM 化學智能體，旨在完成有機合成、藥物發現和材料設計等各種任務。
通過集成 13 種專家設計的工具，ChemCrow 增強了 LLM 在化學方面的表現，并出現了新的功能。該研究通過 LLM 和專家人工評估，證明了 ChemCrow 在自動化各種化學任務方面的有效性。
ChemCrow 的工具集。
荷蘭代爾夫特理工大學的研究人員提出了一種新穎的生成人工智能方法，用于自動識別流程圖中的錯誤并向用戶建議更正，即自動更正流程圖。
該模型在合成生成的流程圖的獨立測試數據集上實現了 80% 的 top-1 準確度和 84% 的 top-5 準確度。結果表明該模型可以學習自動更正合成流程圖。該流程圖自動校正將成為化學工程師的有用工具。
Transformer 模型的自動校正方法概述。
加州大學的研究團隊使用 AI 模型 ChatGPT 執行一項特別耗時的任務：搜索科學文獻。利用這些數據，他們構建了第二個工具，一個預測實驗結果的模型。
CCA 工作流程示意圖。
紐約大學和新南威爾士大學的研究團隊使用簡單的英語「對話」與 AI 模型制造了一個微處理芯片，這是一項史無前例的成就，可以加快芯片開發速度，并允許沒有專業技術技能的個人設計芯片。
會話式 LLM 能否用于迭代設計硬件？
AI 未來在科學領域將有哪些突破？
未來 AI 將在生命科學的哪些方面產生具體的突破？
在今年年初《理解未來》科學講座 AI for Science 系列 03 期線上討論中。
加拿大魁北克省人工智能研究中心（Mila）副教授唐建表示：「蛋白質藥物設計可能是一個重要方面。我們可以利用生成式模型，去生成全新的小分子或者大分子藥物。另一方面，比較大的突破可能是多組學的數據方面，將帶來革命性的變化。未來，我們有可能可以理解整個組織，可以建立一個組織方面的模型。在疾病的診斷方面，未來可能會有比較大的突破。」
北京大學理學部主任謝曉亮表示：「組學確實是一個值得去研究突破的方向。當然傳統領域也非常重要，因為機器學習，從圖像識別、人臉識別，實際上在醫學上的應用看，癌癥的成像，更多是直接的應用，其實還有更多的發展空間。」
北京科學智能研究院（AI for Science Institute, Beijing）院長鄂維南表示：「生成模型的發展空間很大。然后組學方面，現在我覺得關鍵的問題是怎么做是有效的。一個是我們要有效地把研究組織起來，要有不同的背景的人的參加。第二個是要找到一些新的 guiding principle。」
ChatGPT 能為計算材料科學做些什么？
3 月份，浙江大學材料科學與工程學院洪子健在《用于計算材料科學的 ChatGPT：一個 Perspective》的展望文章中認為：「總的來說，ChatGPT 已經有了非常強大的能力，可以幫助我們進行計算材料科學。同時，ChatGPT 仍然有很大的改進空間。」
此前，在與 MIT 賈皓鈞和段辰儒博士的對話中。在談及當前科研領域的大模型研究處于什么階段？未來會有咋樣的一個「科研 ChatGPT」時，兩位博士給出了不一樣的答案。
賈皓鈞博士認為，首先，ChatGPT 的準確性是相對比較差的。但科學問題非常注重精確。其次，大語言模型目前很難生成出超出人類認知邊界的內容，發現新的現象和建立新的理論。最后，做某一個垂直領域的大語言模型，能找到所有論文和公開數據庫，一般都是已經做出來的東西，只有成功的案例，這會導致訓練集有很大的偏差。
段辰儒博士認為，ChatGPT 現在的狀態就像「Science GPT for Babies」，ChatGPT 出來的時間還很短，大家的慣性思考仍然停留在怎么樣把 GPT 直接應用在原本的問題上。這導致目前在 Science 方面，大部分工作都是一些簡單的 GPT 直接應用，或者做一些微調。但這個階段很快就會過去。未來，值得探索的方向是以 GPT 為核心，串聯復雜的研發過程。以及在工業生產鏈條中，把它作為自然語言的接口，這樣就可以降低人們學習各種復雜的軟件、其他編程語言以及各種儀器之間的壁壘。
「自動駕駛實驗室」是未來
AI 和機器人實驗的結合是實現自動化材料探索、藥物開發的關鍵。
如果 AI 系統可以承擔一些通常由人類研究人員執行的信息任務，并且機器人系統可以執行所需的物理任務，那么材料探索實驗就可以自動進行。
日本國立材料研究所（NIMS）的研究人員將 AI 和機器人實驗系統結合起來，進行了開創性的概念驗證研究。研究人員開發了 Python 庫：NIMS-OS，旨在實現機器人實驗和 AI 的閉環，無需人工干預，實現自動化材料探索。
NIMS-OS 中的流程以及每個 Python 腳本的角色。
隨著化學家越來越多地使用自動化設備和預測合成算法，自主研究設備正在接近實現。
新藥的開發通常包括四個階段：設計、制造、測試和分析 (DMTA)。
將 DMTA 周期的每個步驟的生成算法、計算機輔助合成規劃 (CASP)、迭代更新的大型數據集以及自動化學合成、純化和表征集成到一個工作流程中，可以提高實驗效率，并最終實現自主化學發現。
目前，化學預測工具、逆合成規劃和性質預測的一般性質與現有小分子合成化學自動化平臺的專業性質之間存在差距。縮小這一差距可以促進自主化學發現平臺的發展，該平臺可以在不同的發現空間之間進行切換，而無需手動重新配置。
11 月份，Google DeepMind 和加州大學伯克利分校的一組研究人員在提出了一個「自動駕駛實驗室」——A-Lab ，旨在利用 AI 和機器人技術加速新材料的發現和合成。事后，雖然倫敦大學學院教授對「A-Lab」提出質疑。加州大學伯克利分校 Ceder Group 負責人 Gerbrand Ceder 回應稱，該論文的目標是「展示自主實驗室可以實現的目標」，而不是聲稱完美。仍需要更全面的分析方法。
科學本就是一場探索，有些研究可能并不能聲稱完美，但可以啟發我們進一步研究和探索的方向。
卡內基梅隆大學的研究團隊提出了一種基于 GPT-4 的智能 Agent：Coscientist，能夠自主設計、規劃和執行復雜的科學實驗。葡萄牙里斯本大學（University of Lisbon）藥物化學家 Tiago Rodrigues 表示，「可以預想到自動化硬件配備人工智能助手的未來。自動駕駛實驗室是未來，AI 工具來完全自動化 DMTA。」
在不久的將來，AI 系統給出化合物最佳合成路線，或者藥物靶點，或者材料的最佳配比，結合科學領域的自動駕駛實驗室，最終，AI 機器人可以在實驗室中執行各種復雜的科學實驗，例如制備化合物、新材料...
