AI4Science還是偽命題嗎?兩年后workshop組織者重新審視AI4Science
2021年,一群熱血青年提出了要把AI4Science(AI for Science)帶入機器學習頂會NeurIPS。
什么?AI4Science是一門學科嗎?是不是靠著AI蹭熱點?各種質疑聲接踵而來。
這些質疑和不解也反映在了第一屆AI4Science workshop的較為平淡的群眾參與度上。
時過境遷,兩年的時間見證了DeepMind基于AlphaFold建立Isomorphic Lab,微軟建立AI4Science Initiative, 以及國內深勢科技,AISI等大力推動AI4Science建設的企業,學術機構的不斷發展壯大。
2023年8月,Al4Science workshop組織者們還在《自然》雜志上發表了一篇綜述文章,總結了過去幾年里Al4Science在科學發現流程上的進展,并為未來指了指路。
去年12月NeurIPS,AI4Science workshop收到超過200篇投稿和上千人次的參與,儼然成為了NeurIPS最大的workshop之一。看到這些數字,似乎已經沒有人再說AI4Science是偽命題了。
近日,Al4Science workshop組織者們發表一篇博客。提到了為什么要強調AI4Science?總結了AI4Science在2023年取得的進展,涵蓋了從化學、生物、計算機科學/數學科學、物理、地球科學、神經科學到醫學的各個領域。最后,組織者們送上了他們對AI4Science在2024年發展的期望。
Blog 地址:https://medium.com/@AI_for_Science/ai-for-science-in-2023-a-community-primer-d2c2db37e9a7
為什么要強調AI4Science?
隨著AI在多個學科各放異彩,另一個問題接踵而至,為什么要強調AI4Science,大家分別做AI在子領域的應用,比如AI4Drug和AI4Materials,不就好了嗎?組織者們指出了這樣幾個原因。
- 跨領域的協同作用:AI4Science的誕生,不僅促進了AI和各種科學學科之間的協同關系,還在AI和科學的不同子領域間搭建了橋梁。這種跨學科的互動,就像給科學研究加了一把火,不斷在不同領域催生交融的解決方案。
- 知識的層級組織:就像學科的不同分類一樣,AI4Science代表了一個更高階的領域,它包含并超越了專門的子領域。AI4Science提供了一個宏觀視角,將AI在特定科學領域的更專注應用連接起來,并賦予它們更廣泛的背景和意義。
- 解決社群大挑戰:AI4Science獨具慧眼,專門解決廣泛的、超越單一學科的社群大規模挑戰。通過集合多元化的觀點和專長,我們的社群不僅能對付科學難題,還能面對諸如多樣性、資源、道德和教育等社群系統性挑戰
- 獨特的協作機會: AI4Science匯集了面臨共同挑戰和方法論的各領域專家,并且培養年輕一代共享知識,更有效地解決復雜問題的習慣。
圖片
AI4Science在2023年到底有什么進展呢?
說了這么多,AI4Science在2023年到底有什么進展呢?組織者們先是給出了一些概括性的總結:
- 大型語言模型(LLMs)正影響著所有領域。它們改變了人類與機器的互動方式,并展示了在各個領域的影響力,從化學和生物學的實驗規劃,到計算機科學中尋找更好的算法,乃至在醫學中扮演通才型AI代理。說白了,LLMs就像萬金油,無所不能,不僅幫你搞對話小助手,還能幫你做實驗。
- 自動化實驗室用于數據生成和實驗。過去一年里,將AI集成到實驗規劃中,并使用機器人進行自動化執行,這一大進步架起了實驗合成和驗證之間的橋梁。雖然這些舉措還處于發展的初期階段,但它們展示了不錯的潛力,不僅能測試AI規劃算法,還能顯著提高數據生成的質量和數量。這反過來加速了實驗驗證,有助于完成AI發現的閉環。
- 生成模型用于設計。不只有LLM可以幫助我們生成,擴散模型也可以!擴散模型在多個領域,如設計新功能蛋白、捕獲化學反應中的過渡結構、從大腦活動重構圖像,和量子色動力學中采樣場配置方面均取得了成功。
- 發展原子大模型。通用的預訓練得到大模型,隨后在下游任務中進行微調。這種做法在科學領域越來越流行。去年這一方面的努力,尤其是針對原子力場和生物系統的“基礎大模型”,逐漸多了起來。
- 大型科技公司正在推動AI4Science的邊界。微軟、谷歌DeepMind、Meta、英偉達這樣的大型科技公司對AI4Science投入明顯增加。他們卓越的計算能力和AI科學家的儲備在推動利用AI的各個科學領域的進步方面越來越有影響力。
- 開源閉源之爭。遺憾的是,近一年越來越多的AI4Science工作選擇不開源,連學術界都不例外。這呼吁我們重新探討重點為可重復性的出版標準。這種討論對于指導科學界負責任且有效的共享至關重要。畢竟AI相關的領域就是憑借著開源才一直高速發展的。
回顧2023一年的AI4Science,組織者們將七大學科分了分類,其中物理,化學材料,生物和醫藥的發展日益成熟,慢慢與實驗結合并且逐漸走向商業化。
物理
處理完首張黑洞照片后,AI又幫助人們識別了高能中微子信號。
IceCube團隊使用機器學習模型分析來自IceCube Neutrino Observatory的數據,區分信號和背景數據,這使得高能中微子從銀河平面的發射被以前所未有的精確度檢測到。研究使用卷積神經網絡進行事件選擇,其高速推理(幾毫秒)能力使得研究者可以采取更為復雜的事件篩選策略。
通過十年的觀測數據,機器學習模型不斷完善,學會了在宇宙噪聲的背景下精準地鎖定中微子的特征。這些發現揭示了具有4.5西格瑪重要性的中微子發射,強調了銀河系內潛在的來源。
在這一背景下,機器學習的創新使用不僅增強了天文臺的檢測能力,而且為未來的天體物理探索提供了模式。
化學與材料
AI在化學材料的各個領域大放異彩。在自動化化學和材料合成領域,如Koscher等人的研究以及Szymanski等人的A-Lab項目展示了人工智能與物理世界之間的橋梁。這些項目通過自動化實驗室和基于云的方法,發現了新的染料分子和無機材料。
在大型語言模型的應用方面,如Coscientist和ChemCrow項目利用LLM規劃實驗,實現了與互聯網、模型和實驗設備的交互,展示了LLM在自動化任務和復雜實驗室操作中的巨大潛力。
此外,DeepMind的GNoME團隊通過機器學習的方法預測了大量的材料候選者,展示了深度學習在材料科學中的應用。
最后,像MIT和Cornell的研究團隊開發的OA-ReactDiff擴散模型,在化學反應的過渡狀態搜索方面取得了重要進展,提供了一種比傳統方法更快更有效的替代方案,并能探索未預期的反應路徑,助力新催化劑的發現和復雜反應的研究。
生物
領域聚焦到理解蛋白質與其他生物小分子和大分子的相互作用。
其中,RosettaFold-AA和AlphaFold-latest作為兩個杰出的代表,不僅僅局限于蛋白質結構預測,還擴展到預測蛋白質與小分子、蛋白質、核酸等生物分子的相互作用。
除了對靜態的蛋白結構的研究,大家的也將目光聚焦在了研究蛋白構象空間,比如AF-Cluster通過改變多序列比對來控制AlphaFold輸出不同構象。
相對于對蛋白質結構和功能的理解,蛋白質設計專注于設計新的蛋白質或修改現有蛋白質以實現特定的結構和功能。
在幾何深度學習和生成式AI領域(特別是擴散模型)取得進展的基礎上,RFDiffusion和Chroma提出了包含空間對稱性(旋轉、平移和反射)的擴散模型,用于生成新蛋白質。
除了從頭設計外,他們還提出了靈活設計和優化蛋白質的方法,比如基于結合靶標,功能,結構的條件,以及基于模型提供指導的結構或功能優化。
醫藥
AI在醫藥學方面的應用已經充分結合實際應用場景并趨于工程化。
Moor等人提出了一種通用醫學人工智能(GMAI),該系統能夠解釋多模態數據,如影像學、電子健康記錄、實驗室結果、基因組學、圖形或醫學文本。GMAI以自監督方式在大規模、多樣化的多模態數據上進行預訓練,并能夠執行多樣化的醫學應用。
Singhal等人策劃了一個在醫學領域的大規模問答數據集,并提出了基于PaLM(Google的大型語言模型)的醫學領域大型語言模型,也被稱為Med-PaLM, 并首次作為AI模型通過美國醫學執業考試。
幾個月后,同一組作者提出了Med-PaLM的第二個版本(Med-PaLM 2)。如圖所示,Med-PaLM 2取得了顯著的里程碑(86.5%(Med-PaLM2),67.2%(Med-PaLM)),成為第一個達到與人類專家相媲美的水平,能夠回答USMLE風格問題。醫生們注意到該模型在回答消費者醫學問題的長篇答案方面有顯著的改進。
同時,AI4Science也在一些領域,比如數學理論,地球科學和神經科學開辟了新的賽道并在高速發展。
數學理論
今年,LLM開始發現新的理論和算法。DeepMind的一項最新研究(FunSearch)展示了LLM用于發現解決復雜組合問題的新程序的潛力。FunSearch的主要目標是找到更好的程序來解決難題。
具體來說,它采用了一種在預訓練LLM和評估器之間的迭代和進化過程。在這個過程中,進化算法從程序池中選擇最佳程序候選,輸入到LLM中進行改進。然后,修訂后的程序被評估、打分,并重新放回池中。在這個進化過程中,提出了更好和新的程序。他們驗證了FunSearch在兩個組合優化問題——cap set和在線裝箱問題上的有效性,FunSearch找到了比已知最佳解決方案更好的解決方案。
地球科學
AI技術實現了在天氣預測這一傳統上極具挑戰性的任務突破性的進展。
項目如ClimaX、GraphCast、Pangu-Weather、MetNet-3和PreDiff利用了數十年的歷史天氣數據和數值物理模擬結果,推動了在短期和中期天氣預測方面的高分辨率時空預測技術。這些成就在很大程度上依賴于高性能計算資源和對大量數據的復雜處理。
特別值得一提的是,GraphCast通過其獨特的“編碼器-處理器-解碼器”結構的圖形神經網絡,專門處理空間結構化的天氣數據。而ClimaX則以其全球和區域范圍的模型及通用基礎模型而聞名,這些模型可以根據任意組合的輸入變量預測任意時間點的天氣情況。
除了天氣預測,人工智能還在數據有限的地球科學領域取得了進展,例如地下結構、生物學和火山學。在這些領域,輕量級的人工智能代理模型正在替代傳統的、計算密集型的數值物理模擬。這些模型不僅加快了預測速度,還提高了決策過程的效率。
神經科學
AI從腦波中重建圖像,為人類提供了深入了解大腦中的世界模型的機會。盡管這一任務一直極具挑戰性,生成模型的創新(尤其是隱空間擴散模型)使得這一任務變得可能。
如果將大腦活動數據解釋為“文本”,那么我們就能夠生成基于腦活動數據的圖像。令人驚訝的是,這一任務無需訓練復雜的神經網絡,只需使用預訓練的穩定擴散模型,僅訓練從腦數據到潛在向量和上下文向量的線性映射。
此外,AI還被用于理解神經活動和行為的對應。一種稱作CEBRA的方法能夠應用于基于假設和探索性的分析,并展示了表示在多次實驗、動物和模態之間對神經活動解釋的一致性。這一方法最小程度地利用神經編碼中的時間結構,大大提升了結果的魯棒性,有希望成為神經科學研究中的有力工具。
未來的展望和挑戰
最后,經歷了2023年的瘋狂,組織者們送上了他們對AI4Science在2024年發展的期望:
- 開源是加速科學發現的關鍵。開源強調可復制和降低各個領域之間的溝通壁壘。這在AI4Science這樣的大融合的方向更為重要。2023年,我們注意到社區趨向于更加封閉。因此我們在邁向未來的路上,倡導AI4Science社群擁抱開源科學的理念。
- 某些AI4Science領域正從概念驗證階段轉向實際應用,把我們的理論知識變成科學發現中的可靠工具。這是一個大挑戰,不僅需要理念上的,還需要工程和教育上的努力以及資源的支持。相比于LLMs大眾每天都可以看見的進展,由于科學偏“toB”的屬性,AI4Science的商業化進程會緩慢很多。不過,這是深化和拓寬科學發現的必要步驟。人類對于科學的探索和轉化本身就是一個沒有終點的長跑,需要耐力和堅持!
- 想要解決科學領域的宏大挑戰,需要跨多個領域的知識,而構建一個協作環境對于推進人工智能和科學研究至關重要。這也是我們AI4Science組織者希望給大家打造的環境。
- 隨著社群的不斷擴大,AI4Science工具被濫用的風險也在增長。在開發新的算法進步時,大家應該牢記倫理和安全問題。
本文由部分AI4Science workshop組織者聯合撰寫:程立雪,杜沅豈,段辰儒,Ada Fang, 符天凡,高文昊,黃柯鑫,劉子鳴,羅迪,王莉晶 (按姓名拼音排序)。