自動化機器學習研究MLR-Copilot：利用大型語言模型進行研究加速
該論文的第一作者及指導作者均來自德克薩斯大學達拉斯分校，第一作者為博士生 Ruochen Li，指導作者為其博士生導師 Xinya Du，專注于自然語言處理、深度學習和大語言模型的研究。Xinya Du 的工作發表在包括 ACL、EMNLP 和 ICLR 在內的頂級自然語言處理和機器學習會議上，其問題生成工作入選最具影響力的 ACL 論文。他被評為數據科學領域的閃亮新星，并獲得了 2024 年的 NSF CAREER 獎項和 WAIC 云帆獎。
科學技術的快速發展過程中，機器學習研究作為創新的核心驅動力，面臨著實驗過程復雜、耗時且易出錯，研究進展緩慢以及對專門知識需求高的挑戰。近年來，LLM 在生成文本和代碼方面展現出了強大的能力，為科學研究帶來了前所未有的可能性。然而，如何系統化地利用這些模型來加速機器學習研究仍然是一個有待解決的問題。現有的研究往往只關注某一階段，如生成研究假設或執行預定義的實驗，未能涵蓋整個研究過程，也未能充分解決當前研究中的具體問題。
為此，我們提出了 MLR-Copilot 自動化機器學習研究的研究平臺 / 演示工具 (Demonstration)，利用大型語言模型（LLM）作為研究人員的 “副駕駛”，分析研究論文、提取研究問題，以提出新的研究思路和實驗計劃，并自動化執行這些實驗以獲得結果。MLR-Copilot 包括三個階段：研究思路生成、實驗實現和實驗執行。該框架在多項機器學習任務中有效促進了研究進展。
- 源代碼鏈接：https://github.com/du-nlp-lab/MLR-Copilot
- 論文鏈接：https://arxiv.org/pdf/2408.14033
- Demo 鏈接：https://huggingface.co/spaces/du-lab/MLR-Copilot
方法介紹
MLR-Copilot 框架的提出旨在通過 LLM 代理自動生成和執行研究思路驗證，實現科研過程的自動化。該框架從單篇科研論文出發，模仿科研人員的研究思路，收集任務定義并獲取當前研究工作的最前沿進展，以提出新的研究思路并自動化驗證。
該框架首先從輸入的研究論文中提取任務定義和研究空白，然后通過 IdeaAgent 生成研究思路（包括研究假設和實驗計劃），接著由 ExperimentAgent 實現并執行這些實驗。在實驗過程中，框架會持續觀察和記錄結果，必要時進行調整和優化，最終輸出經過驗證的研究成果。這種自動化流程顯著提升了研究效率，確保了實驗的可執行性和結果的可靠性。
在 MLR-Copilot 框架中，整個科研流程分為三個階段：
1. 研究思路生成：通過 IdeaAgent 從現有研究論文中生成假設和實驗計劃。系統通過分析和提取文獻中的關鍵信息，提取任務定義并識別研究問題，并根據現有研究中的趨勢和研究空白，生成新的研究假設和實驗計劃，形成初步的研究思路。
2. 實驗實現：ExperimentAgent 將實驗計劃轉化為可執行的實驗，根據檢索的原型代碼，并在必要時從 Hugging Face 等平臺獲取模型和數據，生成并集成實驗實現方案及搭建實驗環境。
3. 實驗執行：ExperimentAgent 管理實驗的執行過程，在自動化的基礎上結合人類反饋，逐步優化實驗實現并迭代調試，并最終輸出經過驗證的研究成果，提高實驗的成功率和研究結果的可靠性。
實驗與討論
為了評估 MLR-Copilot 框架的性能，論文作者設計了一系列實驗，涵蓋了五個不同領域的機器學習任務。這些任務包括了語義文本關聯、情感分析、特征分類以及圖像分類等，代表了機器學習研究中的廣泛應用場景，其數據集包括：
- SemRel：一個包含多語言語義文本關聯任務的數據集，使用 Pearson 相關系數作為評估標準。
- IMDB 數據集：用于情感分析的電影評論數據集。
- Spaceship-Titanic 數據集：用于分類任務的數據集，預測乘客生存情況。
- feedback (ELLIPSE) 數據集：用于基于機器學習的課程反饋預測任務。
- Identify-Contrails 數據集：用于圖像分類任務，識別衛星圖像中的飛行軌跡。
為了更好的評估自動化機器學習研究的的性能，論文作者為 MLR-Copilot 框架量身定制了以下幾個評估維度：
- 研究思路的有效性：對研究思路中的假設和實驗設計分別針對不同標準進行進行評估。此評估包含人工評估和 LLM 評分員自動評估，并與僅使用核心論文作為提示的基準線方法比較。
- 實驗實現與執行的成功率：通過多次實驗運行的成功率以及對任務性能的平均提升率來評估實驗階段的效果。
實驗結果表明：
- 在研究思路生成階段，MLR-Copilot 生成的假設在清晰度、有效性、嚴謹性、創新性和普遍性方面均優于基線模型。主觀評測顯示出 MLR-Copilot 生成的實驗假設和設計更符合人類研究者的預期，較低的相似度也間接體現其創新性。
- 在實驗實現和執行階段，MLR-Copilot 能夠顯著提升任務性能，并在多次試驗中保持較高的成功率。
- 通過案例研究，展示了 MLR-Copilot 在情感分析任務中的實際應用。系統通過對實驗腳本的檢查、執行、模型檢索以及結果分析，幫助研究人員系統化地生成假設并執行實驗。
總結與展望
MLR-Copilot 框架展示了通過 LLM 自動化機器學習研究的潛力。它不僅能生成新的研究思路，還能夠實現實驗的自動化執行，并通過人機交互提高實驗的成功率和研究成果的可靠性。未來的研究可以進一步擴展應用場景，并探索更多復雜的研究任務。
更多研究細節，可參考原論文。
