面向軟件工程的AI智能體最新進展,復旦、南洋理工、UIUC聯合發布全面綜述
本篇綜述的作者包括來自復旦大學 CodeWisdom 團隊的研究生劉俊偉、王愷欣、陳逸軒和彭鑫教授、婁一翎青年副研究員,以及南洋理工大學的陳震鵬研究員和伊利諾伊大學厄巴納 - 香檳分校(UIUC)的張令明教授。
自從首個全自動 AI 軟件工程師 Devin 問世以來,面向軟件工程的 AI 智能體廣受關注、層出不窮,例如最近的 Genie、Replit、Cursor 等,它們正在對傳統軟件開發的范式產生著深刻影響。基于大模型的 AI 智能體(LLM-based Agents,后簡稱 Agent)通過增強推理、記憶、規劃以及使用拓展工具的能力,極大地提升了大模型解決復雜軟件開發維護任務的能力,為進一步實現自動化、智能化的軟件開發提供了新思路。AI 智能體正在成為軟件工程領域的研究新熱潮。
復旦大學 CodeWisdom 團隊聯合南洋理工大學、UIUC 共同對 106 篇相關文獻進行梳理和解讀,分別從軟件工程和 Agent 兩個視角全面展現了 Agent 在軟件工程領域的最新進展。從軟件工程視角,該綜述梳理了 Agent 在軟件開發全周期各個任務上的應用現狀;從 Agent 視角,該綜述展示了目前應用于軟件工程領域的 Agent 的基礎架構、多智能體設計模式以及人機協同模式。最后,該綜述展望了 Agent 在軟件工程領域的研究機會與發展方向。
- 論文地址:https://arxiv.org/pdf/2409.02977
- Agent4SE 論文列表:https://github.com/FudanSELab/Agent4SE-Paper-List
一、Agent 覆蓋軟件開發維護全流程
如圖 1 所示,目前 Agent 已基本覆蓋了軟件開發和維護的全流程,不僅可以解決某個特定的軟件開發環節(例如靜態檢查和測試),而且在應對更復雜的端到端的軟件開發和維護任務上也表現出了巨大潛力,包括:
- 端到端軟件開發(End-to-end Software Development):Agent 通過執行多種開發子任務,包括需求工程、設計、代碼生成和質量保證(包括靜態檢查和測試等),完成從需求到最終程序的全流程開發。
- 端到端軟件維護(End-to-end Software Maintenance):Agent 支持多種維護活動,如故障定位、修復和特性維護,完成從問題報告到補丁生成的端到端維護。
圖 1: 軟件開發與維護任務流程上的 Agent 分布
端到端軟件開發
目前面向端到端軟件開發的 Agent 主要模擬真實的軟件開發團隊,設計不同的軟件開發角色,互相協作共同完成軟件開發任務。
表 1: 面向端到端軟件開發任務的 Agent 文獻列表
其中,有些 Agent 在工作流設計上主要遵循了現實軟件開發中常見的軟件過程模型,包括瀑布模型和敏捷開發(測試驅動開發和 Scrum)。
圖 2: 面向端到端軟件開發的 Agent 中采用的過程模型
端到端軟件維護
目前,面向端到端軟件維護任務的 Agent 遵循著 “缺陷定位 - 補丁生成 - 補丁驗證” 的基本工作流程;在此基礎上,不同 Agent 選擇性地引入了預處理、故障重現、任務分解、補丁排名等步驟。
表 2: 面向端到端軟件維護任務的 Agent 文獻列表
圖 3: 面向端到端軟件維護任務的 Agent 中常用的工作流
這類 Agent 往往以 SWE-bench 及其衍生的數據集作為評測基準。
圖 4: 端到端維護軟件任務的數據集演化示意圖
特定的軟件開發 / 維護任務
除了端到端的軟件開發和維護任務,目前 Agent 在面向單個特定的軟件開發或維護環節也有著廣泛應用,包括需求工程、代碼生成、代碼靜態檢查、測試、缺陷定位與修復等。該綜述梳理了面向特定不同軟件開發 / 維護任務的 Agent 的工作流。
圖 5: 面向特定軟件開發 / 維護環節的 Agent 工作流
二、面向軟件工程的 Agent 設計
根據 Agent 的基礎結構劃分(即 規劃(Planning)、記憶(Memory)、感知(Perception)、行動(Action)),該綜述進一步總結目前面向軟件開發和維護的 Agent 在每部分的設計特點。
Agent 中的常用工具
為了進一步提升 Agent 在軟件開發和維護任務上的能力,目前 Agent 的行動模塊中集成和使用了大量的工具,主要包括搜索、文件操作、靜態程序分析、動態分析、測試、版本管理工具等。
圖 6: 面向軟件開發和維護的 Agent 中的常用工具分類
人機協作范式
目前在面向軟件開發維護任務上,開發者和 Agent 的協作主要發生在規劃、需求工程、開發和評估四個環節。主要的協同方式,是由人類提供反饋,引導、澄清或直接糾正 Agent 的輸出。
圖 7:面向軟件開發和維護任務的 Human-Agent 協作范式
三、未來的研究方向
該綜述進一步探討了面向軟件開發和維護的 Agent 的未來研究方向。
- 更全面的評測基準和更真實的評測數據。當前針對軟工任務的 Agent 的評測主要集中在其端到端解決特定任務的能力上,缺少對決策過程和失敗原因的深入分析,以及對魯棒性等可信指標以及效率指標的關注。此外,當前用于評測 Agent 的數據集也存在一些問題,如邏輯過于簡化,與現實場景相差較遠等。因此,設計更多樣化的評估指標和構建更高質量、更現實的數據集基準是準確評估 Agent 能力的重要方向。
- 探索人機協同新范式。當前針對軟工任務的 Agent 人機協同主要局限于需求工程、設計、測試評估等環節,同時缺少對高效友好的交互接口的系統研究。因此,未來研究可關注于拓展人機協同的應用場景,以及提供更加流暢的人機協作模式。
- 多模態感知。目前針對軟工任務的 Agent 主要依賴于文本或視覺感知。探索和整合多樣化的感知模態,如語音命令或用戶手勢,會顯著提高 Agent 編碼助手的靈活性和可訪問性。
- 將 Agent 應用于更多軟工任務。盡管現有的 Agent 已經被部署在各種軟工任務中,但一些關鍵階段(如設計、驗證和功能維護)仍未被充分探索,為這些階段開發 Agent 系統可能會面臨各方面的新挑戰。
- 訓練面向軟件工程的基座大模型。目前 Agent 通常構建在以通用數據或者代碼數據為主要訓練數據的大模型之上,而軟件開發的全周期往往涉及設計、架構、開發者討論、程序動態執行、歷史演化等代碼以外的重要信息。有效利用這些信息可以構建面向軟件工程領域的基座大模型,從而在此基礎上構建更強大的面向軟件開發與維護的 Agent。
- 將軟件工程領域知識融入 Agent 設計。正如最近 Agentless 研究所揭示,流程復雜且高度自主的 Agent 在某些軟件維護任務上的效果不如基于傳統缺陷定位和程序修復流程所設計的簡單工作流。軟件工程領域的經典方法論和思想對于設計 Agent 的工作流有著重要的借鑒和指導意義,可以進一步提高 Agent 解決方案的有效性、魯棒性和效率。