破解300年數學難題,智能體大突破!谷歌發布超強AI Agent
今天凌晨,谷歌Deepmind在官網發布了,用于設計高級算法的編程AI Agent——AlphaEvolve。
AlphaEvolve與谷歌的大模型Gemini實現深度集成,用于自動評估通用算法的發現與優化,可以幫助開發人員快速設計出最好、高效的矩陣算法。
簡單來說,大模型擅長生成各種想法和算法,但是沒人知道這些到底行不行,而AlphaEvolve相當于“質檢員”,能夠按照特定標準來衡量這些想法是否可行。
AlphaEvolve超強能力
谷歌在展示AlphaEvolve的能力時,就特意找了一道300多年的數學難題——親吻數問題。
這道題的歷史最早可以追溯到1694年,牛頓還和別人辯論、研究過。其難點在于給定維度的空間中,最多可以有多少個相同大小的球體同時接觸一個中心球體,這些球體之間不發生重疊。
而AlphaEvolve發現了由593個外層球體組成的結構型,并在11維空間中建立了新的下界,超越之前數學家們創造的記錄。
AlphaEvolve還能為復雜的數學問題提出新的解決方法。基于極簡代碼框架,AlphaEvolve設計了一種基于梯度的新型優化程序的諸多組件,并發現了多種用于矩陣乘法的新算法。
AlphaEvolve找到了一種用于4x4復值矩陣乘法的算法,該算法僅需48次標量乘法,改進了Strassen在1969年提出的算法,后者此前被認為是該場景下的最佳算法。這一發現表明,與谷歌之前專注于矩陣乘法算法的研究成果AlphaTensor相比,取得了重大進展。
此外,谷歌使用AlphaEvolve來增強大模型的訓練和推理。AlphaEvolve將大規模矩陣乘法運算拆解為更易于處理的子問題,使Gemini模型架構中的核心計算效率提升了23%,整體訓練時間縮短了1%,節省大量成本。
AlphaEvolve還能對GPU底層指令進行優化。這是一個極其復雜的領域,通常編譯器已對其進行了深度優化,所以,人類工程師一般不會直接對其進行修改。
AlphaEvolve實現了基于Transformer的人工智能模型中FlashAttention核心計算最高達32.5%的加速。這類優化有助于專家精準定位性能瓶頸,并能輕松地將優化成果整合到代碼庫中,極大提高了工作效率。
AlphaEvolve架構簡單介紹
任務定義與評估模塊是AlphaEvolve的核心之一,主要負責明確用戶的需求,包括評估標準、初始解決方案以及背景知識。通過一個自動化的評估機制來衡量生成的解決方案的質量,這一機制以函數的形式存在,將解決方案映射到一組標量評估指標上。
這些指標通常是最大化的目標,例如,在數學問題中,如果目標是找到滿足特定屬性的最大可能圖,評估函數將調用進化代碼生成圖,檢查屬性是否成立,然后返回圖的大小作為得分。
大模型集成與提示采樣模塊負責構建上下文提示,這些提示包括明確的上下文信息,例如,問題的詳細描述、方程式、代碼片段或相關文獻;隨機格式化,通過概率分布提供人類編寫的替代方案以增加多樣性;渲染的評估結果,包括程序、執行結果以及評估函數分配的分數;以及元提示進化,由大模型本身在額外的提示生成步驟中建議的指令和上下文,這些內容與解決方案程序在單獨的數據庫中共同進化,為大模型提供了豐富的信息,使其能夠生成更準確和有效的代碼修改建議。
創造性生成與代碼修改是AlphaEvolve另外一個核心模塊,主要利用大模型的能力來生成代碼修改建議。這些大模型能夠處理豐富的上下文信息,并根據過去的嘗試和想法提出新的改進方案。
當AlphaEvolve要求大模型修改現有代碼時,它會請求以特定格式的差異塊提供更改,這種格式允許對代碼的特定部分進行針對性的更新。在某些情況下,如果代碼非常短,或者需要完全重寫,AlphaEvolve可以配置為直接輸出整個代碼塊,而不是使用差異格式。
評估與反饋模塊負責跟蹤AlphaEvolve的進展,并選擇在后續代中傳播哪些想法。每個由大模型提出的新解決方案都會被自動評估,這一過程本質上是簡單地在生成的解決方案上執行用戶提供的評估函數。
AlphaEvolve支持一些可選機制,使評估更加靈活和高效,例如,評估級聯,用戶可以指定一系列難度遞增的測試用例,只有在所有早期階段都取得足夠有希望的結果時,新解決方案才會進入下一個階段;大模型生成的反饋,用于評估那些難以在用戶提供的評估函數?中精確捕捉的解決方案特性;以及并行化評估,通過異步調用評估集群來分配這項工作,從而提高評估效率。
進化與數據庫管理負責存儲和管理在進化過程中生成的解決方案。這些解決方案存儲在一個進化數據庫中,其主要目標是在后續代中最佳地重新出現先前探索的想法。設計這種數據庫的一個關鍵挑戰是平衡探索和利用,以持續改進最佳程序,同時保持多樣性以鼓勵整個搜索空間的探索。
AlphaEvolve的進化數據庫實現了一種算法,該算法受到MAP精英算法和基于島嶼的種群模型的啟發。
分布式計算管道模塊使AlphaEvolve能夠作為一個異步計算管道運行。每個計算在等待另一個尚未完成的計算結果時都會阻塞。整個管道針對吞吐量進行了優化,而不是任何特定計算的速度,以最大化在特定總體計算預算內可以提出和評估的想法數量。
目前,有興趣的小伙伴可以去谷歌Deepmind官網申請使用AlphaEvolve,尤其是對于科研、數學、設計領域的小伙伴幫助很大。