2023年的國際機器學習大會（International Conferenceon Machine Learning，簡稱ICML）在夏威夷檀香山舉辦。

圖片

ICML是由國際機器學習學會（International Machine Learning Society，IMLS）主辦的年度機器學習國際頂級會議之一。

ICML創辦于1980年，每年6月中下旬舉行。今年的議程安排在7月23日星期日到29日星期六。

大會關注的領域涵括計算機視覺、統計和數據科學到機器人技術，目的是將人工智能 (AI) 社區聚集在一起，分享新的想法、工具和數據集，并建立聯系以推動該領域的發展。

今年是ICML舉辦的第四十屆會議，大會錄用了1827篇論文。谷歌 DeepMind 的研究人員今年在ICML上發表了80多篇新論文。

谷歌在這次會議上報告的主要亮點有：

具有社會目的的機器學習、預測蛋白質結構的AlphaFold模型、具身語言模型PaLM-E、文本生成視頻的Phenaki模型等。

圖片

除了這些，谷歌還將在會議上重點介紹模擬世界中的人工智能、強化學習的未來研究以及人工智能的前沿挑戰中谷歌所做出的貢獻。

下面，就來看看谷歌在這三個方面都做了哪些研究吧！

模擬世界中的人工智能

我們現在看到的能夠成功進行讀取、寫入和創造的人工智能，如ChatGPT等，是在大量的數據集上訓練的基礎模型。

這些基礎模型在監督和自監督學習中表現出了優越的適應性和可擴展性，但到目前為止，這些成功尚未完全轉化為強化學習（RL）。

這意味著以基礎模型為底層運行邏輯的人工智能將難以理解復雜的現實、處理現實中的任務。

谷歌研究人員在這項工作中，證明了大規模訓練 RL 智能體會產生一種通用的上下文學習算法，該算法（AdA）可以像人類一樣快速地適應開放式新穎的具體現實問題。

圖片

AdA是一種人工智能代理，可以像人類一樣在模擬環境中適應解決新問題。

它可以承擔具有挑戰性的任務：以新穎的方式組合物體、導航看不見的地形以及與其他玩家合作。

此外，谷歌的另一項研究展示了如何使用視覺語言模型（VLM）來幫助訓練智能體。

通過簡單的提示讓VLM控制監督信號，教導智能體在 3D 渲染環境中根據新物體的名稱（例如平面）或特征（例如顏色）與新物體進行交互。

圖片

這些研究將為日益通用和自適應的強化學習智能體奠定基礎，使這些智能體在更大的開放領域中表現更好。

強化學習的未來研究

為了開發負責任且值得信賴的人工智能，必須了解這些系統的核心目標。

在強化學習中，定義系統核心目標的其中一種方法是通過獎勵。

理查德·薩頓（Richard Sutton）提出的獎勵假設認為，所有目標都可以被認為是最大化預期累積獎勵。

谷歌研究人員解釋了假說成立的確切條件，并闡明了強化學習問題的一般形式的獎勵可以（或不能）捕獲的目標類型。

圖片

另外，谷歌還在研究中提出：在部署人工智能系統時，需要考慮模型對現實世界的適應性。

因此，谷歌了研究如何在約束條件下更好地訓練強化學習算法，因為人工智能工具通常必須受到安全性和效率的限制。

圖片

還探索了如何在不確定的情況下通過不對稱的信息游戲（例如撲克）來教授模型復雜的長期策略。

圖片

在會議上，谷歌將會演示模型如何在不知道其他玩家的位置和可能的行動的情況下贏得雙人游戲。

等會議開始，谷歌會玩出什么花樣，就讓我們拭目以待吧！

人工智能的前沿技術

現有的人工智能基本上都是在一系列打包好的數據集上進行訓練的。像最近大火的大語言模型（LLM），它們能夠學習并預測語言符號之間的聯系，卻很難真的理解語言所指的現實世界。

而人類卻可以輕松地學習、適應和理解我們周圍的世界。

開發能夠以類人方式進行推理的先進人工智能系統，將有助于創建可以在日常生活中使用的人工智能并應對新的挑戰。

谷歌在人工智能的適應性方面，研究了人工智能根據新信息快速改變其預測和推理的神經網絡的可塑性及其損失的原因。

圖片

另一篇論文是研究在統計數據自發變化的數據源（例如自然語言預測中）上進行元訓練的神經網絡。

論文回答了當前的序列預測模型和訓練機制可以在多大程度上解釋大型語言模型中出現的上下文學習類型。

圖片

此外，谷歌DeepMind的研究人員提出了一個新的循環神經網絡 (RNN) 系列，它們在長期推理任務上表現更好。

圖片

研究人員對標準RNN進行了改進，包括線性化和對角化遞歸，使用更好的參數化和初始化，并確保前向傳遞的正確標準化。

循環神經網絡

最后，在人工智能的強化學習研究中的「分位數信用分配」（quantile credit assignment），谷歌研究人員提出了一種將訓練中的運氣與技能分開的方法。

通過在行動、結果和外部因素之間建立更清晰的關系，人工智能可以更好地理解復雜的現實環境。

圖片

除了以上重點介紹的研究，還有很多其他的研究.....

圖片

圖片

圖片

80多篇論文實在太多辣！小編截不過來了.....感興趣的就自己去看吧！

附上網址：https://deepmind.events/events/icml-2023/resources#

一路下來，這些研究真是讓人眼花繚亂，讓人知(tou)識(yun)大(nao)漲（zhang）！