一文盤點NeurIPS'22杰出論文亮點！英偉達AI大佬一句話總結每篇重點，一并看透今年技術趨勢
本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。
15篇NeurIPS’22杰出論文重磅出爐，具體亮點都是啥？
來來來，大佬已經幫你總結好了！
師從李飛飛，現在在英偉達工作的大佬，用49條推文，帶你回顧過去一年AI圈的重要研究。
雖然到不了NeurIPS’22的現場，但也能提前在推特上體驗下大會的盛況。
總結推文發出之后，立刻在網上掀起一陣熱度，眾多AI大佬都在轉發。
還有人從中看出了今年的技術趨勢。
每篇亮點都是啥？
總結這一線程的老哥名叫Linxi”Jim”Fan（以下簡稱Jim）。
對于每篇論文，他都給出了一句話提煉亮點，并簡要解釋了自己的看法，還將論文地址和相關拓展鏈接一并附上。
具體都講了啥，我們一篇篇來看~
1、訓練計算最優的大語言模型
一句話總結：提出一個700億規模的新語言模型“Chinchilla”，效果比千億級別GPT-3、Gopher更強。
Jim表示，通過這個模型，研究人員證明了想要實現“計算最優”，模型大小和訓練數據規模必須同等縮放。
這意味著，目前大多數大語言模型的訓練數據是不夠的。
再考慮到新的縮放定律，即使將模型參數擴大到千萬億級，效果恐怕也不及將訓練token提升4倍。
2、谷歌Imagen的強，在于文本編碼器
一句話總結：Imagen是一個大型從文本到圖像的超分辨率擴散模型，可以生成逼真圖像，并且在評級中擊敗了Dall·E 2。
Jim指出，和Dall·E 2相比，Imagen使用了更為強大的文本編碼器T5-XXL，這直接影響了它的語言理解能力。
比如同題對比中，左邊是谷歌Imagen選手眼中的“貓貓絆倒人類雕像”，右邊DALL·E 2選手的創作則是醬嬸兒的：
3、ProcTHOR：房間模型模擬器
一句話總結：ProcTHOR是一個可以生成大量定制化、可實際應用房間模型的AI。
和Chinchilla一樣，ProcTHOR也需要大量數據來訓練，然后從中摸索出自己的生成方案。
該成果由艾倫人工智能實驗室提出，在此之前他們還為家用機器人提出了一些模型，如AI2THOR 和 ManipulaTHOR，可以讓他們感知房間環境。
4、MineDojo：看70000小時《我的世界》視頻學會人類高級技巧
一句話總結：該研究提出一個由3個智能體（agent）組成的“具身GPT-3”，可以感知無限世界并在其中行動。
研究團隊認為，想要訓練出通才agent需要具備3方面因素：
第一、一個開放的環境，可以包含無限不同種類的任務（比如地球就是個開放環境）；
第二、一個大規模知識庫，可以教會AI做什么事、該做哪些事；
第三、足夠靈活的代理框架，能將知識轉化為實際操作。
綜上，《我的世界》是一個絕佳的訓練場地。研究團隊讓AI看了70000小時《我的世界》視頻后，它學會了使用鉆石鎬、打造“簡易避難所”等人類玩家的高級操作。
值得一提的是，該成果的模擬套件、數據庫、算法代碼、預訓練模型，甚至注釋工具，全部對外開源！
5、LAION-5B：史上最大規模公共開放的多模態圖文數據集
一句話總結：一個包含58.5億個CLIP過濾的圖像-文本對數據集。
LAION-5B不用過多介紹了，Stable Diffusion使用正是它。
該數據集獲得了今年NeurIPS最杰出數據集論文獎。
目前Stable Diffusion 2也已經上線了。
6、超越神經網絡縮放定律：通過數據集修剪擊敗冪律
一句話總結：通過仔細篩選訓練示例、而不是盲目收集更多數據，有可能大大超越神經網絡的縮放定律。
該研究中，Meta和斯坦福的學者們通過數據蒸餾，縮小數據集規模，但是保持模型性能不下降。
實驗驗證，在剪掉ImageNet 20%的數據量后，ResNets表現和使用原本數據時的正確率相差不大。
研究人員表示，這也為AGI實現找出了一條新路子。
7、讓AI自己調超參數
一句話總結：使用超級隨機梯度下降法，實現自動調超參數。
谷歌大腦設計了一個基于AI的優化器VeLO，整體由LSTM（長短期記憶網絡）和超網絡MLP（多層感知機）構成。
其中每個LSTM負責設置多個MLP的參數，各個LSTM之間則通過全局上下文信息進行相互協作。
采用元訓練的方式，VeLO以參數值和梯度作為輸入，輸出需要更新的參數。
結果表明，VeLO在83個任務上的加速效果超過了一系列當前已有的優化器。
8、利用自然語言和程序抽象讓機器學會人類歸納性偏好
一句話總結：利用自然語言描述和引導程序，讓智能體的行為更像人類。
論文表明，語言和程序中存儲了大量人類抽象先驗知識，智能體可以在元強化學習設置中學到這些歸納性偏好。
如下是是否使用人類抽象先驗知識的對比：
9、新方法提高擴散模型生成結果
一句話總結：英偉達通過對擴散模型的訓練流程進行分析，得到新的方法來提高最后生成的結果。
此次研究提出了很多實用的方法改進了模型的生成效果：
- 一個新的采樣過程，大大減少了合成過程中的采樣步數；
- 改進了訓練過程中噪聲水平的分布；
- 其他一些改進方法，如non-leaking增強，即不會將生成分布暴露給生成器。
10、神經語料庫索引器（NCI）
一句話總結：NCI可以直接為特定的查詢生成相關的文檔標識符，并顯著提高信息檢索性能。
傳統的檢索系統是基于文檔向量嵌入和最近鄰搜索。
而NCI則使用了一個端到端的可微模型，極大地簡化了搜索管道，并且有可能在單個框架中統一檢索、排序和Q&A。
11、一種新的采樣方法
一句話總結：加州大學設計出一個最有效的算法從多個分布中進行采樣，按需采樣。
研究利用隨機零和博弈的方法研究了多重分布學習問題。
多重分布學習在機器學習公平性、聯邦學習以及多主題協作中都有著重要的應用。
在這其中，分布可能是不平衡或重疊的，所以最佳的算法應該按需采樣。
12、分布外樣本（OOD）檢測是可學習的嗎？
一句話總結：OOD檢測在某些條件下是不可學習的，但是這些條件不適用于一些實際情況。
Jim表示，具體來講，我們所熟悉的監督式學習的測試數據是內部分發的，但現實世界卻是混亂的。
而這個研究運用PAC學習理論，提出了3個具體的不可能性定理，推斷應用于實際環境中確定OOD檢測的可行性。
更重要的是，此項工作還為現有的OOD檢測方法提供了理論基礎。
13、基于黎曼得分的生成模型（RSGMs）
一句話總結：這是一類將模型擴展到黎曼流形的生成模型（與歐幾里德空間中的數據相反）。
擴散模型目前已經在人工智能領域取得了很大的進展，不過大多數模型都被假設是一個扁平的流形。
但在機器人學、地球科學或蛋白質折疊等領域，數據也能很好地在黎曼流形上描述。
這項研究使得Stable Diffusion有望應用在氣候科學上。
14、SGD的高維極限定理
一句話總結：研究用一個統一的方法，了解在高維情況下具有恒定步長的隨機梯度下降的縮放極限。
其核心貢獻是發展一個統一的方法，在連續步長之下，使我們了解SGD在高維的比例限制。
研究團隊還在目前正流行的模型中證明了這個方法，示例也展示了很好的效果：
包括收斂的多模態時間尺度以及收斂到次優解決方案，概率從隨機初始化開始有界地遠離零。
15、RODEO：減小估計梯度方法REINFORCE的方差。
一句話總結：利用Stein算子控制變量來增強REINFORCE的性能。
離散變量使神經網絡不可微，所以估計梯度的一種常見方法是REINFORCE，但這種方法又存在很大的方差。
本文提出了一種利用Stein算子控制變量增強REINFORCE的高性能方法：“ RODEO”。
并且，這種控制變量可以在線調整以最小化方差，并且不需要對目標函數進行額外的評估。
在基準生成建模任務中，例如訓練二進制變分自動編碼器，在具有相同數量的函數估計的情況下，研究的梯度估計器實現了有史以來最低的方差。
大佬來自英偉達，師從李飛飛
總結這一超強線程的大佬Jim，現就職于英偉達。
他的研究方向是開發具有通用能力的自主智能體，如上讓AI學會《我的世界》人類玩家技巧的論文，正是他的成果。
他博士就讀于斯坦福大學視覺實驗室，師從李飛飛。
曾在谷歌云、OpenAI、百度硅谷AI實驗室等實習。
