ICML 2023時間檢驗獎出爐！

今年和往年一樣，也是一篇獲獎論文和兩篇亞軍（Runners Up），均從ICML 2023的論文集中選出，“在過去10年里持續產生影響力”。

其中，獲獎論文的第一作者是Hinton弟子Richard Zemel，第二作者伍昱（Ledell Wu）是北大元培校友，曾在智源和MetaAI工作過，如今是Creatify AI的聯合創始人。

整體來看，今年的ICML時間檢驗獎也“與時俱進”——

無論是最佳論文還是亞軍論文，提名理由都和生成式AI有關，其中一篇論文還影響了Dall·E和Stable Diffusion等最新一批生成式AI的進展。

所以，今年獲獎的究竟都是些什么論文？

一起來看看。

時間檢驗獎頒給Hinton弟子

今年的時間檢驗獎最終獲獎論文是Learning Fair Representations。

這篇論文來自多倫多大學和微軟，在谷歌學術顯示引用次數已有1670，可以說是通過學習中間表示來實現算法公平性這一領域的開山之作。

這篇論文提出了一種用于公平分類（fair classification）的學習算法，將公平性表述為一個優化問題，同時實現了群體公平性和個體公平性。

論文的獲獎理由是：

這篇論文在“機器學習和公平性”這一領域中發揮了重要的影響力，向機器學習社區介紹了包括群體公平性、個體公平性在內的各種公平的概念，如今，它已經成為機器學習一個成熟的子領域。

隨著先進的機器學習系統（通常稱為生成式AI）在社會中廣泛部署，以不可預見、且潛在的偏見和不公平的方式影響社會，這一領域正變得越來越重要。這篇論文提出了如今機器學習公平性領域致力于解決的核心研究問題、以及如何評估所開發工具的有效性的觀點。

這篇論文一共有五名作者。

Richard Zemel，哥倫比亞大學教授，研究方向主要在AI魯棒性、少樣本學習、算法公平性和持續學習上，目前谷歌學術的引用次數已有64780。

此前，他于1984年獲得哈佛大學本科學位，隨后在多倫多大學計算機系學習，師從Geoffrey Hinton，并分別于1989和1994年獲得計算機科學的碩士和博士學位。

伍昱（Ledell Wu），研究興趣是AI、大語言模型和多模態學習。

她本科畢業于北京大學元培學院，并于加拿大多倫多大學獲得計算機碩士，隨后，她在Facebook AI（Meta AI）擔任過研發工程師，也在北京智源人工智能研究院擔任過技術平臺部開源平臺負責人。

如今，她的最新身份是Creatify AI的聯合創始人。

Kevin Swersky，目前是谷歌大腦的研究科學家，主要研究方向是機器學習。他于加拿大阿爾伯塔大學獲得本科學位，在不列顛哥倫比亞大學獲得碩士學位，并在加拿大多倫多大學獲得博士學位。

Toni Pitassi，哥倫比亞大學教授，目前的研究方向是計算復雜度。她在賓夕法尼亞州立大學獲得本科和碩士學位，并于多倫多大學獲得博士學位，曾經在多倫多大學擔任教授。

Cynthia Dwork，哈佛大學教授、美國國家工程院院士，是差分隱私和工作量證明的發明者之一，目前研究方向涵蓋應用數學和計算機科學。

她曾經在普林斯頓大學獲得本科學位，并在康奈爾大學讀博，隨后在微軟工作過，目前是微軟的杰出科學家。

不過對于這篇獲獎論文，也有讀者表示，想要實現論文目標看起來是不可能的，已經有學者在新的論文中提出了這一觀點。

對此有網友回應認為，這也是機器學習圈的常態，一波研究者不斷找到實現特定目標的方法，同時另一波研究者不斷證明這些方法是不可能的。

還有兩篇論文亞軍

今年也有兩篇論文獲得了時間檢驗獎的亞軍（Runners Up）。

其中一篇名叫Deep Canonical Correlation Analysis，作者來自華盛頓大學和豐田工業大學芝加哥分校（Toyota Technological Institute at Chicago）。

這篇論文如今引用已有1915次，主要有兩方面的影響力。

其一，論文提出了一種基于深度神經網絡的多模態表示學習的原則性方法。這種深度多模態學習已經成為生成式AI的亮點之一，如DaLL·E、Stable Diffusion等。

其二，這篇論文展示了在無監督方法下也能獲取數據得良好表示，無需依賴于觀測重構，通過表示空間內關聯同一觀測的多個視圖就行，這也啟發了許多最近關于無重構自監督表示學習的算法，包括對比學習等。

另一篇論文名叫Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures。

這篇論文如今引用已有2310次，作者分別來自哈佛大學羅蘭研究所（Rowland Institute at Harvard）和MIT。

這篇論文通過黑盒優化（black-box optimization）和對機器學習的理解和進步證明，超參數調優是一個嚴謹的科學和工程問題，可以通過系統化方法而非啟發式方法來解決。論文對數百個超參數進行了自動調優的實驗，這也是對算法超參數調優最有說服力的示例之一。

在此之前，盡管超參數調優對機器學習的實踐非常重要、具有相當大的影響力，但它經常被認為是一種“事后想法”或藝術，而非科學。

ICML 2023時間檢驗獎：
https://icml.cc/Conferences/2023/Test-of-Time