德國弗萊堡大學機器學習實驗室負責人Frank Hutter 說，所有這些人類決策的結果是，復雜的模型最終是被"憑直覺設計"，而不是系統地設計的。

一個名為自動機器學習（autoML）的不斷發展的領域旨在消除這種猜測。其想法是讓算法接管研究人員目前在設計模型時必須做出的決定。最終，這些技術可以使機器學習變得更容易獲得。

盡管自動機器學習已經存在了近十年，但研究人員仍在努力改進它。近日，在巴爾的摩舉行的一次新會議，展示了為提高autoML的準確性和簡化其性能而做出的努力。 

人們對 autoML 簡化機器學習的潛力產生了濃厚的興趣。亞馬遜和谷歌等公司已經提供了利用 autoML 技術的低代碼機器學習工具。如果這些技術變得更有效，它可以加速研究并讓更多人使用機器學習。

這樣做的目的是為了讓人們可以選擇他們想問的問題，將 autoML 工具指向它，并獲得他們想要的結果。

這一愿景是"計算機科學的圣杯"，懷俄明大學的計算機科學助理教授兼會議組織者Lars Kotthoff說，"你指定了問題，計算機就知道如何解決它，這就是你要做的一切。"但首先，研究人員必須弄清楚如何使這些技術更省時、更節能。

自動機器學習可以解決什么？

乍一看，autoML 的概念似乎是多余的——畢竟，機器學習已經是關于自動化從數據中獲取洞察力的過程。但由于 autoML 算法在底層機器學習模型之上的抽象級別上運行，僅依賴這些模型的輸出作為指導，因此它們可以節省時間和計算量。

研究人員可以將 autoML 技術應用于預先訓練的模型以獲得新的見解，而不會浪費計算能力來重復現有的研究。

例如，美國富士通研究所的研究科學家 Mehdi Bahrami 和他的合著者介紹了最近的工作，關于如何將BERT-sort算法與不同的預訓練模型一起使用以適應新的目的。

BERT-sort 是一種算法，可以在對數據集進行訓練時找出所謂的"語義順序"。例如，給定的電影評論數據，它知道"偉大的"電影的排名要高于"好"和"壞"的電影。

借助 autoML 技術，還可以將學習到的語義順序推廣到對癌癥診斷甚至外語文本進行分類，從而減少時間和計算量。 

"BERT 需要數月的計算，而且非常昂貴，比如要花費 100 萬美元來生成該模型并重復這些過程。"Bahrami 說，"因此，如果每個人都想做同樣的事情，那就很昂貴——它不節能，對世界的可持續發展不利。" 

盡管該領域顯示出希望，但研究人員仍在尋找使 autoML 技術的計算效率更高的方法。例如，通過像神經架構搜索（NAS）這樣的方法，構建和測試許多不同的模型以找到最合適的模型，完成所有這些迭代所需的能量可能很大。

自動機器學習還可以應用于不涉及神經網絡的機器學習算法，例如創建隨機決策森林或支持向量機來對數據進行分類。這些領域的研究正在持續進行中，已經有許多編碼庫可供想要將 autoML 技術整合到他們的項目中的人們使用。 

Hutter表示，下一步是使用autoML量化不確定性并解決算法中的可信度和公平性問題。在這個愿景中，關于可信賴性和公平性的標準將類似于任何其他機器學習的約束條件，例如準確性。而autoML可以在這些算法發布之前捕獲并自動糾正這些算法中發現的偏差。

神經架構搜索的持續進展

但是對于像深度學習這類應用，autoML還有很長的路要走。用于訓練深度學習模型的數據，如圖像、文檔和錄制的語音，通常是密集且復雜的。它需要巨大的計算能力來處理。除了在財力雄厚的大企業工作的研究人員之外，訓練這些模型的成本和時間可能會讓任何人望而卻步。 

該會議上的一項競賽要求是參與者開發用于神經架構搜索的節能替代算法。這是一個相當大的挑戰，因為這種技術具有"臭名昭著"的計算需求。它會自動循環遍歷無數的深度學習模型，以幫助研究人員為他們的應用選擇合適的模型，但該過程可能需要數月時間，成本超過一百萬美元。 

這些被稱為零成本神經架構搜索代理的替代算法的目標是，通過大幅削減其對計算的需求，使神經架構搜索更容易獲得、更環保。其結果只需要幾秒鐘就能運行，而不是幾個月。目前，這些技術仍處于發展的早期階段并且通常不可靠，但機器學習研究人員預測，它們有可能使模型選擇過程更加高效。