本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

2020年，機器學習將會往何處去？

加拿大溫哥華舉辦的NeurIPS期間，在接受外媒VB采訪時，Jeff Dean交出了自己的展望。

他認為，在多任務學習和多模態學習將會有很大進展，以及會出現更加有趣的設備，讓機器學習模型的作用更好地發揮出來。

此外，他還談到了如何利用機器學習構建AI芯片、以及谷歌對BERT的看法等等。

作為谷歌AI的掌門人，他的思考對于從業者來說，有極大的參考價值。量子位編譯如下：

談BERT：大家有點過分強調SOTA了

問：對BERT來說，今年是重要的一年。到處都是 BERT，還有各種各樣的 BERT。BERT有什么變化？接下來會有什么樣的變化？

Jeff Dean：BERT很有趣，是因為它建立在其他研究成果的進展之上。他在某種程度上取決于一年前完成的Transformer工作。

Transformer的工作，實際上是在處理早期基于LSTM的序列模型看到的問題。我認為，整個研究線索在實際生產機器學習模型方面非常有成效。

現在讓我們去處理更加復雜的NLP任務，我們能夠做得更多。在一堆/任意文本上，對預訓練的BERT進行微調，對于許多 NLP 問題來說，這是一個很好的范例，我們希望能解決這些問題。

因此在谷歌內部，我們也在自己的產品中看到了不同的應用場景，比如我們最近在搜索引擎中應用了BERT來提高搜索質量。

我認為，你也應該在更加廣泛場景中看到了這一點。我們仍然希望看到，能做更多上下文的模型。

就像現在，BERT和其他模型在數百個單詞文本上工作得很好，但在上萬個單詞上就很難處理好了。

這是一個有趣的方向。我認為多模態模型非常有趣。可以用有趣的方式將文本與圖像、音頻或視頻結合起來。

我們已經在這方面做了一些工作，社區的其他成員也做了一些工作，但我認為這在未來會變得更加重要。我相信，人們會基于BERT進行改進。

因此，基礎研究也將繼續下去。

問：是的，我看到了很多MT-DNN、 RoBERTta之類的東西。

Jeff Dean：是的，它們每個都有一個可愛的名字。但我確實認為，大家有點過分強調在某些特定問題上取得前所未有的、稍微好一點的、最先進的結果。

以及對完全不同的解決問題的方法有點缺乏欣賞。因為很難，這些方法可能沒有達到最先進的水平，但它們是一個非常值得探索的領域。

問：比如魯棒性？

Jeff Dean：是的，或者“是認為用完全不同的方式來解決一個問題很重要，并看到了希望”。如果人們追求這些方向，那將會很有趣。

問：而不是試圖登上GLUE排行榜的榜首？

Jeff Dean：是的。

談AI芯片：后摩爾定律時代，專用芯片很有效

問：在后摩爾定律的世界里，需要記住哪些東西？

Jeff Dean：用專門的芯片而不是用CPU來做非通用的計算，已經被證明非常有效。

比如TPU或者GPU，雖然有很多限制，但它們是圍繞著機器學習計算需要做什么而設計的，相對于通用GPU，這帶來了很大的性能優勢。

因此，我們很難看到過去那種算力的大幅度增長，但我們正在通過專業化，來獲得更大的架構優勢。

問：對機器學習在創建機器學習硬件方面的應用，你能詳細說說嗎？

Jeff Dean：在將機器學習用到ASIC芯片設計方面，我們已經做了一些早期工作，尤其是晶體管布局和它們如何連接的。

基本上，現在在設計過程中，已經有一些工具可以幫助布局，但也需要有人工布局和布線專家，來完成多次迭代。

從你想要的設計開始，到把它放在一個芯片上，并在面積、功率和導線長度方面有正確的限制，同時還要滿足所有設計規劃或制作工藝，這通常需要一個多星期的時間。

所以事實證明，在一些工作中，我們可以使用機器學習來做更多的自動布局和布線。

我們基本上可以有一個機器學習模型，去針對特定芯片玩ASIC放置的游戲。我們內部一直在試驗的一些芯片上，這也取得了不錯的結果。

談2020年：多任務學習和多模態學習會有大進展

問：你認為在2020年人工智能領域會出現哪些趨勢或里程碑？

Jeff Dean：我認為，在多任務學習和多模態學習方面會有很大進展，解決更多的問題。我覺得那會很有趣。

而且我認為，將會有越來越有效的設備（手機或其他類型的設備）出現，來讓模型更有效地發揮作用。

此外，與人工智能原則相關的工作顯然是重要的。但對于谷歌來說，我們是一個足夠大的研究機構，我們有很多不同的推動力，很難說只有一個。

但總的來說，我們將進一步發展最先進的技術，進行基礎的基礎研究，以提高我們在許多重要領域的能力，比如NLP、語言模型或多模態的東西。

同時，我們也會與我們的同事和產品團隊合作，為產品應用做一些研究，使他們能夠構建有趣的功能和產品。

我們將做一些谷歌目前還沒有，但用了機器學習會很有趣的應用，比如我們一直在做的芯片設計工作。

問：比如日常的機器人？

Jeff Dean：是的，我們在機器人研究方面做了大量的工作。我認為，讓機器人在某種隨意的環境中工作，真的是一個很難解決的問題。

但在過去的幾年里，我們在這方面也取得了相當大的進展，我認為這也是一個有趣的研究方向。我們正在努力推進。