最近，美國計(jì)算機(jī)科學(xué)家，圖靈獎(jiǎng)獲得者Jack Dongarra表示，機(jī)器學(xué)習(xí)的硬件正在被我們大量使用。

這是一個(gè)不爭的事實(shí)。

和任何一個(gè)機(jī)器學(xué)習(xí)的開發(fā)人員聊聊天，你就能發(fā)現(xiàn)，運(yùn)行或者建立一個(gè)GPT模型真的太貴了。

主要原因就是，對傳統(tǒng)的，和過時(shí)的GPU的高度依賴。

Dongarra進(jìn)一步強(qiáng)調(diào)，我們必須更好地利用已有的資源，這件事是非常有必要的。

他認(rèn)為，為了資源的更高效利用，我們應(yīng)該找到最好的應(yīng)用方式、最恰當(dāng)?shù)沫h(huán)境。同時(shí)，軟件框架的開發(fā)也同樣重要。合適的框架可以有效推動(dòng)計(jì)算，支持硬件性能。

具體來說，Dongarra提出了一種多維的計(jì)算方法，這是一種囊括CPU、GPU、機(jī)器學(xué)習(xí)、神經(jīng)形態(tài)、光學(xué)，以及量子計(jì)算等等各種技術(shù)的高性能計(jì)算機(jī)。

量子技術(shù)是一個(gè)有發(fā)展前景的領(lǐng)域。因此，Dongarra認(rèn)為，上面提到的這些，都會(huì)是未來高性能計(jì)算機(jī)的一部分。

「把他們結(jié)合在一起，我們才能應(yīng)對未來更多的挑戰(zhàn)。」

資本與創(chuàng)新，兩手抓

Dongarra認(rèn)為，資本與創(chuàng)新兩手抓是非常有必要的。

亞馬遜有自己的硬件資源——Graviton，谷歌有TPU，微軟也有自己的硬件。

這一切的基礎(chǔ)是——他們有錢，可以投資研發(fā)各種硬件。

而Dongarra表示，在高性能計(jì)算的研究領(lǐng)域，經(jīng)費(fèi)就沒這么充足了。

簡單來說，沒那么多錢，投資不了硬件來解決具體問題。

在將蘋果公司的技術(shù)實(shí)力與惠普和IBM等傳統(tǒng)計(jì)算機(jī)公司進(jìn)行比較時(shí)，Dongarra指出了市值上的巨大差異。雖然蘋果公司的價(jià)值飆升至數(shù)萬億美元，但惠普和IBM的市值總和還沒有達(dá)到萬億美元大關(guān)。

"我們有基于云的公司，他們的收入數(shù)額可以創(chuàng)新，并建立自己的硬件。例如，iPhone由許多處理器組成，專門為幫助iPhone做什么而設(shè)計(jì)。他們正在用硬件取代軟件。他說："他們這樣做是因?yàn)樗欤遗c一般的高性能計(jì)算社區(qū)有很大不同。

另一方面，超級(jí)計(jì)算機(jī)主要是使用英特爾和AMD等公司的現(xiàn)成組件構(gòu)建的。這些處理器通常輔以GPU，整個(gè)系統(tǒng)通過InfiniBand或以太網(wǎng)等技術(shù)連接。

Dongarra解釋說，依賴這些超級(jí)計(jì)算機(jī)的科學(xué)家面臨著資金限制，限制了他們投資于專門的硬件開發(fā)的能力。

IBM一直處于量子的前沿，但在上周的一次會(huì)議上，首席執(zhí)行官Arvind Krishna公布了一個(gè)愿景，強(qiáng)調(diào)在未來十年內(nèi)，IBM將混合云技術(shù)和人工智能與量子計(jì)算相結(jié)合的潛力。

雖然該公司通常被認(rèn)為是傳統(tǒng)的，因?yàn)樗鼘Ｗ⒂谟布罱谏尚匀斯ぶ悄芊矫娴娘w躍表明了這一點(diǎn)。

LINPACK背后的故事

Dongarra在計(jì)算機(jī)科學(xué)還沒發(fā)展起來之前，想當(dāng)一名高中老師。

后來，他展現(xiàn)出了他通才的一面。

Dongarra在芝加哥附近的阿貢國家實(shí)驗(yàn)室工作期間，對數(shù)值方法和軟件開發(fā)產(chǎn)生了濃厚興趣。

在他從事數(shù)值計(jì)算軟件開發(fā)工作的過程中，他的經(jīng)歷進(jìn)一步鞏固了他對這個(gè)領(lǐng)域的興趣。

這段經(jīng)歷讓Dongarra獲得了碩士學(xué)位。

不久之后，Dongarra開始了他在新墨西哥大學(xué)的征程。在此期間，他通過創(chuàng)建LINPACK基準(zhǔn)測試，對超級(jí)計(jì)算機(jī)性能的衡量做出了突破性貢獻(xiàn)。

后來，他又與Hans Meuer共同創(chuàng)建了1993年的標(biāo)志性Top500榜單，跟蹤高性能計(jì)算的進(jìn)展，展示全球最快的計(jì)算機(jī)。

如今，Dongarra通過在田納西大學(xué)的持續(xù)研究，繼續(xù)塑造計(jì)算的未來，探索超級(jí)計(jì)算和人工智能的融合。隨著人工智能和機(jī)器學(xué)習(xí)繼續(xù)發(fā)展，他的工作現(xiàn)在集中在優(yōu)化高性能系統(tǒng)上算法的性能，實(shí)現(xiàn)更快、更準(zhǔn)確的計(jì)算。

「2001太空漫游」的粉絲

Dongarra是誰？他是1980年代，在計(jì)算機(jī)領(lǐng)域不得不提到的人物。

「幾乎在每個(gè)轉(zhuǎn)折點(diǎn)，我們都能看到計(jì)算機(jī)科學(xué)家尋找解決問題的替代方法。現(xiàn)在，他們將AI視為一種方法。但是人工智能不會(huì)解決問題，它會(huì)在解決問題的方案上幫助他們，」2021年ACM圖靈獎(jiǎng)的獲得者這樣說道。

他因?yàn)閷ΡＷC高性能計(jì)算軟件與硬件技術(shù)的進(jìn)步保持同步的貢獻(xiàn)而獲得了這個(gè)獎(jiǎng)項(xiàng)。

「人工智能最近真正起飛了，造成這一點(diǎn)的原因有很多——一是因?yàn)椋覀兘裉煸诨ヂ?lián)網(wǎng)上擁有大量的數(shù)據(jù)。可以挖掘這些資源來訓(xùn)練AI。同時(shí)，我們有可以以非常快的速度進(jìn)行計(jì)算的處理器，我們有可以被優(yōu)化并在幫助訓(xùn)練中非常有效地使用的計(jì)算設(shè)備。」

Dongarra還強(qiáng)調(diào)了線性代數(shù)在人工智能算法中的關(guān)鍵作用，強(qiáng)調(diào)了高效矩陣乘法和最陡下降算法的重要性。

「許多事情都已經(jīng)到位，讓人工智能機(jī)器學(xué)習(xí)成為一個(gè)非常有用的資源。AI在許多科學(xué)領(lǐng)域都產(chǎn)生了巨大影響，比如藥學(xué)、氣候建模和生物學(xué)、藥物發(fā)現(xiàn)、宇宙學(xué)和高能物理學(xué)。」他進(jìn)一步補(bǔ)充道。

而關(guān)于通用人工智能（AGI），Dongarra認(rèn)為，我們應(yīng)該開發(fā)機(jī)器來自動(dòng)化日常任務(wù)，協(xié)助科學(xué)模擬和建模。

但他認(rèn)為，我們應(yīng)該保持謹(jǐn)慎，因?yàn)榫W(wǎng)絡(luò)上大量未經(jīng)過濾的信息可能會(huì)誤導(dǎo)人。

Dongarra還是電影2001：太空漫游的粉絲。

「《2001：太空漫游》是一部很好的電影，它以一種獨(dú)特的方式看待AI。我第一次看到它的時(shí)候覺得它很吸引人，我到現(xiàn)在還是很喜歡這個(gè)故事。這部電影里包含不少和今天相關(guān)的東西。」他總結(jié)道。

參考資料：

https://analyticsindiamag.com/turing-award-winner-warns-of-machine-learning-hardware-abuse/