快速瀏覽一下頭條新聞就會(huì)發(fā)現(xiàn)，如今生成人工智能似乎無(wú)處不在。事實(shí)上，其中一些標(biāo)題實(shí)際上可能是由生成人工智能（如OpenAI的ChatGPT）撰寫(xiě)的，這是一個(gè)聊天機(jī)器人，展示了一種近乎人類寫(xiě)作的不可思議的能力。

但當(dāng)人們說(shuō)“生成人工智能”時(shí)，他們真正指的是什么呢？

在過(guò)去幾年生成人工智能的興起之前，當(dāng)人們談?wù)撊斯ぶ悄軙r(shí)，通常是在談?wù)撃軌蚋鶕?jù)數(shù)據(jù)進(jìn)行預(yù)測(cè)的機(jī)器學(xué)習(xí)模型。例如，這些模型通過(guò)數(shù)百萬(wàn)個(gè)示例進(jìn)行訓(xùn)練，以預(yù)測(cè)某個(gè)X射線是否顯示出腫瘤的跡象，或者某個(gè)借款人是否可能違約。

生成人工智能可以被看作是一種機(jī)器學(xué)習(xí)模型，它被訓(xùn)練用于創(chuàng)建新數(shù)據(jù)，而不是對(duì)特定數(shù)據(jù)集進(jìn)行預(yù)測(cè)。生成式人工智能系統(tǒng)能夠?qū)W習(xí)生成更多看起來(lái)像它所訓(xùn)練的數(shù)據(jù)的對(duì)象。

麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)副教授，計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）成員Phillip Isola說(shuō)：“當(dāng)涉及到生成人工智能和其他類型的人工智能的實(shí)際機(jī)制時(shí)，區(qū)分可能會(huì)有點(diǎn)模糊。通常，相同的算法可以同時(shí)用于兩者，”

盡管ChatGPT及其類似產(chǎn)品發(fā)布時(shí)引起了很大轟動(dòng)，但這項(xiàng)技術(shù)本身并不是全新的。這些強(qiáng)大的機(jī)器學(xué)習(xí)模型借鑒了超過(guò)50年的研究和計(jì)算進(jìn)展。

復(fù)雜性的增加

生成人工智能的早期例子是一種更簡(jiǎn)單的模型，稱為馬爾可夫鏈。這項(xiàng)技術(shù)以安德烈·馬爾可夫（Andrey Markov）命名，他是一位俄羅斯數(shù)學(xué)家，于1906年引入了這種統(tǒng)計(jì)方法來(lái)模擬隨機(jī)過(guò)程的行為。在機(jī)器學(xué)習(xí)中，馬爾可夫模型長(zhǎng)期以來(lái)一直用于下一個(gè)單詞的預(yù)測(cè)任務(wù)，例如電子郵件程序中的自動(dòng)完成功能。

在文本預(yù)測(cè)中，馬爾可夫模型通過(guò)查看前一個(gè)單詞或前幾個(gè)單詞來(lái)生成句子中的下一個(gè)單詞。但由于這些簡(jiǎn)單模型只能回望到那么遠(yuǎn)，它們?cè)谏煽尚盼谋痉矫娌⒉簧瞄L(zhǎng)，麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)Tommi Jaakkola 教授解釋說(shuō)，他也是CSAIL和數(shù)據(jù)、系統(tǒng)與社會(huì)研究所（IDSS）的成員。

“我們?cè)谶^(guò)去的十年之前就已經(jīng)開(kāi)始生成東西，但這里的主要區(qū)別在于我們可以生成的對(duì)象的復(fù)雜性以及我們可以訓(xùn)練這些模型的規(guī)模，”他解釋說(shuō)。

就在幾年前，研究人員往往專注于找到一種機(jī)器學(xué)習(xí)算法，以最好地利用特定數(shù)據(jù)集。但這個(gè)焦點(diǎn)發(fā)生了一些變化，許多研究人員現(xiàn)在使用更大的數(shù)據(jù)集，可能包含數(shù)億甚至數(shù)十億的數(shù)據(jù)點(diǎn)，以訓(xùn)練能夠取得令人印象深刻結(jié)果的模型。

ChatGPT及其類似系統(tǒng)的基礎(chǔ)模型的工作方式與馬爾可夫模型非常相似。但一個(gè)重大區(qū)別在于ChatGPT更大、更復(fù)雜，具有數(shù)十億個(gè)參數(shù)。而且它經(jīng)過(guò)了大量的數(shù)據(jù)訓(xùn)練，本例中主要是互聯(lián)網(wǎng)上的大量公開(kāi)文本。

在這龐大的文本語(yǔ)料庫(kù)中，單詞和句子以特定的依賴關(guān)系序列出現(xiàn)。這種重復(fù)幫助模型理解如何將文本劃分為具有一定可預(yù)測(cè)性的統(tǒng)計(jì)塊。它學(xué)習(xí)這些文本塊的模式，并利用這一知識(shí)提出可能出現(xiàn)的下一步。

更強(qiáng)大的架構(gòu)

盡管更大的數(shù)據(jù)集是導(dǎo)致生成人工智能蓬勃發(fā)展的一個(gè)催化劑，但各種重大研究進(jìn)展也導(dǎo)致了更復(fù)雜的深度學(xué)習(xí)架構(gòu)。

在2014年，蒙特利爾大學(xué)的研究人員提出了一種稱為生成對(duì)抗網(wǎng)絡(luò)（GAN）的機(jī)器學(xué)習(xí)架構(gòu)。GAN使用兩個(gè)協(xié)同工作的模型：一個(gè)學(xué)習(xí)生成目標(biāo)輸出（如圖像），另一個(gè)學(xué)習(xí)區(qū)分真實(shí)數(shù)據(jù)和生成器輸出。生成器試圖欺騙鑒別器，并在此過(guò)程中學(xué)會(huì)生成更逼真的輸出。圖像生成器StyleGAN就是基于這類模型的。

一年后，斯坦福大學(xué)和加利福尼亞大學(xué)伯克利分校的研究人員引入了擴(kuò)散模型。通過(guò)迭代地改進(jìn)其輸出，這些模型學(xué)會(huì)生成新的數(shù)據(jù)樣本，這些樣本類似于訓(xùn)練數(shù)據(jù)集中的樣本，并被用于創(chuàng)建看起來(lái)逼真的圖像。擴(kuò)散模型是文本到圖像生成系統(tǒng)穩(wěn)定擴(kuò)散的核心。

2017年，谷歌的研究人員推出了 Transformer架構(gòu)，該架構(gòu)后來(lái)被用于開(kāi)發(fā)大型語(yǔ)言模型，如驅(qū)動(dòng)ChatGPT的模型。在自然語(yǔ)言處理中， Transformer將文本語(yǔ)料庫(kù)中的每個(gè)單詞編碼為Token，然后生成一個(gè)關(guān)注圖，捕捉每個(gè)Token與所有其它Tokens的關(guān)系。這個(gè)關(guān)注圖幫助 Transformer在生成新文本時(shí)理解上下文。

這只是許多可以用于生成人工智能的方法之一。

系列應(yīng)用

各種方法的共同之處在于它們將輸入轉(zhuǎn)換為一組Tokens，這些Tokens是數(shù)據(jù)塊的數(shù)值表示。只要您的數(shù)據(jù)可以轉(zhuǎn)換為這種標(biāo)準(zhǔn)的標(biāo)記格式，理論上，您可以應(yīng)用這些方法生成看起來(lái)相似的新數(shù)據(jù)。

Isola表示：“您的效果可能有所不同，這取決于您的數(shù)據(jù)有多嘈雜以及信號(hào)有多難提取，但它確實(shí)越來(lái)越接近通用CPU可以接收任何類型數(shù)據(jù)并以統(tǒng)一方式開(kāi)始處理的方式。” 這為生成人工智能開(kāi)辟了大量的應(yīng)用領(lǐng)域。

例如，Isola的研究團(tuán)隊(duì)正在使用生成人工智能創(chuàng)建合成圖像數(shù)據(jù)，這些數(shù)據(jù)可以用于訓(xùn)練另一個(gè)智能系統(tǒng)，例如通過(guò)教計(jì)算機(jī)視覺(jué)模型如何識(shí)別物體。

Jaakkola 的研究團(tuán)隊(duì)正在使用生成人工智能設(shè)計(jì)新穎的蛋白質(zhì)結(jié)構(gòu)或指定新材料的有效晶體結(jié)構(gòu)。他解釋說(shuō)，就像生成模型學(xué)習(xí)語(yǔ)言的依賴關(guān)系一樣，如果向其展示晶體結(jié)構(gòu)，它可以學(xué)習(xí)使結(jié)構(gòu)穩(wěn)定且可實(shí)現(xiàn)的關(guān)系。

麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系和IDSS和信息與決策系統(tǒng)實(shí)驗(yàn)室的成員 Andrew和Erna Viterbi 教授Devavrat Shah表示，盡管生成模型可以實(shí)現(xiàn)令人難以置信的結(jié)果，但它們并不是所有類型數(shù)據(jù)的最佳選擇。對(duì)于涉及對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)測(cè)的任務(wù)，例如電子表格中的表格數(shù)據(jù)，生成人工智能模型往往被傳統(tǒng)的機(jī)器學(xué)習(xí)方法超越。

引起警示

生成人工智能聊天機(jī)器人現(xiàn)在正在呼叫中心中用于回答人類顧客的問(wèn)題，但這個(gè)應(yīng)用凸顯了實(shí)施這些模型可能存在的一個(gè)潛在問(wèn)題 — 工人被替代。

此外，生成人工智能可能繼承和傳播存在于訓(xùn)練數(shù)據(jù)中的偏見(jiàn)，或者放大仇恨言論和虛假陳述。這些模型有能力抄襲，并且可以生成看起來(lái)像是由特定人類創(chuàng)作者制作的內(nèi)容，這引發(fā)了潛在的版權(quán)問(wèn)題。

另一方面，Shah提出，生成人工智能可以賦予藝術(shù)家們力量，他們可以使用生成工具幫助他們制作可能在其他情況下無(wú)法制作的創(chuàng)意內(nèi)容。

在未來(lái)，他認(rèn)為生成人工智能將改變?cè)S多學(xué)科的經(jīng)濟(jì)學(xué)。

Isola看到生成人工智能的一個(gè)有希望的未來(lái)方向是在制造領(lǐng)域的應(yīng)用。他認(rèn)為，與其讓一個(gè)模型制作一張椅子的圖像，也許它可以生成一張可以生產(chǎn)的椅子計(jì)劃。

他還看到生成人工智能系統(tǒng)在開(kāi)發(fā)更智能的“智能體”方面有未來(lái)的用途。

Isola表示：“這些模型的工作方式與我們認(rèn)為人腦的工作方式有所不同，但我認(rèn)為也存在相似之處。我們有能力在腦海中思考和夢(mèng)想，提出有趣的想法或計(jì)劃，我認(rèn)為生成人工智能是賦予代理執(zhí)行這些任務(wù)的工具之一。”

本文轉(zhuǎn)載自 ??MoPaaS魔泊云??，作者： Adam Zewe