有人要膽敢挑戰(zhàn)GPT-3壟斷地位！

GPT-3自問世以來就成為了最大的AI語(yǔ)言模型之一。

不僅可以寫電郵、寫文章、創(chuàng)建網(wǎng)站、甚至是生成用于Python深度學(xué)習(xí)的代碼。

最近，一個(gè)名叫「侏羅紀(jì)」模型號(hào)稱可以打敗GPT-3。

究竟是誰(shuí)這么有勇氣，居然敢如此叫囂？

[[417198]]

不是侏羅紀(jì)公園的恐龍！是Jurassic-1 Jumbo，還在公測(cè)的語(yǔ)言模型！

現(xiàn)在還可以免費(fèi)體驗(yàn)：

https://studio.ai21.com/playground

除了能將Python代碼轉(zhuǎn)成Javascript，這個(gè)語(yǔ)言模型還有什么過人之處？

膽大，但有實(shí)力

在機(jī)器學(xué)習(xí)中，參數(shù)是模型的一部分，從歷史訓(xùn)練數(shù)據(jù)中學(xué)來的。

一般來說，在語(yǔ)言領(lǐng)域，參數(shù)越多，模型就越復(fù)雜。

Jurassic-1 Jumbo這個(gè)模型包含了1780億個(gè)參數(shù)。

一下子就甩開GPT-3足足30億個(gè)參數(shù)！

在詞匯項(xiàng)目上，GPT-3有50000個(gè)。

但Jurassic-1可以識(shí)別包括表達(dá)式、單詞和短語(yǔ)等共250000個(gè)。

涵蓋范圍比GPT-3在內(nèi)的大多數(shù)現(xiàn)有模型更大。

Jurassic-1模型經(jīng)過云訓(xùn)練，在一個(gè)公共服務(wù)上有數(shù)百個(gè)分布式GPU。

token是一種在自然語(yǔ)言中將文本片段分成更小的單元的方法，它可以是單詞、字符或單詞的一部分。

而Jurassic-1訓(xùn)練數(shù)據(jù)集就有3000億個(gè)token，全都是從維基百科、新聞出版物、StackExchange等英語(yǔ)網(wǎng)站編譯而來的。

模型的訓(xùn)練采用傳統(tǒng)的自監(jiān)督和自回歸的形式，對(duì)來自公開資源的3000億個(gè)token進(jìn)行訓(xùn)練。

優(yōu)化程序方面，研究人員對(duì)J1-Large和J1-Jumbo分別使用了1.2×10-4和0.6×10-4的學(xué)習(xí)率，以及200萬和320萬個(gè)token的批大小。

平均每字節(jié)對(duì)數(shù)概率表明模型在不同領(lǐng)域的適用性

研究人員表示，在幾乎所有的語(yǔ)料庫(kù)中，Jurassic-1模型都領(lǐng)先于GPT-3。

在小樣本學(xué)習(xí)的測(cè)試上則各有輸贏，不過平均得分兩個(gè)模型持平。

在基準(zhǔn)測(cè)試中，Jurassic-1回答學(xué)術(shù)和法律問題的表現(xiàn)已經(jīng)能與GPT-3相當(dāng)，甚至表現(xiàn)得更好。

GPT-3需要11個(gè)token，但Jurassic-1只需要4個(gè)，樣本效率大大增加。

當(dāng)然，對(duì)于語(yǔ)言模型來說，最困難的莫過于邏輯和數(shù)學(xué)問題。

而Jurassic-1 Jumbo已經(jīng)可以解決兩個(gè)大數(shù)相加這種非常簡(jiǎn)單的算術(shù)問題。

Jurassic可以解釋某個(gè)單詞的意思

在各種各樣的語(yǔ)言模型面前，Jurassic-1 Jumbo最多只能算是個(gè)后起之秀，也不是什么新奇的模型了。

不過和它的前輩們類似，如果問題描述不清，大概率出現(xiàn)的答案并不是你想要的。

堪稱產(chǎn)品經(jīng)理終結(jié)者。

偏見起來連自己人都「打」

Jurassic-1模型由AI21 Labs公司開發(fā)，會(huì)通過AI21 Labs的Studio平臺(tái)提供服務(wù)。

開發(fā)人員可以在公開測(cè)試版中構(gòu)建虛擬代理和聊天機(jī)器人等應(yīng)用程序原型。

除此之外，在公測(cè)版中，Jurassic-1模型和Studio還能用于釋義和總結(jié)，比如從產(chǎn)品描述中生成簡(jiǎn)短的產(chǎn)品名稱。

根據(jù)新聞內(nèi)容給新聞分類

同時(shí)，開發(fā)者還可以訓(xùn)練自己的Jurassic-1模型，甚至只需要50-100個(gè)訓(xùn)練實(shí)例。

訓(xùn)練完成之后，就可以通過AI21 Studio使用這個(gè)自定義模型。

但是Jurassic-1也一樣面臨其它語(yǔ)言模型的「痛點(diǎn)」：對(duì)于性別、種族和宗教的偏見。

由于模型訓(xùn)練數(shù)據(jù)集中或多或少都會(huì)存在偏見，訓(xùn)練出來的模型也會(huì)跟著「學(xué)壞」。

有研究人員指出，GPT-3等類似的語(yǔ)言模型生成的文本可能會(huì)激化極右翼極端主義意識(shí)形態(tài)和行為。

Jurassic模型的輸出面臨預(yù)設(shè)場(chǎng)景問題

針對(duì)這一點(diǎn)，AI2 Labs就在限制可以在公測(cè)中生成的文本數(shù)量，打算手動(dòng)審查每個(gè)微調(diào)模型。

不過就算是經(jīng)過微調(diào)的模型也難以擺脫訓(xùn)練過程中「染上的惡習(xí)」。

就像Open AI的Codex，還是一樣會(huì)生成種族主義或者其它令人反感的可執(zhí)行代碼。

雖然是以色列的研究人員開發(fā)的，但大概是受訓(xùn)練數(shù)據(jù)集的影響，Jurassic-1似乎對(duì)猶太人的歧視比GPT-3還更重一些。

在偏見與歧視這個(gè)問題上，各個(gè)模型都是「五十步笑百步」。

不過AI21 Labs的工程師則表示，Jurassic-1模型的偏見比GPT-3少那么一丟丟。