挑戰(zhàn)OpenAI!以色列AI21 Labs推最新語(yǔ)言模型:侏羅紀(jì)-X
最近,AI21 Labs完成了6400萬(wàn)美元的B輪融資,公司估值為6.64億美元。本輪融資由阿倫創(chuàng)新資本基金牽頭,Mobileye首席執(zhí)行官兼聯(lián)合創(chuàng)始人Amnon Shashua、Walden Catalyst、Pitango、TPY Capital和Mark Leslie參與,使得A21 Labs的總?cè)谫Y額達(dá)到1.185億美元。
AI21 Labs由Goshen、Shashua和斯坦福大學(xué)教授Yoav Shoham于2017年共同創(chuàng)立。該公司的第一款產(chǎn)品是Wordtune,這是一種人工智能驅(qū)動(dòng)的寫(xiě)作輔助工具,旨在與Grammarly競(jìng)爭(zhēng),它在用戶輸入內(nèi)容時(shí)給予新的措辭建議。去年8月,AI21發(fā)布了平臺(tái)AI Studio,并推出了對(duì)于Jurassic-1模型「即用即付 」的服務(wù)-開(kāi)發(fā)者可以根據(jù)其要求的獨(dú)特?cái)?shù)據(jù)集進(jìn)行定制模型以及微調(diào)。
Jurassic-1系列模型可用于轉(zhuǎn)述(如從產(chǎn)品描述中生成簡(jiǎn)短的產(chǎn)品名稱),從文本中提取數(shù)字,按主題或類別標(biāo)記電子郵件和筆記。這些模型還可以通過(guò)Wordtune中被稱為Wordtune Read的功能來(lái)總結(jié)內(nèi)容,包括文章、報(bào)告和PDF文件的片段。
然而由于語(yǔ)言模型是被互聯(lián)網(wǎng)上的大量數(shù)據(jù)(包括社交媒體)訓(xùn)練出來(lái)的,因此它們能夠根據(jù)在訓(xùn)練過(guò)程中遇到的類似語(yǔ)言生成有毒和有偏見(jiàn)的文本。AI21 Labs的模型也不例外。
雖然AI21 Labs要求客戶同意使用條款政策和使用指南,但它還沒(méi)有對(duì)其API產(chǎn)生的潛在有毒內(nèi)容實(shí)施過(guò)濾。對(duì)此,AI21 Labs表示其模型比GPT-3「略微少一些偏見(jiàn)」,并說(shuō)他們?cè)谑謩?dòng)審查并微調(diào)模型以打擊濫用。
而據(jù)Goshen說(shuō),Jurassic-1模型的最新版本Jurassic-X使用了所謂的「模塊化推理知識(shí)系統(tǒng)」,用在線計(jì)算器和貨幣轉(zhuǎn)換器等「離散推理專家」來(lái)增強(qiáng)其答案。Jurassic-X可以回答用自然語(yǔ)言表述的「非平凡」數(shù)學(xué)運(yùn)算,以及簡(jiǎn)化可能絆倒其他語(yǔ)言模型的「復(fù)雜」問(wèn)題。相較于Jurassic-1,Jurrasic-X克服了前身模型不擅于推理、更新昂貴、不能有效處理時(shí)序數(shù)據(jù)等缺點(diǎn)。
當(dāng)然,值得注意的是,AI21 Labs還沒(méi)有委托對(duì)其Jurassic-X模型與其他商業(yè)語(yǔ)言模型進(jìn)行比較,所以目前的全部依據(jù)僅來(lái)自聲明。
該公司最近的營(yíng)銷噱頭并沒(méi)有給人帶來(lái)巨大的信心,相反令人質(zhì)疑。6月,AI21 Labs推出了一個(gè)以已故最高法院法官露絲-巴德-金斯伯格(Ruth Bader Ginsburg)的法律意見(jiàn)為模型的聊天機(jī)器人。然而一些人工智能技術(shù)專家將其定性為誤導(dǎo)。AI21 Labs在回應(yīng)批評(píng)時(shí)表示,該聊天機(jī)器人「只是一個(gè)實(shí)驗(yàn)」,并承認(rèn)它可以給出不準(zhǔn)確的回答,應(yīng)該「謹(jǐn)慎對(duì)待」。
對(duì)于此輪融資,Goshen表示,新資金將用于研發(fā),特別是開(kāi)發(fā)更大、更復(fù)雜的語(yǔ)言模型,以及招聘人才。AI21 Labs目前擁有120名員工,他們計(jì)劃在今年年底前再招聘約50名員工,以對(duì)抗宏觀經(jīng)濟(jì)趨勢(shì)。
當(dāng)被問(wèn)及收入時(shí),Goshen拒絕透露確切的數(shù)字,以及對(duì)增長(zhǎng)的估計(jì)。他表示,Studio有數(shù)百個(gè)「付費(fèi)客戶和設(shè)計(jì)合作伙伴」,但他也不愿意透露這些人的名字。此外他還說(shuō)有超過(guò)1萬(wàn)名免費(fèi)計(jì)劃的用戶,而Wordtune則有「數(shù)百萬(wàn)」用戶。
鑒于訓(xùn)練復(fù)雜模型的成本,投資者可能面臨巨大的擴(kuò)張壓力。
AI21 Labs自己的研究表明,開(kāi)發(fā)一個(gè)具有15億個(gè)參數(shù)(即模型用于生成和分析文本的變量)的文本生成模型的費(fèi)用高達(dá)160萬(wàn)美元。而Jurassic-1模型包含了1780億個(gè)參數(shù),這還不包括為模型提供服務(wù)的托管費(fèi)用;AI21 Labs 表示,它保留了美國(guó)和國(guó)外「幾家」第三方云提供商的服務(wù)。
「缺乏市場(chǎng)知識(shí)是因?yàn)檎Z(yǔ)言模型技術(shù)還是新生并且剛被采用。」Goshen說(shuō),「有了新的資金,AI21 Labs將繼續(xù)履行其使命來(lái)建立具有前所未有的自然語(yǔ)言理解和生成能力的AI系統(tǒng)。」
「隨著越來(lái)越多的公司遷移到遠(yuǎn)程工作,人們需要用文字傳達(dá)他們通常會(huì)口頭分享的內(nèi)容。我們專有的大型語(yǔ)言模型的核心能力允許攝取大量的企業(yè)數(shù)據(jù)使用......自定義的內(nèi)容創(chuàng)建、總結(jié)和分類。」
你看好AI21嗎?