如何低成本、便捷地使用大模型?看亞馬遜云科技解鎖生成式 AI 的方法
原創(chuàng)如今,我們進(jìn)入到“百模大戰(zhàn)”時(shí)代,科技公司紛紛推出自己的大模型,想在人工智能賽道上搶占先機(jī)。然而,大模型要想發(fā)揮更大的價(jià)值,還應(yīng)更加深入千行百業(yè),加速在實(shí)體產(chǎn)業(yè)落地,為社會(huì)創(chuàng)造更大的價(jià)值。
和諸多企業(yè)推出自己的大模型方法不同,亞馬遜云科技則選擇搭建基礎(chǔ)模型平臺(tái)服務(wù),便于用戶(hù)可以使用成熟的第三方模型以及亞馬遜云科技自研的大模型,降低使用生成式 AI 的技術(shù)門(mén)檻。
亞馬遜云科技全球產(chǎn)品副總裁 Matt Wood 博士在接受采訪(fǎng)時(shí)表示,生成式AI是整個(gè)技術(shù)行業(yè)的巨大突破,能夠以前所未有的方式在支持和處理數(shù)據(jù)。亞馬遜云科技的目標(biāo)就是用盡可能簡(jiǎn)單的方法,幫助客戶(hù)構(gòu)建自己的大語(yǔ)言模型。
亞馬遜云科技全球產(chǎn)品副總裁 Matt Wood 博士
降低使用門(mén)檻,解鎖生成式 AI 價(jià)值
生成式 AI 正在重塑各行各業(yè),可以釋放超越傳統(tǒng)界限的創(chuàng)新,將我們推向未知的領(lǐng)域。亞馬遜對(duì)于生成式AI的發(fā)展感到非常興奮,各個(gè)部門(mén)都在生成式 AI 方面夜以繼日地來(lái)開(kāi)展工作,制定工作計(jì)劃,來(lái)提升各種能力,為在這個(gè)領(lǐng)域取得成功而努力。在云服務(wù)方面,亞馬遜云科技也在踐行以低成本、簡(jiǎn)單的方式,幫助客戶(hù)來(lái)使用生成式 AI 的技術(shù)和工具,加速企業(yè)創(chuàng)新變革,實(shí)現(xiàn)生成式AI帶來(lái)的價(jià)值。
首先,在模型訪(fǎng)問(wèn)方面,亞馬遜云科技認(rèn)為不會(huì)有一個(gè)單一的模型可以包辦一切。Matt Wood 表示,“企業(yè)不能依賴(lài)一個(gè)萬(wàn)能的、單一的大語(yǔ)言模型來(lái)應(yīng)對(duì)各種任務(wù),并且這個(gè)大模型還是由其他人來(lái)掌控。企業(yè)應(yīng)該可以訪(fǎng)問(wèn)多個(gè)模型,根據(jù)自己的需求和數(shù)據(jù),以私密和安全的方式來(lái)定制自己企業(yè)的模型。”為此,亞馬遜云科技推出了 Amazon Bedrock 服務(wù),包括了第三方提供的生成式 AI 模型 Anthropic Claude、AI21Labs 和 Stability AI,還有亞馬遜云科技自研的預(yù)訓(xùn)練基礎(chǔ)模型 Amazon Titan。借助 Amazon Titan 系列基礎(chǔ)模型,客戶(hù)可以根據(jù)自身需求,在大語(yǔ)言模型的基礎(chǔ)之上,使用自己的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化模型的構(gòu)建和訓(xùn)練。
第二,亞馬遜云科技提供一個(gè)安全和私密的環(huán)境,讓企業(yè)可以定制自己的大模型,并且進(jìn)行優(yōu)化和調(diào)優(yōu)等工作。亞馬遜云科技提供企業(yè)虛擬私有云中的專(zhuān)用節(jié)點(diǎn),企業(yè)可以使用自己的數(shù)據(jù)進(jìn)行模型的訓(xùn)練和優(yōu)化,并將模型和數(shù)據(jù)存儲(chǔ)到 Amazon S3 中,亞馬遜云科技會(huì)對(duì)其進(jìn)行加密。當(dāng)企業(yè)再次使用時(shí),只需要加載到專(zhuān)用節(jié)點(diǎn)即可。
第三,亞馬遜云科技通過(guò)定制的芯片,用于基礎(chǔ)模型的訓(xùn)練和推理,極大地提升性能,同時(shí)盡可能降低成本和延遲。在模型訓(xùn)練方面,亞馬遜云科技自研的訓(xùn)練芯片 Amazon Trainium 所支持的計(jì)算實(shí)例Trn1n 是網(wǎng)絡(luò)增強(qiáng)型的實(shí)例,相比于 Trn1 網(wǎng)絡(luò)帶寬提升了 1 倍,達(dá)到 1.6 TB,旨在為大型的網(wǎng)絡(luò)密集型的模型訓(xùn)練來(lái)使用。在推理方面,亞馬遜云科技的 Inferentia2 實(shí)例,相比第一代芯片不僅吞吐量提升了 4倍、延遲降低了 10 倍,還實(shí)現(xiàn)了加速器之間的超高速網(wǎng)絡(luò)連接,并且將云中推理成本降到最低。
第四,為了提高企業(yè)生成力,亞馬遜云科技推出了為開(kāi)發(fā)者提供的代碼生成服務(wù) Amazon CodeWhisperer。開(kāi)發(fā)者可以通過(guò)自然語(yǔ)言提示,系統(tǒng)就可以生成他們所需要的代碼,極大地提升用戶(hù)的開(kāi)發(fā)體驗(yàn)。目前,Amazon CodeWhisperer 支持 15 種不同的編程語(yǔ)言,未來(lái)還會(huì)加入更多的編程語(yǔ)言。
Matt Wood 強(qiáng)調(diào),亞馬遜云科技與眾不同之處就是,要確保提供的生成式AI是普遍可用的,并以極低的成本以及盡可能低的延遲來(lái)向用戶(hù)交付服務(wù),并確保操作或者運(yùn)維性能的最優(yōu)化。
打造模型平臺(tái)+自研模型,降低大模型使用門(mén)檻
在生成式 AI 方面,產(chǎn)業(yè)界普遍的做法是自己研發(fā)大模型,然后對(duì)外開(kāi)放,并且支持企業(yè)定制化,生成某個(gè)行業(yè)或某個(gè)企業(yè)的大模型。
而亞馬遜云科技的做法是,打造一個(gè)大模型的平臺(tái)服務(wù)Amazon BedRock,接入市場(chǎng)上優(yōu)秀的已經(jīng)訓(xùn)練過(guò)的模型,方便企業(yè)可以直接使用。同時(shí),該平臺(tái)也提供亞馬遜云科技自研的基礎(chǔ)模型 Amazon Titan,便于企業(yè)訓(xùn)練自己的大模型。
Matt Wood 指出,企業(yè)可以直接通過(guò)已經(jīng)訓(xùn)練過(guò)的或者預(yù)訓(xùn)練模型開(kāi)啟自己的大模型之旅,而無(wú)需自己投入時(shí)間和資金從零開(kāi)始訓(xùn)練?!翱蛻?hù)可以立即使用穩(wěn)定且經(jīng)過(guò)驗(yàn)證的基礎(chǔ)模型,從而構(gòu)建他們自己專(zhuān)用的模型。這也是我們?nèi)∶麨椤瓵mazon Bedrock’的原因,它是一個(gè)基石,為客戶(hù)提供堅(jiān)實(shí)且可快速使用的基礎(chǔ)?!?/span>
目前,亞馬遜云科技根據(jù)客戶(hù)的需求,挑選了行業(yè)領(lǐng)先的模型,對(duì)接在Amazon Bedrock服務(wù)中,包括 Stability AI、Anthropic 和 AI21 Labs 三個(gè)外部模型。Matt Wood 表示,未來(lái)會(huì)有越來(lái)越多的第三方模型出現(xiàn),同時(shí)也會(huì)有更多的 Amazon Titan 模型供客戶(hù)選擇。但是,亞馬遜云科技不會(huì)將 Amazon Bedrock 做成類(lèi)似應(yīng)用市場(chǎng)那樣的模型市場(chǎng)。
亞馬遜云科技在挑選基礎(chǔ)模型時(shí),會(huì)挑選非常新穎、有趣、有用、與眾不同,并且確保它們是低時(shí)延的,具有廣泛可用的運(yùn)維性能的模型。Matt Wood 表示,最終,在 Amazon Bedrock 服務(wù)中會(huì)形成幾十個(gè)拳頭模型產(chǎn)品。此外,企業(yè)也可以通過(guò) Amazon SageMaker JumpStart 來(lái)選擇其他基礎(chǔ)模型進(jìn)行訓(xùn)練,從而形成自己的自建模型。
如今,市場(chǎng)上的大模型都屬于通用目的型模型,這些模型廣泛適用于各種類(lèi)型的問(wèn)題,但是深度不夠,即博而不淵,對(duì)一定的市場(chǎng)場(chǎng)景比較合適,例如聊天機(jī)器人、搜索工作等。但是,絕大多數(shù)客戶(hù)還是希望模型在特定領(lǐng)域能有更深入的理解和解決問(wèn)題的能力,即使用面可以不廣博但要具有足夠的深度。
Matt wood 表示,企業(yè)可以通過(guò)使用 Amazon Bedrock,來(lái)選擇他們需要的模型,然后在 Amazon Bedrock 通過(guò)微調(diào)的方式就可以極大地來(lái)提升模型性能,使得模型輸出的結(jié)果與用戶(hù)特定的使用案例以及使用場(chǎng)景是高度匹配的。因此,當(dāng)大模型在回答特定類(lèi)型的問(wèn)題或者解決相關(guān)難題的時(shí)候,就能夠給出更加深入的解決方案。
目前,已經(jīng)有許多行業(yè)模型在亞馬遜云科技的平臺(tái)之上進(jìn)行訓(xùn)練。例如,彭博社在亞馬遜云科技上面運(yùn)行了非常大的一個(gè)金融服務(wù)模型。Matt Wood 表示,企業(yè)會(huì)根據(jù)自己的行業(yè)來(lái)選擇相應(yīng)的基礎(chǔ)模型,然后對(duì)模型進(jìn)行訓(xùn)練。此外,客戶(hù)還會(huì)根據(jù)自身情況來(lái)補(bǔ)充添加獨(dú)有的、私有信息,從而使模型的輸出結(jié)果和他們提出的問(wèn)題或者需求高度相關(guān)。