業界領先的這些大模型,都被一家「收編」了
毋庸置疑,GPT-4 發布是一件足以載入 AI 史冊的大事件。但隨著時間的推移,人們也發現,即使是最先進的大模型也還沒有強大到可以把所有的事情都做完。比如,如果你把一份很長的文本粘貼到 GPT-4 的對話框,它會告訴你文本過長,處理不了(它支持的上下文窗口僅為 32k token,約 2.5 萬漢字)。
再比如,如果你需要算一個超過 8 位數字乘法的運算,或者涉及小數、分數的運算,GPT-4 可能也給不出正確答案(其多位乘法運算準確率僅為 4.3%)。
看起來,現階段我們并沒有實現理想中的「通用人工智能」,強如 GPT-4 也并不完美。這也意味著,對于大模型使用者或者想在其上開發應用的技術人員來說,GPT-4 或許不是唯一的選擇,甚至不是最適合的選擇。
那么,在生成式 AI 的下半場,應用到底應該怎么造?這并不是一個能夠簡單得出答案的問題,很多時候,我們恨不得把現有的比較強的模型都試一下。但即使要做這件事也不容易,因為很多模型在發布的同時其實并沒有提供太多「配套服務」,試用也有成本和代價。
好在,擁有強大基礎設施的亞馬遜云科技也關注到了這些問題。近日正式上線的 Amazon Bedrock 就是奔著「提供更多選擇」和配套服務這一目標來的。
Claude、Llama 2、Stable Diffusion... 超全明星模型庫
除了 ChatGPT,在更多領域中,人們想要應用生成式 AI 還存在肉眼可見的挑戰:我們必須構建專用于生成式 AI 的硬件基礎設施,配合自身數據對大模型進行調優,不斷更新部署,同時還需要保護隱私數據的安全。即使對于科技公司而言,這也是非常復雜的事。
對此,亞馬遜云科技拿出了一套幫助人們建大模型應用的「基礎設施」。
今年 4 月,亞馬遜云科技正式發布 Amazon Bedrock,這是一套生成式 AI 全托管服務,包含業界領先的基礎模型和構建生成式 AI 應用程序所需的一系列功能。
Amazon Bedrock 匯聚了業內幾乎所有領先的基礎大模型,面對不同應用場景,它可以讓人們只需通過單一 API 就能用上來自 AI21 Labs、Anthropic、Cohere、Meta Llama2、Stability AI 等公司的先進大模型來構建自己的應用。
提到亞馬遜,很多人可能都會想到前段時間的一個重要融資事件:他們計劃對 OpenAI 頭號競爭對手 ——Anthropic 投資 40 億美元。
在大模型創業領域,Anthropic 是一個非常耀眼的存在。它由 OpenAI 前研究副總裁 Dario Amodei、GPT-3 論文第一作者 Tom Brown 等人在 2021 年共同創立,其創始成員大多為 OpenAI 的核心員工,他們曾經深度參與過 OpenAI 的 GPT-3,率先提出引入人類偏好的強化學習(RLHF)等技術。
這套強大的陣容打造出了一個同樣耀眼的模型 ——Claude(最新版本是 Claude 2)。在某些方面,這個模型甚至做到了 GPT-4 都沒做到的事情,比如 100k token 的上下文窗口,其代碼生成能力也超過了原版的 GPT-4。這些都是亞馬遜選擇投資 Anthropic 的重要原因。
更重要的是,亞馬遜云科技發布的新聞中有這么一段話:「作為投資協議的一部分,Anthropic 將使用亞馬遜云科技的服務承擔關鍵任務工作負載,合作進行安全研究和未來基礎模型開發。使用亞馬遜云科技的開發人員和工程師將能夠通過 Amazon Bedrock 在 Anthropic 最先進的模型基礎上構建應用。」
沒錯,應用生成式 AI,現在有了新的思路:有人把表現優秀的模型上線到 AI 基礎設施平臺上,讓用戶去選什么是最合適的。為了擴大操作的范圍,Amazon Bedrock 不僅上線了 Claude 2,還有開源界的扛把子 Llama 2 以及口碑同樣很好的 Jurassic-2、Command 等模型。
Jurassic-2 來自 AI21 Labs,是業內規模最大,性能最強的幾種基礎大模型之一。在 Amazon Bedrock 上甚至提供了超千億參數的 Ultra 版本,其可以應用于任何復雜的語言生成任務,例如問答、摘要、長格式副本生成、高級信息提取等,也支持多種語言。
Command 則是另一家明星創業公司 Cohere 推出的,可夠接受用戶個性化命令訓練的文本生成模型。企業用戶在將自己的數據和 Command 結合之后,就可以生成一個面向特定應用的語言模型,能在實際業務中立即發揮作用。在 520 億參數的體量之上,Command 的性能超過了很多更大的模型。
此外,在 ChatGPT 之前就已席卷 AI 圈,擁有強大文生圖能力的 Stable Diffusion 也在他們的模型列表里。
至此,在大模型應用的方向上,一條道路正在變得逐漸清晰。
生成式 AI 落地的全流程服務
最近在業內,人們對于大模型的應用方向逐漸形成了一種思路:利用業內領先的大模型作為基礎模型(Foundation Model),配合自有數據進行訓練和調優,進而構建出面向不同業務場景的應用。亞馬遜云科技把這條路迅速成為了現實,還進一步降低了企業入門的難度。
在 Amazon Bedrock 的基礎之上,企業可以更方便、快速地嘗試各種領先的基礎模型,進行提示工程,完成微調和檢索增強生成(RAG)等動作,使用自身專有數據定制模型。
利用 Amazon Bedrock Agents 工具生成式 AI 應用的開發、部署、管理等 Agent 能力被集合在一起。我們可以像用 AutoGPT 一樣無需編寫任何代碼就能創建出托管代理(AI agent),讓它來指揮大模型執行復雜的任務,如旅行預訂、處理保險索賠、策劃廣告活動和管理庫存等。
只需用自然語言文字寫指令,Agent 就能明白要完成的目標。
在平臺和硬件上,作為專為人工智能打造的平臺,Amazon Bedrock 連接了亞馬遜云科技的基礎設施,從硬件和軟件都對 AI 計算進行了專門的優化,覆蓋大模型從構建、訓練到部署的一系列工作負載。由于 Amazon Bedrock 采用無服務器(Serverless)技術,客戶不必管理任何基礎設施,就能在熟悉的亞馬遜云科技服務平臺上將生成式 AI 能力安全地集成和部署到應用程序中。
想要做大模型的應用,一個繞不過的問題就是算力的成本。最近就有人給微軟 GitHub Copilot 的服務算了筆賬:每月每位用戶收費 10 美元,結果微軟反而還要倒貼 20 美元。
對于亞馬遜云科技這樣的服務廠商而言,提高算力、降低成本的系統性解決方案是其最擅長的事。以使用最先進 AI 芯片英偉達 H100 的 Amazon EC2 P5 為例,它可以為訓練大模型提供高達 20 exaflops 的計算性能。與上一代基于 GPU 的實例相比,訓練時間最多可縮短 6 倍,而訓練成本則可以降低多達 40%。
具體到每 token 的價格上,Amazon Bedrock 上使用 Claude 系列模型的價格相比 GPT 系列有顯著優勢。
當然,Amazon Bedrock 也充分考慮了安全性和隱私保護。客戶可以使用 Amazon PrivateLink 在 Amazon Bedrock 與虛擬私有網絡(VPC)之間建立專門的安全連接,確保任何數據傳輸都不會暴露在公共網絡上。
有趣的是,除了可以高效構建生成式 AI 應用之外,亞馬遜云科技也在其他層面上充分利用技術幫我們提高工作效率,比如利用大模型工具寫有你「自己風格」的代碼。
Amazon CodeWhisperer 是亞馬遜云科技提出的 AI 編碼應用程序,可在 IDE 中生成整行代碼和完整的函數代碼建議,幫人加速完成工作,它在今年 6 月發布了預覽版,并對個人開發者免費。目前它可以幫人們生成的 15 種編程語言的代碼,包括 Python、Java 和 JavaScript。
最近,亞馬遜云科技推出了一項 CodeWhisperer 企業計劃,旨在實現自定義化的 AI 代碼生成和建議服務。基于新功能,用戶可以利用企業內部的代碼存儲庫當訓練數據,讓 AI 相應地調整代碼生成建議,管理員也可以從控制臺管理自定義,在控制臺查看評估指標,估計每個自定義的執行方式,并有選擇地將它們部署給開發人員,保證了企業質量與安全標準。
在開發新技術之外,我們也能應用生成式 AI 提高業務評估和診斷的效率。Amazon QuickSight 提供了生成式 BI 的數據分析功能,它能夠創建交互式儀表盤、分頁報告以及嵌入式分析,同時具備進行自然語言查詢的能力,讓業務分析師能夠更加方便快捷的探索數據,并使用自然語言描述輕松創建可視化報告。
在所有流程上,亞馬遜云科技提供的能力大幅度降低了先進大模型的落地門檻,在人們使用技術領先大模型的同時,消除了管理環境、配置硬件與安全管理的事務,只需要關心業務創新就可以了。
生成式 AI 的變革,應該走這條路
我們知道,生成式 AI 的前景是不可限量的。
隨著門檻被 AI 基礎設施打下來,我們可以展望:在醫療健康領域,讓 AI 自動提取關鍵細節并根據臨床醫生與患者的互動創建文檔摘要;在藥物發現上,使用生成式 AI 工具進行蛋白質折疊、蛋白質序列、對接和分子設計,加速藥物發現和設計過程;在制造業中,生成式 AI 可以通過提取歷史數據實時診斷設備故障,并建議維護操作,例如輸入調整、維修或可能的備件。
利用開箱即用的生成式 AI 服務提升創新效率,更快地構建出實用化應用,或許才是大模型時代創新的正確方式。
如此看來,構建平臺,降低門檻的意義與 Llama2 這樣的重要技術創新可謂同等重要。
正如亞馬遜 CEO Andy Jaessy 所說的:「讓任何人,哪怕他還在自己的宿舍或者車庫里剛剛開始創業之旅,也能獲得與大型企業一樣先進的基礎設施和成本來實現自己的創新。我們希望幫助所有初創企業都有機會成為明天的『巨頭』。」
亞馬遜云科技提供的服務,正在讓眾多這場 AI 浪潮的旁觀者變成參與者。我們可以期待,生成式 AI 會在不遠的未來顛覆更多行業。