從技術的角度來看大模型產業鏈 原創
“ 分工合作才是社會進步的根本,而大模型也是如此,每個人都應該在大模型領域找到自己的位置”
大模型技術雖然指的是以機器學習和神經網絡模型為主的機器學習模型,但大模型并不只是一個獨立的技術,由于其復雜度和對算力和能源的需求,因此大模型整個體系由多層功能組成,而這些層就組成了以大模型為中心的產業鏈集群。
從技術的角度看大模型產業鏈的組成
大模型因為其復雜度決定了其絕對不可能是一個單打獨斗的產業,因此大模型是由多個部分組成的一個產業集群;而今天我們就來討論一下大模型在技術上的組成。
從技術的角度來說,大模型主要由以下幾層功能構成,從上游到下游依次為:
- 算力層
- 模型服務層
- 應用層
算力層
算力層包括兩個方面,一個是硬件算力,一個是集群算力;之所以區分這兩者,原因是其差別還是挺大的。
硬件算力主要包括CPU,GPU和TPU等算力芯片,而從廠家來說主要就是以英偉達為首的芯片公司;從技術的角度來說,任何與信息產業相關的技術都離不開算力芯片的支持,畢竟任何程序都需要芯片去運行。
其次就是集群算力,大模型由于其體積龐大,對算力要求較高,因此單一算力模塊根本無法完成如此大的計算需求;雖然超級計算機由于其出色的性能也能完成大模型的運算需求;但不論從成本上,還是技術上都不是一個好的選擇。因此,以多臺小型機組成的算力集群就是一個比較好的選擇,而這也是云計算的大行其道的原因之一。
而云計算經過這十多年的發展,從一個概念模型發展到如今百花齊放的時代;不論是國內還是國外,提供云計算服務的企業在信息時代都占據著舉足輕重的地位。
模型服務層
在云計算和大數據剛興起的時候,有幾個名詞大家應該都能耳熟能詳,IAAS,PAAS和SAAS;簡單來說就是幾種云服務模式。
而隨著大模型的興起,MAAS——模型即服務成為一種當前大模型服務的主流。
這些云服務的產生,主要歸結于市場對算力的需求;在云計算之前,傳統的算力需求主要由IDC機房來完成;簡單來說就是對很多中小互聯網企業來說,花費幾千甚至幾萬塊錢購買服務器;不但資金壓力大,而且還需要專業的運維人員,所以就有了IDC機房,專門提供服務器的運維,對小企業來說只需要開通一個IDC賬號即可使用。
而隨著云計算的興起,各大云服務商都組建了自己的數據中心,并且提供比IDC機房更加方便和管理的云服務;這時IDC機房變成了云服務商的一個底層組件。
而同樣的道理,大模型的設計,訓練和微調對大部分中小企業來說都是一個難以實現的難題;即使技術上能實現,但也無法承受其巨大的資金成本;因此,各種大模型服務商就應運而生。
剛好,這樣正符合專業的人做專業的事,大模型的訓練和運維交給專業的人員;其它企業只需要在此基礎之上做好上層應用即可。
應用層
如果說算力層和模型服務層是一個大部分人都不需要接觸的東西,那么基于模型服務構建的上層應用就是和我們普通用戶相關的東西了。
應用層簡單來說就是,以大模型的功能為基礎,在上層構建各種垂直領域的應用系統;比如說以AIGC為主的內容生成系統,如文字,圖片,視頻,音樂等;以大數據分析為主的推薦系統,分發系統等。
應用層是一個最具創造力,也最具生命力的一個模塊;開發者可以發揮自己的想象力,把大模型的能力與特定應用場景相結合,來實現各種各樣的奇思妙想的功能。
而我們作為大模型領域的從業者,每個人都可以根據自己的喜好,選擇不同的功能層面,來為大模型技術的發展添磚加瓦。
建議
對大部分人來說,不要想著什么都去做,以大模型為中心,選擇一個適合自己的小的領域,才是最好的選擇;而且,大模型領域如此多的場景和功能,我相信任何對大模型感興趣的開發者都可以找到屬于自己的角色。
?
本文轉載自公眾號AI探索時代 作者:DFires
