大模型的發展趨勢預測——大模型會做的更小,還是做的更大 原創
“ 大模型的發展,類似于計算機的發展由大到小”
最近在抖音上看到360創始人——周鴻祎說他關于大模型的發展的四個趨勢,也就是開源,廉價,專業,小巧。
開源就是以openAI為代表的閉源大模型和Meta/Google為代表的開源大模型的模型大戰;廉價就是大模型的訓練成本會進一步降低,也就是意味著大模型會越來越便宜;專業即垂直領域的大模型會大放異彩;最后小巧是大模型在未來會被移植到手機上。
雖然不知道周鴻祎的預測是否準確,開源與閉源模型的大戰最終會是什么結果;但不可否認的是,大模型的發展不可能是一家獨大,而很可能是多種趨勢并存。
大模型會越來越大
大模型越來越大這是一個趨勢,畢竟根據現有的理論,大模型的參數越多其效果越好,涌現能力越強,這是一個不可爭議的事實,除非出現新的理論能夠顛覆現有的大模型基礎理論。
因此,大模型要想越來越強大,那么大模型變大的可能性就越高;其功能也會更強。
大模型越來越大這是它的優勢,但同樣也是它的劣勢;因為大模型越大,對算力和能源的要求越高,其訓練和維護的成本越高。
這對很對企業來說是無法接受的,因此越來越大的大模型只能有那些巨頭企業或國家才能玩得轉。
越來越大的大模型就類似于超級計算機,其功能強大,但能玩得轉的人特別少。
因此,超大模型的競爭,是大廠之間的競爭,也是國家之間的競爭。
當然,隨著技術的發展,更先進的大模型架構和理論會持續出現,那時的大模型可能會越來越強,越來越小。
大模型越來越小
大模型會變得越來越小,其最終有可能會被安裝到手機等移動設備之上,雖然其功能趕不上大模型,但滿足普通人的日常使用還是有可能的。
而這就類似于現在的智能手機,所謂的智能手機就是把電腦的操作系統給做的更小,功能更強。
當然,雖然大模型的蒸餾和壓縮技術在持續發展,但怎么才能把龐大的模型壓縮到手機能夠支持的體積的同時,還要同時保證大模型的強大功能,還是一個需要研究的課題。
個人預測,大模型的壓縮是一個必須功課的課題;因為在實際應用領域,大模型的離線操作是一個很重要的功能,比如自動駕駛,無人設備等;在惡劣的自然環境或者沒有網絡的情況下,能夠讓設備正常使用。
而這就需要大模型能夠安裝到這些設備之上。
大模型垂直化發展
大模型有大模型的應用場景,小模型有小模型的應用場景;但從功能性和成本考慮,垂直化應用的大模型也必不可少。
畢竟,哪怕是人也有自己擅長和不擅長的方面;大模型也是如此,因此通用大模型在垂直領域的效果就大打折扣;所以垂直化的大模型就成了垂直領域最好的解決方案。
比如說,大模型在法律,金融,教育,航空航天等領域的使用;有些會涉及到國家安全和民生的領域,這時使用一個通用的超大模型,不但具有巨大的安全風險,而且一個模型也無法完全支撐如此龐大的領域。
因此,每個領域有每個領域的“專家模型”就是最好的選擇,沒有之一。
再有就是,類似于互聯網常見的分布式部署方案,通過上層統一架構,可以在底層集成多個大模型來完成需要的功能。
比如360邀約十多家國內的大模型公司,然后基于其自研的架構,可以使得多個模型協作,來達到超越GPT4o的能力;雖然單獨一個模型的表現并不出色,但通過混合模型(狼群戰術),同樣能夠達到GPT4o的效果。
總結
從成本和技術門檻的角度來說,發展垂直化模型是最好的選擇,但同樣其它的方式也不能完全放棄;只有多條腿走路,才能在大模型的競爭中生存下來,并且找到最適合自己的解決方案。
本文轉載自公眾號AI探索時代 作者:DFires
原文鏈接:????https://mp.weixin.qq.com/s/J3lS6oX0FzjrPHqsOWAv2Q???
