“大模型+”應用落地時,大模型微調如何兼顧效果、成本和可控性?
10月17日,老牌科技巨頭百度“文心大模型4.0”的發布,讓原本暗潮洶涌的百模大戰再次白熱化。伴隨著越來越多基礎大模型迭代速度的日益加快,“大模型+”的應用拐點正在到來。縱觀全球市場,預計到2030年,AIGC市場規模將超過萬億人民幣,巨大的市場潛力,吸引了各領域科技巨頭的紛紛布局。
但對于絕大多數企業來說,真正的機會并不是從頭開始做ChatGPT這樣的基礎大模型,而是基于通用大語言模型,進行針對性的再訓練、微調、評估和部署,從而開發出適合自身業務場景的應用。然而,企業應該如何匯集底層數據資源、選擇符合企業自身的模型基座,進行模型微調呢?
本次,我們將以易點天下企業內部已全面應用的“AI客服”為例,看大模型微調如何兼顧效果、成本和可控性?
眾所周知,伴隨著人工智能技術的飛速發展,AIGC對內容領域的滲透首當其沖,在開辟新的營銷場景與營銷模式上更是有著極大的想象空間。結合易點天下最新實踐發現,AIGC在營銷領域落地的最佳場景在于兩個核心方面:一是內容生產,二是智能問答。
在內容生產方面,易點天下已于今年7月正式發布了首個AIGC數字營銷創作平臺KreadoAI,為營銷領域全鏈路的降本提質增效,注入新的活力與動能;而在智能問答方面,易點天下在實現“AI客服”內部全面應用化的同時,也在大模型微調方面探索出一條具有參考性的路徑。
易點天下高級技術總監Infi He介紹到:“作為AI時代的一項基礎設施,大模型的誕生,為AI原生應用提供了前所未有的機遇,也為我們的技術團隊提出了更高要求,用好大模型至關重要,尤其是在一些特定AI應用開發場景下,相較于模型預訓練的高成本和長周期,大模型微調可以在成本可控的前提下,快速實現預期效果。”
高質量數據對大模型微調的效果至關重要
大模型微調,高質量的數據是重中之重。如果沒有高質量的數據,在成本有限的前提下,做大模型的SFT監督微調,尤其是對話類任務,并不是一件性價比很高的事情;即使是目前較為流行的LoRA和P-tuning v2等微調方法,在數據有限的前提下,或多或少都會破壞基座模型的通用理解能力,造成很明顯的幻覺、對話能力損傷和災難性遺忘等多個問題。
高質量數據前提下,基座模型的參數量越大微調效果越好
在數據質量較高的前提下,通過對Chatglm2-6B、Baichuan2-7B、Baichuan2-13B、LLama2-7B、Qwen-14B等較為知名開源大模型的橫屏測試發現,基座模型的參數量越大微調效果越好,當基座模型足夠強可達到100B(千億)參數時,即使使用1K的高質量數據也可以獲得較好的微調效果。
資源有限的前提下,強通用能力/強專業能力須取舍
在數據、GPU、成本等資源有限的前提下,強的通用能力與強的專業知識能力不可兼得,需要根據產品定位做取舍。如果希望模型在某個專業領域有較強的專業能力,則可能需要犧牲掉部分通用能力。以AI客服為例,在企業內部使用場景下,如果希望其可對營銷類問題做出快速響應,則需要舍棄掉其在生活類問題上的反饋準確率。
目前,依托于基座模型強大微調效果,易點天下AI客服已覆蓋職能、人力、IT、業務等80%日常詢問場景,企業員工無論何時遇到任何問題,都可以隨時詢問并獲得AI客服7*24h的精準回答,極大提升了企業內部工作效率。
當下,伴隨著AIGC浪潮此起彼伏的持續發展,出海營銷正在經歷新一輪的代際躍遷,從創意內容的生產,到投放策略的自動化,再到效果數據的回收、整體流量的優化,伴隨AI技術的不斷創新,易點天下正以更深入、更廣泛、更快速、更智能的方式重塑著整個出海營銷行業的創作生態系統。下期《MarTech Hub》我們將話題方向聚焦“數據中臺”,一起來看如何將DataOps實踐擴展到業務指標管理。