前幾天微軟中國的創(chuàng)新技術(shù)總經(jīng)理崔宏禹在上海的未來技術(shù)峰會上提出，GPT-4后不建議在模型上微調(diào)，而是采用把知識庫映射為低維向量嵌入到大模型里就可以了。我以前猜測NEWBING的較為精準(zhǔn)的回答模式就是采用這種方式實現(xiàn)的，從崔總的觀點上看，還是很可能的。

  實際上崔總的觀點主要是依據(jù)于GPT-4的基礎(chǔ)能力已經(jīng)比較強了。利用GPT-4的能力獲取到提問的關(guān)鍵要素，然后利用對低維向量的精準(zhǔn)搜索找到確定的知識，然后再用GPT-4去推理，獲得更為完善的知識，反饋給用戶，一般情況下可以獲得很好的效果。從這段時間我使用NEWBING的體驗來說，這一點我是比較認(rèn)可的，自從擁有了NEWBING以后，我已經(jīng)沒有了再開一個OPENAI的賬號，替代那個被封掉的老賬號的想法了。不過NEWBING在一些十分專業(yè)領(lǐng)域的知識方面依然不盡如人意，回答專業(yè)知識的準(zhǔn)確性也存在很大問題。有些時候我不得不從GOOGLE上獲得更專業(yè)的知識，有些專業(yè)性比較強的知識也需要到GOOGLE上進(jìn)行確認(rèn)。

  這些體驗都說明了GPT-4還不夠完美，針對領(lǐng)域?qū)I(yè)知識的微調(diào)訓(xùn)練似乎還是不可避免的。不知道是我對大語言模型的理解還比較膚淺，還是微軟在NEWBING的工具鏈上有我所不知道的技術(shù)，能夠解決基礎(chǔ)大語言模型在專業(yè)知識領(lǐng)域的能力不足的問題，亦或是崔總的觀點本身在某些專業(yè)領(lǐng)域并不準(zhǔn)確，以我目前在這方面的能力而言，是無法判斷的，還需要多向這方面的專家學(xué)習(xí)。

  奇怪的是，最近這些天崔總的觀點被大量的國產(chǎn)大語言模型的擁有者反復(fù)的復(fù)述，這幾天關(guān)于這方面的話題，發(fā)文者大多數(shù)講述了和崔總類似的觀點，這又讓我感到我是不是遇到了某種知障，沒能理解專業(yè)知識自動化方面的一條正確的途徑。因為在我最近這方面的事件來看，基礎(chǔ)模型如果對某個專業(yè)知識領(lǐng)域的知識過于膚淺，哪怕利用LANGCHAIN整合低維向量化的本地知識庫，其性能也是不太理想的，因此我們目前還在努力提高預(yù)訓(xùn)練模型在某專業(yè)領(lǐng)域知識上的性能。

  上周也和一家從事智能化解決方案的企業(yè)領(lǐng)導(dǎo)交流過關(guān)于大語言模型在運維智能化方面的應(yīng)用，他說他們前幾年就已經(jīng)開發(fā)了完善的應(yīng)用平臺，可以直接通過專業(yè)書籍自動生成應(yīng)答，從而簡化預(yù)訓(xùn)練。我想如果他所說的事情真的做到了，那么將會是十分有價值的，他們在這個領(lǐng)域應(yīng)該可以很快構(gòu)建出大量有價值的應(yīng)用。不過事后我在他們的官網(wǎng)上并沒有看到相關(guān)的應(yīng)用案例，他也沒有和我探討如何在數(shù)據(jù)庫運維領(lǐng)域方面構(gòu)建這方面能力的問題。

  最近和幾個在從事大語言模型輔助智能運維的團隊做了幾次不是很深的交流，感覺大家做的事情都差不多，選擇一款可離線私有化部署的模型，做微調(diào)訓(xùn)練，整合工具鏈和向量化本地知識庫。不過大家做得都還比較淺，沒有看到特別激動人心的成果。

  而在與做智能化算法或者工程方面的朋友交流的時候，他們關(guān)注的往往是模型本身，對行業(yè)知識庫往往興趣不足。以我目前的認(rèn)知而言，高性能的模型?專業(yè)知識庫才是解決問題的關(guān)鍵。但是我目前還沒找到專業(yè)知識庫與高性能模型之間完美結(jié)合的方法。也希望在做這方面工作或者對這方面工作有心得的朋友多交流交流。

  周末的時候做了一個測試性的微調(diào)訓(xùn)練，跑了四十多個小時后我中斷了訓(xùn)練，測試了效果，大體上還是滿意的，于是我用一個近三萬樣本的訓(xùn)練集重新做了訓(xùn)練，大約再過70個小時應(yīng)該有結(jié)果了。裝備太差，做這方面工作真的很鬧心。等有了結(jié)果再和大家交流吧。