“ 從訓(xùn)練一個小模型開始，大模型太復(fù)雜小模型剛剛好 ”

有句老話叫眼高手低，最近發(fā)現(xiàn)有些人就是眼高手低的現(xiàn)實案例，在什么都不懂的情況下就想搞大模型，小模型還看不上。

但其實最好的方式是從一個小模型開始，至于原因就是因為小模型相對比較簡單一點，其次就是硬件要求較低，普通人能夠玩的轉(zhuǎn)。

從小模型開始

為什么建議大家從小模型開始，特別是一些開源小模型？

之所以建議大家剛開始以小模型為主，原因就是因為從技術(shù)原理來說，大模型和小模型沒有本質(zhì)上的區(qū)別；只不過大模型和小模型由于量變導(dǎo)致的質(zhì)變，大模型的復(fù)雜度與小模型不能同日而語。

而從學(xué)習(xí)和使用的角度來說，大模型和小模型最大的差距就是對算力的需求；雖然從效果上來說，小模型遠(yuǎn)不如大模型，但學(xué)習(xí)和使用小模型能夠讓我們快速地摸清大模型技術(shù)的脈絡(luò)和主要框架。

最重要的是小模型有很強的實操性，因為其算力成本低，甚至可以在個人電腦上進(jìn)行部署和運維，而且使用個人電腦也可以對它們進(jìn)行訓(xùn)練和微調(diào)，這樣就大大降低了我們的學(xué)習(xí)難度。

以個人的經(jīng)歷來說，在剛開始學(xué)習(xí)大模型技術(shù)的時候，也是和很多人一樣，要學(xué)就學(xué)技術(shù)最牛逼的；但等真的把大模型技術(shù)應(yīng)用到工作之后才發(fā)現(xiàn)，原來大模型技術(shù)也沒有想象中的那么復(fù)雜，但也沒有想象中的那么簡單。

在之前，一直以為訓(xùn)練和微調(diào)一個大模型，至少也要幾千萬條數(shù)據(jù)；但在工作中使用到的一些小模型，只需要幾百，甚至幾十條數(shù)據(jù)就可以完成微調(diào)任務(wù)，而且效果還不錯。

當(dāng)然，這里并不是說自己有多厲害，而是這些開源模型的作者很厲害；經(jīng)過它們精心微調(diào)過的模型，只需要經(jīng)過簡單的調(diào)整就可以適配到相似的業(yè)務(wù)體系中。

而如果繼續(xù)用大模型的思路，去訓(xùn)練和微調(diào)一個大模型，說句實話有幾個企業(yè)能夠支撐的了你的需求？

不說大模型數(shù)據(jù)訓(xùn)練和微調(diào)所需要的資金，算力等問題，就大模型訓(xùn)練所需要的訓(xùn)練和微調(diào)數(shù)據(jù)的收集，就已經(jīng)是一個很大的工程量了。

不知道大家有沒有在抖音上看到過一個用四個月時間訓(xùn)練模型打蚊子的哥們，雖然并不知道他訓(xùn)練模型用了多大的數(shù)據(jù)量，但從他手動標(biāo)注數(shù)據(jù)的情況下，他的數(shù)據(jù)量應(yīng)該不是很大，而且他的操作好像都是在個人主機上完成的。

所以，訓(xùn)練和微調(diào)一個大模型很難，而且因為算力和資金的限制導(dǎo)致很多人無法進(jìn)行真正的實操大模型；因此小模型是一個不錯的選擇，可以根據(jù)自己的喜好和需求，訓(xùn)練一個能夠滿足我們?nèi)粘９ぷ骱蜕畹男∧Ｐ推鋵嵰彩且粋€挺不錯的選擇。

最重要的是只要我們發(fā)揮想象力，那它真的很好玩。

最近，因為工作原因?qū)е卤容^忙，等后續(xù)有空閑時間，也準(zhǔn)備自己訓(xùn)練和微調(diào)一個小模型來完成自己的喜好。到時候會全程分享需求，模型選擇和訓(xùn)練的過程。

最重要的是，大模型技術(shù)的理論看了一大堆，可能很多地方依然不明不白，或者就是覺得自己都看懂了，實際上卻什么都不懂；這時通過自己訓(xùn)練和微調(diào)模型，就能加深自己對大模型技術(shù)的體會與理解。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/B16l-xnxXZUkBrG8Q3QojQ???