一文帶你了解【SFT微調(diào)】與【Unsloth】
社區(qū)頭條 在當(dāng)下流行的幾種大模型微調(diào)方法中,大家經(jīng)常會(huì)看到談?wù)揝FP與Unsloth的文章,那我們應(yīng)該如何了解它們?它們的技術(shù)特點(diǎn)又有哪些?各自應(yīng)用在哪些模型微調(diào)的場(chǎng)景呢?本篇我們帶著這些問題,一起來了解一下。一、SFT微調(diào)技術(shù)介紹監(jiān)督微調(diào)(SupervisedFinetuning,SFT)是一種遷移學(xué)習(xí)(TransferLearning)技術(shù),指的是在已經(jīng)預(yù)訓(xùn)練好的模型(例如大語言模型中的GPT、BERT等)基礎(chǔ)上,使用帶有人工標(biāo)注標(biāo)簽的監(jiān)督數(shù)據(jù),對(duì)模型進(jìn)行進(jìn)...