今天，我們來聊聊 AI 大模型，有一個非常重要概念 "Embedding"。你可能聽說過它，也可能對它一知半解。如果你沒有深入了解過 Embedding，那你就無法真正掌握 RAG 技術(shù)，更不能掌握 AI 大模型精髓所在。

1.什么是大語言模型（LLM）？

LLM 是一種大型語言模型，是一種用于理解、生成和響應類人文本的神經(jīng)網(wǎng)絡，這些模型是在大量文本數(shù)據(jù)上訓練的深度神經(jīng)網(wǎng)絡。

大型語言模型中的“大”指的是模型在參數(shù)方面的大小和它所訓練的龐大數(shù)據(jù)集。這樣的模型通常有數(shù)百億甚至數(shù)千億個參數(shù)，這些參數(shù)是網(wǎng)絡中可調(diào)整的權(quán)重，在訓練過程中進行優(yōu)化，以預測序列中的下一個單詞。

模型微調(diào)，是指在預訓練模型的基礎(chǔ)上，使用特定任務的標注數(shù)據(jù)進行進一步訓練，使模型能夠完成特定的任務。

其特點，建立在預訓練基礎(chǔ)上，利用預訓練模型已經(jīng)學到的語言知識，不需要從零開始訓練。這樣有助于降低訓練的成本，以及縮短訓練時間，能更好快速適應新任務。

2.Embedding 的理解

深度學習模型不能處理原始形式的視頻、音頻和文本等數(shù)據(jù)格式。那怎么辦？因此，我們引入了 “embedding“ ，翻譯為“嵌入“ 。

專業(yè)術(shù)語來講，Embedding 是一種將離散數(shù)據(jù)（如文字、圖像、音頻等）轉(zhuǎn)換為連續(xù)的密集向量表示的技術(shù)，這些向量能夠反映原始數(shù)據(jù)之間的關(guān)系。

現(xiàn)在，很多企業(yè)搭建本地知識庫，常提到的 RAG 技術(shù)，實際上用 Embedding 模型作為基礎(chǔ)工具，來將查詢的詞轉(zhuǎn)換為向量。

Embedding 是 RAG 的基礎(chǔ)工具，而 RAG 是 Embedding 的一種應用場景，這樣就得到一個公式：RAG = Embedding + 檢索 + LLM生成。

如果，你還想更深層次去理解 Embedding 底層細節(jié)原理，建議你去學習或了解相關(guān)數(shù)學概念，如向量空間、線性代數(shù)、矩陣、特征值和特征向量和內(nèi)積和外積等。

今天，這篇文章主要是講大致流程概念，知道這么回事，并沒有過多的深入講解。

3.RAG 又是什么？

RAG 是檢索增強生成（Retrieval-Augmented Generation）的縮寫，它通過結(jié)合檢索系統(tǒng)和生成模型來提高語言生成的準確性和相關(guān)性。

RAG 優(yōu)勢就是能夠在生成響應時引入外部知識，使得生成的內(nèi)容更加準確，也無需訓練。很好解決 LLM 面臨數(shù)據(jù)實時性問題，因為 LLM 訓練是有時截止日期的。

目前，很多企業(yè)搭建自己知識庫時，都是采用 RAG 技術(shù)進行信息檢索。然而為了達到更好效果，企業(yè)一般也會進行內(nèi)部模型微調(diào) Embedding Model，來增加檢索增強生成的能力。