譯者 | 布加迪

審校 | 重樓

當您瀏覽Twitter、LinkedIn或新聞源上的時間軸時，可能會看到一些關于聊天機器人、LLM和GPT的內(nèi)容。因為每周都有新的LLM發(fā)布，很多人都在談論LLM。

我們目前置身于一場人工智能革命，許多新應用都依賴于向量嵌入。不妨讓我們更多地了解向量數(shù)據(jù)庫以及為什么它們對LLM很重要。

向量數(shù)據(jù)庫的定義

不妨先定義向量嵌入（Vector Embedding）。向量嵌入是一種數(shù)據(jù)表示，它攜帶語義信息，幫助人工智能系統(tǒng)更好地理解數(shù)據(jù)，并能夠保持長期記憶。對于任何您想學的新東西，最重要的部分是理解并記住主題。

嵌入是由人工智能模型生成的，比如含有大量特征的LLM，這使得它們的表示難以管理。嵌入表示數(shù)據(jù)的不同維度，以幫助AI模型理解不同的關系、模式和隱藏結構。

使用基于標量的傳統(tǒng)數(shù)據(jù)庫的向量嵌入是一個挑戰(zhàn)，因為它無法處理或跟上數(shù)據(jù)的規(guī)模和復雜性。鑒于向量嵌入具有的種種復雜性，不難想象它需要專門的數(shù)據(jù)庫。這時候向量數(shù)據(jù)庫就有了用武之地。

向量數(shù)據(jù)庫為向量嵌入的獨特結構提供了經(jīng)過優(yōu)化的存儲和查詢功能。它們提供簡單的搜索、高性能、可擴展性和數(shù)據(jù)檢索，這一切都是通過比較值和查找彼此之間的相似性來實現(xiàn)的。

是不是聽起來很棒？有一種方法可以處理向量嵌入的復雜結構。不過向量數(shù)據(jù)庫很難實現(xiàn)。

就在不久前，向量數(shù)據(jù)庫還只被那些不僅有能力開發(fā)而且有能力管理的科技巨頭所使用。向量數(shù)據(jù)庫成本高昂，因此確保它們經(jīng)過正確校準對于提供高性能非常重要。

向量數(shù)據(jù)庫是如何工作的？

現(xiàn)在我們對向量嵌入和向量數(shù)據(jù)庫有了一定的了解，不妨看看它是如何工作的。

不妨從一個處理ChatGPT等LLM的簡單示例開始。該模型有大量的數(shù)據(jù)和大量的內(nèi)容，它們?yōu)槲覀兲峁┝?/span>ChatGPT應用程序。

不妨看看這些步驟。

1. 作為用戶，您將往該應用程序輸入查詢。

2. 然后您的查詢被插入到嵌入模型中，該模型基于我們想要索引的內(nèi)容創(chuàng)建向量嵌入。

3. 然后向量嵌入移動到向量數(shù)據(jù)庫中。

4. 向量數(shù)據(jù)庫生成輸出，并將其作為查詢結果發(fā)回給用戶。

當用戶繼續(xù)進行查詢時，它將通過相同的嵌入模型來創(chuàng)建嵌入，以查詢該數(shù)據(jù)庫中類似的向量嵌入。向量嵌入之間的相似性基于創(chuàng)建嵌入的原始內(nèi)容。

想知道更多關于其在向量數(shù)據(jù)庫中的工作原理嗎？不妨了解更多。

傳統(tǒng)數(shù)據(jù)庫以行和列的形式存儲字符串和數(shù)字等內(nèi)容。從傳統(tǒng)數(shù)據(jù)庫查詢時，我們查詢的是與查詢匹配的行。然而，向量數(shù)據(jù)庫處理的是向量，而不是字符串等內(nèi)容。向量數(shù)據(jù)庫還運用相似度度量指標，該指標用于幫助找到與查詢最相似的向量。

向量數(shù)據(jù)庫由不同的算法組成，這些算法都有助于進行近似最近鄰（ANN）搜索。這是通過散列、基于圖的搜索或量化來完成的，它們被組裝到一條管道中，以檢索所查詢向量的鄰居。

結果取決于它與查詢的接近程度，因此考慮的主要因素是準確性和速度。如果查詢輸出慢，結果就比較準確。

向量數(shù)據(jù)庫查詢要經(jīng)歷的三個主要階段：

1. 索引

如上例所述，一旦向量嵌入進入到向量數(shù)據(jù)庫中，它就會使用各種算法將向量嵌入映射到數(shù)據(jù)結構，以便更快地進行搜索。

2. 查詢

一旦完成了搜索，向量數(shù)據(jù)庫將查詢的向量與索引的向量進行比較，并運用相似性度量指標來查找最近鄰。

3. 后處理

根據(jù)您使用的向量數(shù)據(jù)庫，向量數(shù)據(jù)庫將對最后的最近鄰進行后處理，以生成查詢的最終輸出。另外，還可能重新排列最近鄰，供將來引用。

結語

隨著人工智能的不斷發(fā)展和新系統(tǒng)的每周發(fā)布，向量數(shù)據(jù)庫的發(fā)展起到了重要作用。向量數(shù)據(jù)庫使公司能夠更有效地與精確的相似度搜索進行交互，為用戶提供更好更快的輸出。

所以下次您在ChatGPT或Google Bard中輸入查詢時，想想它為您的查詢輸出結果所經(jīng)歷的過程。

原文標題：What are Vector Databases and Why Are They Important for LLMs?，作者：Nisha Arya