譯者 | 李睿

審校 | 重樓

在當(dāng)今數(shù)據(jù)生成量呈指數(shù)級(jí)增長(zhǎng)的時(shí)代，組織必須有效地利用這些豐富的信息來(lái)保持其競(jìng)爭(zhēng)優(yōu)勢(shì)。有效地搜索和分析客戶(hù)數(shù)據(jù)（例如確定用戶(hù)對(duì)電影推薦或情感分析的偏好），在推動(dòng)明智決策和增強(qiáng)用戶(hù)體驗(yàn)方面發(fā)揮著至關(guān)重要的作用。例如，流媒體服務(wù)可以采用向量搜索來(lái)推薦適合個(gè)人觀看歷史和收視率的電影，而零售商可以分析客戶(hù)情緒來(lái)微調(diào)營(yíng)銷(xiāo)策略。

對(duì)于數(shù)據(jù)工程師來(lái)說(shuō)，他們的任務(wù)是實(shí)施這些復(fù)雜的解決方案，確保組織可以從龐大的數(shù)據(jù)集中獲得可操作的見(jiàn)解。本文探討了使用Elasticsearch進(jìn)行向量搜索的復(fù)雜性，重點(diǎn)介紹了優(yōu)化性能的有效技術(shù)和最佳實(shí)踐。通過(guò)對(duì)個(gè)性化營(yíng)銷(xiāo)的圖像檢索和客戶(hù)情感聚類(lèi)的文本分析案例的研究，展示了優(yōu)化向量搜索如何導(dǎo)致改進(jìn)的客戶(hù)交互和顯著的業(yè)務(wù)增長(zhǎng)。

什么是向量搜索？

向量搜索是一種強(qiáng)大的方法，通過(guò)將數(shù)據(jù)點(diǎn)表示為高維空間中的向量來(lái)識(shí)別數(shù)據(jù)點(diǎn)之間的相似性。這種方法對(duì)于需要根據(jù)屬性快速檢索相似項(xiàng)的應(yīng)用程序特別有用。

向量搜索圖解

考慮下圖，它描述了向量表示如何實(shí)現(xiàn)相似性搜索：

• 查詢(xún)嵌入：查詢(xún)“有哪些好看的科幻電影？”被轉(zhuǎn)換成向量表示，例如[0.1,0.2，…], 0.4]。
• 索引：將這個(gè)向量與存儲(chǔ)在Elasticsearch中的預(yù)索引向量（例如，來(lái)自AppA和AppB等應(yīng)用程序）進(jìn)行比較，以查找類(lèi)似的查詢(xún)或數(shù)據(jù)點(diǎn)。
• k-NN搜索：使用k-近鄰（k-NN）等算法，Elasticsearch可以有效地從索引向量中檢索最匹配的內(nèi)容，幫助快速識(shí)別最相關(guān)的信息。

這種機(jī)制使Elasticsearch在推薦系統(tǒng)、圖像搜索和自然語(yǔ)言處理等用例中表現(xiàn)出色，在這些用例中，理解場(chǎng)景和相似性是關(guān)鍵。

使用Elasticsearch進(jìn)行向量搜索的關(guān)鍵優(yōu)勢(shì)

（1）高維支持

Elasticsearch擅長(zhǎng)管理復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，這對(duì)人工智能和機(jī)器學(xué)習(xí)應(yīng)用程序至關(guān)重要。在處理多方面數(shù)據(jù)類(lèi)型（如圖像或文本數(shù)據(jù)）時(shí)，這種能力至關(guān)重要。

（2）可擴(kuò)展性

其架構(gòu)支持水平擴(kuò)展，使組織能夠在不降低性能的情況下處理不斷擴(kuò)展的數(shù)據(jù)集。隨著數(shù)據(jù)量的持續(xù)增長(zhǎng)。

（3）整合

Elasticsearch與Elastic堆棧無(wú)縫協(xié)作，為數(shù)據(jù)攝取、分析和可視化提供了全面的解決方案。這種整合確保數(shù)據(jù)工程師可以利用統(tǒng)一的平臺(tái)來(lái)處理各種數(shù)據(jù)處理任務(wù)。

優(yōu)化向量搜索性能的最佳實(shí)踐

1.降低向量維度

降低向量維度可以顯著提高搜索性能。像PCA（主成分分析）或UMAP（統(tǒng)一流形逼近和投影）這樣的技術(shù)有助于在簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)的同時(shí)保持基本特征。

示例：使用PCA進(jìn)行降維

以下是如何使用Scikit-learn在Python中實(shí)現(xiàn)PCA：

Python 
 from sklearn.decomposition import PCA
 import numpy as np

 # Sample high-dimensional data
 data = np.random.rand(1000, 50) # 1000 samples, 50 features

 # Apply PCA to reduce to 10 dimensions
 pca = PCA(n_compnotallow=10)
 reduced_data = pca.fit_transform(data)

 print(reduced_data.shape) # Output: (1000, 10)

2.有效指數(shù)

利用近似最近鄰（ANN）算法可以顯著加快搜索時(shí)間。考慮使用：

• HNSW（分層可導(dǎo)航小世界）：以其性能和準(zhǔn)確性的平衡而聞名。
• FAISS (Facebook AI相似度搜索）：針對(duì)大型數(shù)據(jù)集進(jìn)行了優(yōu)化，并能夠利用GPU加速。

示例：在Elasticsearch中實(shí)現(xiàn)HNSW

可以在Elasticsearch中定義索引設(shè)置來(lái)利用HNSW，如下所示：

JSON 
 PUT /my_vector_index
 {
 "settings": {
 "index": {
 "knn": true,
 "knn.space_type": "l2",
 "knn.algo": "hnsw"
 }
 },
 "mappings": {
 "properties": {
 "my_vector": {
 "type": "knn_vector",
 "dimension": 10 // Adjust based on your data
 }
 }
 }
 }

3.批量查詢(xún)

為了提高效率，在單個(gè)請(qǐng)求中批量處理多個(gè)查詢(xún)可以最大限度地減少開(kāi)銷(xiāo)。這對(duì)于具有高用戶(hù)流量的應(yīng)用程序特別有用。

示例：Elasticsearch中的批中處理

可以使用_msearch端點(diǎn)進(jìn)行批量查詢(xún)：

JSON 
 POST /_msearch
 { "index": "my_vector_index" }
 { "query": { "match_all": {} } }
 { "index": "my_vector_index" }
 { "query": { "match": { "category": "sci-fi" } } }

4.使用緩存

為頻繁訪(fǎng)問(wèn)的查詢(xún)實(shí)現(xiàn)緩存策略，以減少計(jì)算負(fù)載并縮短響應(yīng)時(shí)間。

5.監(jiān)控性能

定期分析性能指標(biāo)對(duì)于識(shí)別瓶頸至關(guān)重要。像Kibana這樣的工具可以幫助可視化這些數(shù)據(jù)，從而對(duì)Elasticsearch配置進(jìn)行明智的調(diào)整。

調(diào)優(yōu)HNSW中的參數(shù)以提高性能

優(yōu)化HNSW包括調(diào)整某些參數(shù)，以在大型數(shù)據(jù)集上獲得更好的性能：

• M（最大連接數(shù)）：增加此值可以提高召回率，但可能需要采用更多內(nèi)存。
• EfConstruction（構(gòu)建過(guò)程中的動(dòng)態(tài)列表大小）：數(shù)值越大，圖形越準(zhǔn)確，但會(huì)增加索引時(shí)間。
• EfSearch（搜索過(guò)程中的動(dòng)態(tài)列表大小）：調(diào)整這個(gè)會(huì)影響速度和準(zhǔn)確性的權(quán)衡；較大的值獲得更好的召回率，但需要更長(zhǎng)的計(jì)算時(shí)間。

示例：調(diào)整HNSW參數(shù)

可以像這樣調(diào)整索引創(chuàng)建中的HNSW參數(shù)：

JSON 
 PUT /my_vector_index
{
 "settings": {
 "index": {
 "knn": true,
 "knn.algo": "hnsw",
 "knn.hnsw.m": 16, // More connections
 "knn.hnsw.ef_construction": 200, // Higher accuracy
 "knn.hnsw.ef_search": 100 // Adjust for search accuracy
 }
 },
 "mappings": {
 "properties": {
 "my_vector": {
 "type": "knn_vector",
 "dimension": 10
 }
 }
 }
}

案例研究：客戶(hù)數(shù)據(jù)應(yīng)用中降維對(duì)HNSW性能的影響

個(gè)性化營(yíng)銷(xiāo)的圖像檢索

在客戶(hù)數(shù)據(jù)應(yīng)用的圖像檢索系統(tǒng)中，降維技術(shù)發(fā)揮著至關(guān)重要的作用。在一項(xiàng)研究中，研究人員應(yīng)用主成分分析（PCA）在用分層可導(dǎo)航小世界（HNSW）網(wǎng)絡(luò)對(duì)圖像進(jìn)行索引之前進(jìn)行降維。PCA顯著提高了檢索速度，這對(duì)于處理大量客戶(hù)數(shù)據(jù)的應(yīng)用程序至關(guān)重要——盡管這是以信息減少導(dǎo)致的輕微精度損失為代價(jià)的。為了解決這個(gè)問(wèn)題，研究人員還研究了統(tǒng)一流形近似和投影（UMAP）作為替代方案。UMAP更有效地保存了本地?cái)?shù)據(jù)結(jié)構(gòu)，保留了個(gè)性化營(yíng)銷(xiāo)建議所需的復(fù)雜細(xì)節(jié)。雖然UMAP需要比PCA更大的計(jì)算能力，但它在搜索速度和高精度之間取得了平衡，使其成為準(zhǔn)確性關(guān)鍵任務(wù)的可行選擇。

客戶(hù)情感聚類(lèi)的文本分析

在客戶(hù)情緒分析領(lǐng)域，另一項(xiàng)研究發(fā)現(xiàn)，UMAP在聚類(lèi)相似文本數(shù)據(jù)方面優(yōu)于PCA。UMAP允許HNSW模型以更高的準(zhǔn)確性對(duì)客戶(hù)情緒進(jìn)行聚類(lèi)，這在理解客戶(hù)反饋和提供更個(gè)性化的響應(yīng)方面具有優(yōu)勢(shì)。UMAP的使用使HNSW中的EfSearch值更小，提高了搜索速度和精度。聚類(lèi)效率的改進(jìn)可以更快地識(shí)別相關(guān)的客戶(hù)情緒，增強(qiáng)有針對(duì)性的營(yíng)銷(xiāo)工作和基于情緒的客戶(hù)細(xì)分。

整合自動(dòng)化優(yōu)化技術(shù)

優(yōu)化降維和HNSW參數(shù)對(duì)于最大限度地提高客戶(hù)數(shù)據(jù)系統(tǒng)的性能至關(guān)重要。自動(dòng)化優(yōu)化技術(shù)簡(jiǎn)化了這一調(diào)整過(guò)程，確保所選配置在各種應(yīng)用程序中都是有效的：

• 網(wǎng)格和隨機(jī)搜索：這些方法提供了廣泛和系統(tǒng)的參數(shù)探索，有效地識(shí)別合適的配置。
• 貝葉斯優(yōu)化：該技術(shù)通過(guò)更少的評(píng)估縮小了最優(yōu)參數(shù)的范圍，從而節(jié)約計(jì)算資源。
• 交叉驗(yàn)證：交叉驗(yàn)證有助于跨各種數(shù)據(jù)集驗(yàn)證參數(shù)，確保其適用于不同的客戶(hù)數(shù)據(jù)場(chǎng)景。

應(yīng)對(duì)自動(dòng)化的挑戰(zhàn)

在降維和HNSW工作流中集成自動(dòng)化可能會(huì)帶來(lái)挑戰(zhàn)，特別是在管理計(jì)算需求和防止過(guò)擬合方面。克服這些挑戰(zhàn)的策略包括：

• 減少計(jì)算開(kāi)銷(xiāo)：使用并行處理來(lái)分配工作負(fù)載可以減少優(yōu)化時(shí)間，提高工作流效率。
• 模塊化集成：模塊化方法有助于將自動(dòng)化系統(tǒng)無(wú)縫集成到現(xiàn)有工作流中，從而降低復(fù)雜性。
• 防止過(guò)擬合：通過(guò)交叉驗(yàn)證進(jìn)行穩(wěn)健的驗(yàn)證，確保優(yōu)化的參數(shù)在數(shù)據(jù)集之間一致執(zhí)行，最大限度地減少過(guò)擬合，增強(qiáng)客戶(hù)數(shù)據(jù)應(yīng)用程序的可擴(kuò)展性。

結(jié)論

為了充分利用Elasticsearch中的向量搜索性能，采用一種結(jié)合降維、高效索引和周到參數(shù)調(diào)優(yōu)的策略至關(guān)重要。通過(guò)整合這些技術(shù)，數(shù)據(jù)工程師可以創(chuàng)建一個(gè)高度響應(yīng)和精確的數(shù)據(jù)檢索系統(tǒng)。自動(dòng)化優(yōu)化方法進(jìn)一步提升了這一過(guò)程，允許不斷改進(jìn)搜索參數(shù)和索引策略。隨著組織越來(lái)越依賴(lài)來(lái)自龐大數(shù)據(jù)集的實(shí)時(shí)見(jiàn)解，這些優(yōu)化可以顯著提升決策能力，提供更快、更相關(guān)的搜索結(jié)果。采用這種方法為未來(lái)的可擴(kuò)展性和改進(jìn)的響應(yīng)能力奠定了基礎(chǔ)，使搜索能力與不斷變化的業(yè)務(wù)需求和數(shù)據(jù)增長(zhǎng)保持一致。

原文標(biāo)題：Optimizing Vector Search Performance With Elasticsearch，作者：Venkata Gummadi