實時矢量搜索如何徹底改變各行各業?
譯文譯者 | 布加迪
審校 | 重樓
實時分析技術已經鞏固了其作為眾多行業的基石這一地位。另外,生成式AI具有的魅力吸引了廣泛的關注,創新的解決方案有望為從娛樂到醫療保健的各個行業領域提供前所未有的洞察力。使用生成式AI方法與眾多實時分析技術的融合帶來了顯著的協同效應。它使組織能夠在機會稍縱即逝的情況下發現隱藏的洞察力。
美國前首席數據科學家、領英前首席科學家DJ Patil表示,若要充分利用生成式AI的潛力,就必須開發專注于快速處理數據的能力。
Patil說:“我們今天在大語言模型(LLM)方面看到的大多數東西都是低速數據,非常靜態,沒有更新過。我認為,在接下來的24個月里,我們會在這方面看到進展。”
圖1. 矢量嵌入是某個對象的數值表示
生成式AI的核心革命性技術之一是矢量數據庫。它們好比是精心組織的信息集合,將模式匹配提升到新的高度。矢量嵌入是一種組織數據的方法,因而更容易找到不同數據之間的相似性和關系。到目前為止,矢量數據庫受制于過時的歷史數據。ChatGPT的用戶熟悉這一點:它對2021年9月之后創建的任何信息都一無所知。
為了完全認識到實時生成式AI的巨大潛力,我們需要改變觀點,不再狹隘地認為生成式AI局限于音樂、視覺藝術和散文等創造性領域。雖然這些藝術應用無疑展示了這項技術具有的能力,但生成式AI的應用范圍遠不止這些領域。在來自傳感器和機器的快速移動數據對決策至關重要的眾多領域,它都能起到優化作用。
實時生成式AI將如何改變企業的運營方式?在金融服務業,我認為我們將看到實時矢量搜索徹底改變欺詐檢測和風險評估。通過將歷史交易數據和客戶配置文件編碼為矢量,您可以對照已知的欺詐行為模式快速匹配交易。這將能夠立即識別可疑活動,從而縮短反應時間并減少經濟損失。
此外,風險評估模型將利用實時矢量嵌入來提供對市場狀況的最新評估,從而優化投資決策。不妨以投資銀行使用VWAP為例,VWAP的全稱是交易量加權平均價格,充當一種技術分析工具,以揭示資產價格與其總交易量之間的關系。它為交易員和投資者提供了一種評估股票在特定時間段內交易的平均價格的方法。
不妨把VWAP看作一個潛在的矢量嵌入,每支股票都有相應的矢量嵌入,涉及每個交易柜臺和多個時間窗口,導致每天創建數千個矢量嵌入。現在考慮VWAP只是用于實時做出買入或賣出決定的數十個財務指標之一,需要更多的矢量嵌入。如果每只股票都保持大量定期更新的矢量嵌入以反映市場狀況,它將揭示金融領域前所未有的模式和機會。比如說,“告訴我未來五天內最有可能突破上漲的三只股票”。
物流是另一個很可能迎來變化的領域,生成式AI可與來自車輛、集裝箱、倉庫、輸送系統和包裝系統等的豐富傳感器讀數相結合。通過持續分析動態條件,企業可以優化路線規劃、縮短交貨時間、盡量減少損壞,并降低庫存持有成本。它不僅將簡化物流,還將使組織具備迅速響應不可預見的中斷所需的敏捷性。
實時矢量搜索在國防應用中大有潛力,特別是在威脅搜索和情報分析方面。在這種情況下,矢量嵌入可以表示雷達標記、衛星圖像或截獲的通信模式等特征。實時矢量搜索系統會迅速將傳入的數據與已知威脅和異常的綜合數據庫進行比較。這將使軍事和安全人員能夠迅速查明潛在的威脅,比如新的空中監視機或可疑的部隊動向,并據此做出明智的決定。
任何已經受益于實時分析的行業都會發現,模式匹配方面的這一突破將把現有的用例提升到一個新的水平。在零售業,模式匹配通過將顧客偏好與可售產品相匹配,使推薦系統更加準確。在汽車業,它將通過實時識別物體和道路狀況來改善先進的駕駛輔助系統。在制造業,它將通過快速識別生產線上的瑕疵來優化質量控制。在能源業,它將簡化電網管理和預測性維護,以提高效率。在水電公用事業領域,它將加強基礎設施監控,縮短停機時間,并確保可靠的服務交付。
為了支持這些用例,關鍵的技術轉變是從面向批處理的矢量數據庫轉向實時矢量數據庫。我們看到了像英偉達的GPU矢量搜索框架這樣的創新,它為基于矢量嵌入的實時洞察鋪平了道路。
原文標題:How Real-Time Vector Search Can Be a Game-Changer Across Industries,作者:Chad Meley