作者 | Tannista

編譯 | 星璇

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

讓ChatGPT準(zhǔn)確回答來(lái)自證券交易委員會(huì)文件的復(fù)雜問(wèn)題，可謂是到處都是坑。

先進(jìn)人工智能模型的出現(xiàn)徹底改變了自然語(yǔ)言處理領(lǐng)域，使機(jī)器能夠以越來(lái)越高的準(zhǔn)確性和復(fù)雜性來(lái)分析、解釋和響應(yīng)人類語(yǔ)言。

然而，盡管這些模型取得了重大進(jìn)步，但一些人工智能助手（例如 ChatGPT）在準(zhǔn)確回答來(lái)自證券交易委員會(huì)文件的復(fù)雜問(wèn)題方面仍然面臨挑戰(zhàn)。

Patronus AI的研究人員發(fā)現(xiàn)，即使是性能最好的 AI 模型配置 OpenAI 的 GPT-4-Turbo，在 Patronus AI 的新測(cè)試中也只能正確回答 79% 的問(wèn)題。

1、Redis與 LangChain 合作

圖片

Redis與LangChain合作開發(fā)出了Redis RAG模板，該模板經(jīng)過(guò)優(yōu)化，可創(chuàng)建事實(shí)一致的LLM聊天應(yīng)用程序。通過(guò)利用Redis作為向量數(shù)據(jù)庫(kù)，該模板確保了快速的上下文檢索和有根據(jù)的提示構(gòu)建，使其成為開發(fā)人員創(chuàng)建聊天應(yīng)用程序的關(guān)鍵工具，提供響應(yīng)和精確的人工智能響應(yīng)。

圖片

Redis RAG 模板是一個(gè) REST API，允許開發(fā)人員與公共財(cái)務(wù)文檔（例如 Nike 的 10k 文件）進(jìn)行交互。該應(yīng)用程序使用 FastAPI 和Uvicorn通過(guò) HTTP 處理客戶端請(qǐng)求。它還使用 UnstructedFileLoader 將 PDF 文檔解析為原始文本，使用 RecursiveCharacterTextSplitter 將文本分割成更小的塊，并使用 HuggingFace 中的“all-MiniLM-L6-v2”句子轉(zhuǎn)換器將文本塊嵌入到向量中。此外，它利用 Redis 作為實(shí)時(shí)上下文檢索的向量數(shù)據(jù)庫(kù)，并利用 OpenAI“gpt-3.5-turbo-16k”LLM 來(lái)生成用戶查詢的答案。

在最近與AIM的互動(dòng)中，Redis 首席技術(shù)官Yiftach Shoolman表示：“你的數(shù)據(jù)無(wú)處不在，在筆記本電腦上，在 AWS s3 上的組織存儲(chǔ)庫(kù)上，在 Google 云存儲(chǔ)上，等等。你需要一個(gè)平臺(tái)將數(shù)據(jù)導(dǎo)入像 Redis 這樣的向量數(shù)據(jù)庫(kù)中，根據(jù)相關(guān)知識(shí)來(lái)進(jìn)行分割”。

2、ChatGPT需要外掛

Shoolman在批評(píng)ChatGPT時(shí)，他說(shuō)：“ChatGPT 不知道任何事情，因?yàn)樗鼪](méi)有接受你的數(shù)據(jù)訓(xùn)練，并補(bǔ)充說(shuō)用戶需要在他們剛剛創(chuàng)建的知識(shí)庫(kù)中查找與其請(qǐng)求相關(guān)的數(shù)據(jù)。

RAG模板提供了可部署的參考架構(gòu)，將效率與適應(yīng)性融為一體，為開發(fā)人員提供了一套全面的選項(xiàng)，以創(chuàng)建事實(shí)一致、由法學(xué)碩士支持的聊天應(yīng)用程序，并具有快速響應(yīng)和精確的 AI 響應(yīng)。

LangChain的可部署體系結(jié)構(gòu)中心還包括特定于工具的鏈、LLM鏈和特定于技術(shù)的鏈，這些鏈減少了部署API時(shí)的摩擦。

圖片

其中，LangServe是部署這些模板的核心，它使用FastAPI將基于LLM的鏈或代理轉(zhuǎn)換為可操作的REST API，增強(qiáng)可訪問(wèn)性，并為生產(chǎn)做好準(zhǔn)備。

原文鏈接：

https://analyticsindiamag.com/ai-models-revolutionised-the-field-of-natural-language-processing/