繼OpenAI最近的爭議后，AI工程師和公司開始減少乃至完全擺脫對其API的依賴。

譯自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是 The New Stack 的高級編輯，并撰寫有關(guān) Web 和應(yīng)用程序開發(fā)趨勢的文章。此前，他于 2003 年創(chuàng)立了 ReadWriteWeb，并將其打造成為世界上最有影響力的技術(shù)新聞網(wǎng)站之一。從早期開始...

無論過去幾天圍繞 OpenAI 的劇情如何發(fā)展，有一件事是清楚的:那些依賴 OpenAI API 構(gòu)建的創(chuàng)業(yè)公司現(xiàn)在正在重新思考他們的策略。正如 Shawn "swyx" Wang 在劇情泄露到新聞后不久所指出的那樣，"99% 的 AI 工程師的工作以 OpenAI 模型開始，可能也將以 OpenAI 模型結(jié)束。" 但是現(xiàn)在，Wang 警告說，"OpenAI 霸權(quán)的日子結(jié)束了。"

人們預(yù)計 OpenAI 的競爭對手，如 Anthropic 和 Google，將從中受益；開源 LLM 如 Meta 的 Llama 2 也是如此。但這種動蕩也會滲透到第三方工具中。例如，Swyx 認為，"相對來說，像 LangChain 和 LlamaIndex 這樣與模型無關(guān)的工具，以及模型路由器和網(wǎng)關(guān)，將更有價值。"

歸根結(jié)底，最大的教訓(xùn)是一個熟悉的教訓(xùn)：不要讓你的工作項目或創(chuàng)業(yè)公司依賴于另一家公司的技術(shù)。這是 Twitter 開發(fā)人員早在 2012 年(然后在十年后重新學(xué)習(xí))就吃到了苦頭的事情。

直到上周，AI 工程師們普遍認為 OpenAI 的 LLM 優(yōu)于所有其他 LLM。今年有人談?wù)?/span>開源模型正在趕上。Meta 在 7 月宣布的 Llama 2 目前領(lǐng)先于斯坦福大學(xué)的 HELM(語言模型整體評估)基準排行榜。然而，OpenAI 最新的模型(GPT-4 及以上)還沒有被 HELM 評估——感覺是 GPT 仍然是最好的。

OpenAI 的開發(fā)者體驗也很難打敗，主要是因為你不需要自己訓(xùn)練或微調(diào) LLM。你只需要使用 OpenAI 的 API，然后在它上面做提示工程，在如 LangChain 這樣的工具幫助下。

總的來說，使用 OpenAI 的 API 一直被視為 AI 工程最高效、最簡單的方法。然而，過去幾天的鬧劇生動地展示了依賴一家公司 API 的風(fēng)險。所以，許多 AI 初創(chuàng)公司現(xiàn)在可能會決定，擁有對 LLM 的直接訪問權(quán)限(特別是如果它們是開源的)才是更好的選擇。

評估替代方案

非 OpenAI 的供應(yīng)商已經(jīng)站出來幫助創(chuàng)業(yè)公司測試替代方案。AnyScale 的 Robert Nishihara最近在 X(原 Twitter)上寫道:

“如果你想要并排比較 OpenAI 和開源模型(Llama 2、Mistral、Zephyr 等)，請查看 Anyscale Endpoints。我們提供兼容 OpenAI 的 API(用于推理和微調(diào))。”

即使創(chuàng)業(yè)公司決定繼續(xù)使用 OpenAI 目前市場領(lǐng)先的 GPT 模型，它們也可能決定從 OpenAI 更穩(wěn)定的合作伙伴那里為它們提供服務(wù)：Microsoft。一家名為 Sardine 的 AI 創(chuàng)業(yè)公司的創(chuàng)始人兼 CEO Soups Ranjan 在 X 上評論說：“許多公司可能已經(jīng)將他們的模型服務(wù)直接遷移到了 Microsoft 的 Azure AI API。”的確，Ranjan 證實他的公司就是這么做的。

Ranjan 還建議 AI 創(chuàng)業(yè)公司應(yīng)該通過“跨多個模型編排——如 Google 的 PaLM、Anthropic 的 Claude2 或開源模型 Llama”來使其 LLM 多樣化。

然而，Ranjan 警告說，開源不是簡單的選擇，你需要一個堅實的后端來使其工作。他在 X 上寫道："不要低估 OpenAI 或 Azure 或 Google Cloud 的超級力量——他們擁有世界級的服務(wù)基礎(chǔ)設(shè)施，可以托管這些需要大量 RAM 或定制 GPU 芯片(如英偉達 A100 或 H100)的大型語言模型，而這些芯片供應(yīng)非常緊張。"

但最終它可能是值得的。Ranjan 總結(jié)說："控制你的模型，控制你的命運。"

執(zhí)行 AI 轉(zhuǎn)型

在 LinkedIn 上，AI 創(chuàng)業(yè)家 Aishwarya (AG) Goel 寫了一篇指南，介紹如何讓你的創(chuàng)業(yè)公司擺脫 OpenAI，轉(zhuǎn)向Hugging Face 的開源工具。她概述了如何在該平臺上找到模型，使用 Hugging Face 的推理 API 對其進行測試，進行成本分析，并考慮“無服務(wù)器部署選項”(她自己的公司提供該服務(wù))。

但要當心，更改 LLM 提供商有隱藏的危險。LangChain 是 OpenAI 的重要合作伙伴，可能是除 OpenAI 自身之外使用最廣泛的AI 工程工具，它在一條推文中寫道：“不同的 LLM 通常需要不同的提示策略。”

LangChain 補充說：“切換 API 端點通常是簡單的部分。難點是讓一個 LLM 的表現(xiàn)與另一個 LLM 類似。讓單個 LLM 表現(xiàn)良好就已經(jīng)夠難的了!”

該公司說目前沒有"很好的選擇"來做到這一點，但它建議開發(fā)人員使用其自己的LangSmith Prompt Hub來測試“適用于你正在使用的模型的提示示例”。

是時候擴展業(yè)務(wù)了

在撰寫本文時(美國太平洋時間周三凌晨早些時候)，OpenAI 劇情的最新消息是 Sam Altman 將回任 CEO，并且最終不會加入 Microsoft。如果那確實發(fā)生了，許多 AI 工程師和 AI 創(chuàng)業(yè)公司將舒了一口氣。但他們不應(yīng)忘記這里的基本教訓(xùn)：不要依賴一家公司來運行你的產(chǎn)品！

其中一位已經(jīng)開始測試 OpenAI 替代方案的工程師是 Redis 的創(chuàng)造者 Salvatore Sanfilippo(也稱為 @antirez)。在一條推文中承認他喜歡 ChatGPT 后，他寫道：“如果你的產(chǎn)品使用了 OpenAI API，而你沒有嘗試這個任務(wù)是否可以由微調(diào)(通過 LoRa 或其他方式)的 Mistral 7B 來處理......嗯，在這種情況下，你真的錯過了一些東西。”

如果 Redis 的創(chuàng)造者正在考慮其他選擇——在他的例子中是一個名為Mistral 7B的新的開源 LLM——那么你也許也應(yīng)該這么做。