Manus掀起的智能體風暴，再次逼急了OpenAI。

凌晨，OpenAI突然開啟線上直播，正式放出開發者自主構建智能體的大禮包——

一個全新API、三個內置工具，以及一個開源SDK。

圖片

具體包括：

• 全新Responses API?：將Chat Completions API簡單性與Assistants API工具使用功能相結合，用于構建智能體
• 內置三大工具：網絡搜索?、文件搜索?和計算機使用
• 全新Agents SDK?：用于編排單智能體和多智能體工作流程
• 集成可視化工具：用于追蹤和檢查智能體工作流程執行情況

以往，開發者構建一款智能體應用，需要從不同來源拼湊各種底層API。

這個過程不僅耗時耗力，就像搭積木一樣「搖搖欲墜」，如果一個環節出錯，搭出的智能體系統隨時可能崩盤。

而現在，OpenAI推出的Responses API和一系列工具，直接簡化了核心智能體的邏輯、編排和交互。

與o1 Pro、Deep Research、Operator不同，Responses API是一個「統一API」，可支持多輪交互和工具調用。

圖片

圖片

其中，「網絡搜索工具」可讓模型即時訪問互聯網信息，與驅動ChatGPT Search是同一個工具，在Simple QA中，經過微調后的GPT-4o拿下90%高分，GPT-4o mini得分為88%。

圖片

「文件搜索工具」曾在Assistance API中推出，便捷上傳、分塊、嵌入文檔，以及RAG。現在，新增了兩個新功能「元數據過濾」和「直接搜索端點」。

「計算機使用工具」在API中被稱為Operator，并配備了專門的計算機使用模型（CUA），跟ChatGPT中的Operator使用的是同一款。

結果顯示，模型在多項基準測試中刷新了SOTA——OSWorld中成功率38.1%，在WebArena中達到58.1%，在WebVoyager基于網絡的交互中達到87%。

圖片

從今天開始，計算機使用工具研究預覽版，將向3-5級?的特定開發者開放，輸入價格3美元/每百萬個token，輸出價格12美元/每百萬個token。

另外，奧特曼開源的諾言終于兌現了一部分——Agents SDK?，簡化多智能體工作流管理。

OpenAI還預告，未來幾周和幾個月里，還計劃發布更多工具和功能，進一步簡化和加速在平臺上構建智能體應用。

OpenAI現場演示：幾大全新工具，構建更強大智能體

ChatGPT中已經推出的兩個智能體，我們并不陌生。一個是可以瀏覽網頁、完成各種任務的Operator，一個是能針對任何主題生成詳細報告的Deep Research。

但現在，OpenAI希望把這些工具和更多工具以API的形式發布給開發者。

過去一年里，OpenAI也已經推出了高級推理、多模態交互、新的安全技術等全新功能，這就已經打好了構建智能體所需要的復雜多步驟任務的基礎。

然而，有很多客戶卻反饋說，這些功能很難直接轉換為可以直接工作的智能體，而是需要大量的大量的提示詞迭代和自定義編排邏輯，而且缺乏足夠的可見性和內置支持。

而今天這套全新工具，將把智能體構建帶入next level。

首先介紹的，就是網絡搜索工具。

它允許OpenAI的模型訪問互聯網上的信息，保證用戶得到的結果是最新的和準確的。

圖片

網絡搜索工具與驅動ChatGPT Search的是同一個工具，它在底層由一個經過微調的模型驅動，此模型就是經過微調的GPT-4o 或4o mini。

它非常擅長處理從網絡獲取的大量數據，找到相關的信息片段，并在響應中清晰地引用它們。

在Simple QA中，GPT-4o達到了90%的最佳水平。

圖片

接下來介紹的，是文件搜索工具。

負責展示的OpenAI研究者表示，這是自己最喜歡的工具。

去年，OpenAI就在Assistance API中推出了文件搜索工具，為開發者提供簡便的方式來上傳、分塊和嵌入文檔，并且輕松實現RAG操作。

而今天，他們在文件搜索工具中推出兩個新功能。

第一個是元數據過濾。此功能讓用戶可以為文件添加屬性，輕松篩選出與查詢最相關的內容。

第二個是直接搜索端點。這樣我們就可以直接搜索您的向量存儲，而無需先通過模型過濾查詢。

也就是說，我們可以使用網絡搜索來處理公共數據，用文件搜索來處理私有數據了。

第三個介紹的，就是Computer Use工具。

圖片

它是API中的Operator，可以讓你控制正在操作的計算機，比如一個虛擬機，或者僅有圖形用戶界面而沒有API訪問權限的傳統應用程序。

如果想要自動化這類任務，并在此基礎上構建應用程序，就可以直接使用Computer Use。

圖片

Responses API

另外，OpenAI還希望從基本原則出發，為這些工具設計最佳的API。

2023年推出的Chat Completions和GPT-3.5 Turbo中，所有的API交互都僅限于文本輸入和輸出。

此后，OpenAI又引入了多模態功能，包括圖像、音頻。

此外，像o1 Pro、Deep Research Operator這樣的產品，都需要在后臺執行多輪模型交互和多次工具調用。

因此，他們希望構建一個足夠靈活的API基礎接口，能支持多輪交互和工具調用。

這個新的API，就被命名為Responses API。

在此前的Chat Completions中，只需選擇上下文，選擇一個模型，就能獲得響應。

圖片

而接下來，研究者將展示如何用Responses API構建一個個人造型師助手。

然后就可以直接問它：現在時尚圈的最新流行趨勢是什么？

圖片

不過，它還應該了解用戶的個人喜好。

為此，他們建立了一個向量存儲庫，里面記錄了團隊成員的日常穿搭記錄。在操作中，可以篩選向量存儲中的文件，只顯示與目標用戶相關的內容。

然后就可以問造型助手：Ilan喜歡穿什么，你能總結一下嗎？它立刻給出了準確的總結。

圖片

但是要打造一個更好的助手，我們還需要讓他能從網上獲取最新數據。為此，就要添加網絡搜索工具。

接下來，他們考驗了是否能用文件搜索工具，來了解Kevin小哥的穿衣喜好，然后用網絡搜索工具找到附近讓他感興趣的商店。

模型調用了文件搜索工具，了解Kevin的穿衣風格，然后調用網絡搜索工具，根據他的位置——東京，尋找他喜歡的商店。

讓人驚喜的是，模型只用了一次API調用，就在東京找到了好幾家巴塔哥尼亞專賣店，完全符合Kevin的品味。

圖片

圖片

但是，這還不夠！一個稱職的個人造型助手，應該可以直接幫你購物。

為此，他們添加了Computer Use工具，要求助手幫Kevin買一件黑色巴塔哥尼亞夾克。

在電腦本地運行Docker容器后，把截圖發給模型，它就會分析計算機的狀態，發出下一步指令。

研究者執行操作后，再拍一張截圖發給模型，它就會循環操作，直到任務完成。

圖片

Agents SDK

在實際開發任務中，應用會更復雜，比如我們需要開發一個客服智能體，它要能處理退款，還能回答常見的客服問題、處理訂單和賬單。

為此，OpenAI去年已經發布了一個名為Swarm的SDK，讓智能體的協同調度變得簡單。

今天，他們家決定將Swarm升級為Agents SDK。

研究者Ilan介紹說，自己曾投入大量時間合作企業和開發者，幫他們構建智能體，也親身體會到看似簡單的想法想落地卻十分復雜。

Agents SDK的理念就是：保持簡單，同時用直觀簡便的方式構建更復雜強大的功能。

圖片

比如接下來的考驗就是，不小心訂了太多件巴塔哥尼亞的衣服，所以需要退貨。

本來，可以直接添加一個退貨工具，在提示詞中指示就能實現了，但這就存在一個問題：業務邏輯都混在一起，會讓智能體更難測試。

而如果采用多智能體腳本，就能獨立開發和測試各個模塊。

為此，他們專門引入了一個退貨智能體。Swarm中特別受歡迎的標準Python函數，都被引入了Agents SDK。

圖片

現在，他們已經有了一個造型師智能體，和一個退貨智能體，然后需要實現一個簡單卻強大的概念——任務交接。

它的強大之處就在于，一個智能體處理對話后，將其轉交給另一個智能體時，對話內容保持不變，只需在后臺替換指令和工具，這就能為對話的每個環節加載上下文。

整個流程是這樣的：分類智能體將任務轉到了客服智能體，然后客服智能體主動調用了getPastOrders函數，讓我們看到了Kevin所有的巴塔哥尼亞商品。

本來這種情況需要手動添加調試語句的，但Agents SDK的一大優勢就是內置了監控和追蹤功能。

圖片

在儀表盤中，我們可以看到所有具體交接的過程

以上展示的，都是Agents SDK 提供的開箱即用功能，它甚至還配置了安全防護機制和生命周期事件處理。

而且，它是一個開源框架。只需執行pip install openai-agents，就可以安裝使用了。

在結束之前，Ilan實際執行了一下退款操作。

「你知道嗎？抱歉了，Kevin。把這些都退掉吧。」Ilan打趣的說。「那我穿什么呀？Kevin要被凍著了，」現場大家都笑了出來。

「是啊，讓我們看看。商品還真不少。好了，退回這么多巴塔哥尼亞的商品確實需要點時間。」Ilan開始執行退款。

他在智能體中打出了「get rid of all of them」指令。幾秒鐘后，Kevin的巴塔哥尼亞就全都退款成功了。

圖片

圖片

「那么系統內部是如何運作的？如何進行調試？如何更深入地了解整個過程？」Kevin問道。

對此，Ilan回答說，「我們可以通過追蹤界面來查看所有這些信息。這提供了一種非常簡潔直觀的方式來構建這類應用。」

統一API，4行代碼即可上手

Responses API是OpenAI最新的API基礎組件，旨在利用OpenAI內置的工具構建智能體。

它結合了Chat Completions的簡單性與Assistants API的工具使用能力。隨著模型能力不斷發展，他們相信Responses API將為開發者構建具備自主能力的應用提供更加靈活的基礎。

通過一次Responses API調用，開發者即可借助多個工具和模型交互回合，解決日益復雜的任務。

圖片

作為開始，Responses API將支持新的內置工具，包括網頁搜索、文件搜索和計算機使用。

這些工具旨在協同工作，將模型與現實世界連接起來，從而更高效地完成任務。

此外，它還帶來了若干易用性改進，比如統一的基于項目的設計、更簡單的多態機制、更直觀的流式事件，以及SDK輔助功能（例如response.output_text），以便輕松獲取模型生成的文本輸出。

Responses API專為那些希望在應用中輕松結合OpenAI模型和內置工具的開發者設計，避免了集成多個API或外部供應商的復雜性。

這個API還使得數據更易于存儲在OpenAI平臺上，以便開發者通過追蹤（tracing）和評估（evaluations）等功能衡量智能體的性能。

此外，他們也特別提醒，即使數據存儲在OpenAI上，他們的模型默認也不會使用企業的數據進行訓練。

從今天起，所有開發者均可使用Responses API，且無額外使用費用——相關的token和工具調用將按照他們定價頁面上的標準費率計費。

下圖是Responses API調用文本模型的價格。全部模型的定價可以參考他們的定價頁面。

圖片

地址：https://platform.openai.com/docs/pricing

如需了解更多，可以查看Responses API快速入門指南。

圖片

地址：https://platform.openai.com/docs/quickstart?api-mode=responses

2年磨一劍

OpenAI的研究員Atty Eleti還在X上分享了設計Responses API的故事。

圖片

如今，模型不再局限于文本，而是多模態——能處理圖像、音頻，甚至更多。

他們具備了智能體的能力，可以調用一個或多個工具，甚至在「說話」之前會「思考」。

這些變化，讓OpenAI過去兩年開發的Chat Completions API和Assistants API的短板暴露無遺。

圖片

Atty還貼出了一張加班圖

Chat Completions API是一個無狀態的API，每次調用都需要傳遞全部上下文，對于多模態數據效率極低。而且，它也不支持工具調用，流式處理的實現異常復雜

Assistants API雖然支持工具，但由于設計過于復雜，高抽象帶來的學習曲線讓人望而卻步。后臺處理的架構雖然強大，卻犧牲了速度。

由此，?Responses API誕生了，它是OpenAI過去兩年經驗結晶，集合了前者簡潔性和后者強大功能，既容易上手，又能滿足復雜需求。

只需4行代碼，即可上手?Responses API，文件搜索、網絡搜索、函數調用、結構化輸出功能，只要一個參數就搞定。

圖片

這對現有API意味著什么

· Chat Completions API?

OpenAI依舊為Chat Completions API添加新模型和功能。不需要使用內置工具的開發者，可以放心使用Chat Completions。

只要新模型的功能不依賴于內置工具或多次模型調用，就會持續在Chat Completions中發布這些新模型。

不過，Responses API是Chat Completions的超集，且具備相同出色的性能，因此，對于新的集成，OpenAI建議開發者優先選擇Responses API。

· Assistants API

根據開發者在Assistants API測試版期間的反饋，OpenAI將其關鍵的改進融入到了Responses API，使其更加靈活、快速且易于使用。

目前，OpenAI正致力于實現Assistants API與Responses API之間完整的功能對齊，包括對Assistant和Thread等對象，以及Code Interpreter工具的支持。

當這一進程完成后，OpenAI計劃正式宣布棄用Assistants API，預計在2026年中停止使用。屆時，他們將提供清晰的遷移指南，幫助開發者從Assistants API平穩遷移到Responses API，同時完整保留所有數據并遷移應用程序。

在OpenAI正式宣布棄用Assistants API之前，仍將繼續為其提供新的模型更新。

Responses API中的內置工具

網絡搜索

當使用GPT-4o和GPT-4o mini模型時，網絡搜索功能可作為內置工具，并支持與其他工具或函數調用進行組合使用。

值得一提的是，Responses API中的網絡搜索，使用的是和「ChatGPT搜索」同款的模型。

基于此，開發者可以獲得快速、最新的答案，并附帶來自網絡的清晰相關引用。

const response = await openai.responses.create({
    model: "gpt-4o",
    tools: [ { type: "web_search_preview" } ],
    input: "What was a positive news story that happened today?",
});


console.log(response.output_text);

在早期測試中，開發者利用網絡搜索構建了各種應用場景，包括購物助手、研究智能體和旅行預訂助手——所有需要網絡實時信息的應用。

API中使用網絡搜索生成的響應包含源鏈接，如新聞文章和博客文章，讓用戶能夠深入了解更多信息。通過這些清晰的內聯引用，用戶可以更直觀地獲取信息，同時內容所有者也獲得了接觸更廣泛受眾的新機會。

任何網站或發布者都可以選擇?在API的網絡搜索中顯示。

目前，所有開發者都可在Responses API預覽版中使用網絡搜索工具，并且還可以在Chat Completions API中直接使用微調搜索模型gpt-4o-search-preview和gpt-4o-mini-search-preview。

價格?方面，GPT-4o搜索每千次查詢起價30美元，4o mini搜索每千次查詢起價25美元。

文件搜索

文件搜索工具支持多種文件類型、查詢優化、元數據過濾和自定義重排序，可以提供快速、準確的搜索結果。

而且，通過 Responses API，只需幾行代碼就能完成集成。

在經過改進的文件搜索的加持下，開發者可以輕松地從大量文檔中檢索相關信息。

const productDocs = await openai.vectorStores.create({
    name: "Product Documentation",
    file_ids: [file1.id, file2.id, file3.id],
});


const response = await openai.responses.create({
    model: "gpt-4o-mini",
    tools: [{
        type: "file_search",
        vector_store_ids: [productDocs.id],
    }],
    input: "What is deep research by OpenAI?",
});


console.log(response.output_text);

文件搜索工具可用于多種實際場景，包括使客服人員輕松訪問常見問題解答、幫助法律助理為專業人士快速參考往期案例，以及協助編程智能體查詢技術文檔。

同樣的，所有的開發者都可以在Responses API中使用文件搜索工具。

此外，OpenAI還為向量存儲API對象添加了新的搜索端點，可以直接查詢數據用于其他應用程序和API。

價格方面，每千次查詢為2.50美元，文件存儲費用為0.10美元/GB/天，首個GB免費。

計算機使用（CUA）

為了構建能夠完成計算機任務的智能體，開發者可以在Responses API中使用計算機使用工具，該工具由支持Operator的計算機使用智能體（CUA）模型提供支持。

如前所述，這個研究預覽版模型在多項基準上刷新了SOTA。

內置的計算機使用工具能夠捕獲模型生成的鼠標和鍵盤操作，讓開發者能夠將這些操作直接轉換為環境中的可執行命令，從而實現計算機任務的自動化。

const response = await openai.responses.create({
    model: "computer-use-preview",
    tools: [{
        type: "computer_use_preview",
        display_width: 1024,
        display_height: 768,
        environment: "browser",
    }],
    truncation: "auto",
    input: "I'm looking for a new camera. Help me find the best one.",
});


console.log(response.output);

開發者可以使用計算機使用工具，來自動化基于瀏覽器的工作流程，如執行網絡應用程序的質量保證或在傳統系統中執行數據錄入任務。

對于那些缺乏API和標準化數據的企業，就可以利用計算機使用工具自動化復雜的運營流程。

在最近與一家主要社區服務組織的試點項目中，Luminai僅用幾天時間就實現了申請處理和用戶注冊流程的自動化——這是傳統 RPA（機器人流程自動化）經過數月努力都難以實現的。

圖片

在去年通過Operator推出CUA之前，OpenAI進行了廣泛的安全測試和紅隊測試，解決了三個關鍵風險領域：濫用、模型錯誤和前沿風險。

為了應對通過API將CUA功能擴展到本地操作系統帶來的風險，他們又進行了額外的安全評估和紅隊測試。

研究人員還為開發者添加了多重防護措施，包括防止提示詞注入的安全檢查、敏感任務的確認提示、環境隔離工具，以及增強對潛在違規行為的檢測。

盡管采取了這些防護措施，但模型在非瀏覽器環境中仍可能出現意外錯誤。

例如，CUA在OSWorld中成功率僅為38.1%，這表明該模型在操作系統任務自動化方面尚未達到高度可靠性。因此在這些場景中，OpenAI建議還需要有人類的監督。

開源Agents SDK

除了構建智能體的核心邏輯并為其提供工具訪問權限以確保實用性外，開發者還需要管理智能體工作流程。

全新Agents SDK簡化了多智能體工作流程的管理，較2024年發布的實驗性SDK Swarm?有了顯著改進。

目前，Swarm在GitHub上已經有19k星，?已被開發者社區廣泛采用，并在多個客戶中成功部署。

項目地址：https://github.com/openai/swarm

此次，Agents SDK的改進包括：

• 智能體：易于配置的LLM，具有清晰的指令和內置工具
• 交接：智能體之間的智能控制轉移
• 防護機制：可配置的輸入輸出驗證安全檢查
• 追蹤和可視化：通過可視化智能體執行軌跡來調試和優化性能

from agents import Agent, Runner, WebSearchTool, function_tool, guardrail


@function_tool
def submit_refund_request(item_id: str, reason: str):
    # Your refund logic goes here
    return "success"


support_agent = Agent(
    name="Support & Returns",
    instructions="You are a support agent who can submit refunds [...]",
    tools=[submit_refund_request],
)


shopping_agent = Agent(
    name="Shopping Assistant",
    instructions="You are a shopping assistant who can search the web [...]",
    tools=[WebSearchTool()],
)


triage_agent = Agent(
    name="Triage Agent",
    instructions="Route the user to the correct agent.",
    handoffs=[shopping_agent, support_agent],
)


output = Runner.run_sync(
    starting_agent=triage_agent,
    input="What shoes might work best with my outfit so far?",
)

Agents SDK適用于各種實際應用場景，包括客戶支持自動化、多步驟研究、內容生成、代碼審查和銷售潛客開發。

圖片

例如，Coinbase?使用Agents SDK快速開發并部署了 AgentKit，這是一個讓AI智能體能夠無縫連接加密錢包和各種區塊鏈活動的工具包。

Coinbase僅用幾小時就將其開發者平臺SDK的自定義操作集成到了一個功能完備的智能體中。

AgentKit的精簡架構簡化了添加新智能體操作的流程，讓開發者能夠更專注于有價值的集成，而不是消耗在復雜的智能體配置上。

Agents SDK可與Responses API和Chat Completions API協同工作。

同時，該SDK也支持其他提供商的模型，只要它們提供Chat Completions類型的API端點。開發者現在就能將其集成到Python代碼庫中，Node.js支持也即將推出。

在設計Agents SDK 時，OpenAI團隊從社區中其他優秀項目獲得啟發，包Pydantic?、Griffe?和MkDocs?。

圖片

2025年，無疑是智能體元年。

OpenAI最新動向，已經釋放出了一個清晰的信號，標志著ChatGPT和開發者工具從簡單問答系統，升級為能在現實世界中實際行動的助手。

參考資料：https://x.com/OpenAI/status/1899476049584599462