僅需3步,穩定快速!火山引擎邊緣大模型網關全面支持DeepSeek系列模型
DeepSeek 作為大模型新銳,憑借其在算法、架構及系統等核心領域的創新突破,迅速獲得業界矚目。在巨大的熱度下,面對海量請求,越來越多用戶遇到了請求失敗、調用超時、結果無法返回等穩定性問題。
火山引擎邊緣大模型網關通過一個 API 接入多家模型服務,利用全球邊緣節點就近調用,提升響應速度;支持故障自動切換、重試和超時控制,確保服務可靠性;兼容 OpenAI 接口標準,可快速集成 DeepSeek 等模型,降低接入成本。
目前,火山引擎邊緣大模型網關已全面支持 DeepSeek 系列模型,可通過兩種方式進行模型使用:
- 一是通過平臺預置模型,邊緣大模型網關新增由火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B,您可直接使用并對其創建網關訪問密鑰,無需與三方模型提供商交互;
- 二是通過自有三方模型,邊緣大模型網關新增由 DeepSeek 開放平臺提供的 DeepSeek R1、DeepSeek V3 以及火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B,您可以將您在第三方模型平臺的密鑰納管至邊緣大模型網關,以實現通過邊緣大模型網關簽發的網關訪問密鑰進行對應模型的訪問與調用。
01 3步快速調用 DeepSeek
火山引擎邊緣大模型網關支持通過一個 API 接口訪問多家大模型提供商的模型與智能體,在端側基于遍布全球的邊緣計算節點就近調用。利用邊緣云基礎架構優勢,提高模型訪問速度,為終端用戶提供更快速、可靠的 AI 服務體驗。
在接入大模型的同時,通過配置調用順序、自動重試、請求超時等能力,能夠實現模型調用失敗自動請求備用模型、單次請求失敗自動重試、單次調用響應時間配置。通過產品化的配置,您可以迅速創建出與 OpenAI 的 API 和 SDK 完全兼容的網關訪問密鑰(API),并通過選配 DeepSeek 模型進行調用,節省大量適配成本,快速完成業務接入。
Step1 選擇 DeepSeek 調用方式
調用平臺預置 DeepSeek
邊緣大模型網關的平臺預置模型中上新了由火山方舟提供的 DeepSeek 模型,您可通過登錄產品控制臺查看支持模型,并通過點擊創建網關訪問密鑰進行勾選。使用平臺預置的模型DeepSeek,您無需與模型提供商進行交互,可以直接通過邊緣大模型網關進行模型配置與調用。
調用自有三方 DeepSeek
如果希望使用在火山方舟平臺或 DeepSeek 開放平臺購買的 DeepSeek 模型調用額度,您需要通過在邊緣大模型網關平臺創建對應模型提供商的調用渠道,在創建調用渠道時,需要提供您在第三方模型平臺的密鑰,同時勾選大模型以明確當前調用渠道可進行調用的模型配置。
完成調用渠道配置后,您可通過創建網關訪問密鑰勾選對應的 DeepSeek 模型,實現大模型的快速調用。
Step2 創建網關訪問密鑰
完成前序的 DeepSeek 模型選擇后,您可在網關訪問密鑰創建的第二步進行模型調用配置,以更好地保障在終端業務調用時的穩定性。
- 通過設置調用順序,您可以手動調整上一步選擇的模型調用順序,可以根據不同廠商的容災策略以及不同尺寸模型的降級進行設置,在前一個模型調用失敗后,大模型網關將依次調用后續模型,直到成功調用一個模型。如果所有模型都調用失敗,則返回錯誤響應。
- 通過重試次數,您可以設置對一個模型進行調用的最大重試次數。當一個模型調用失敗后,大模型網關將重新嘗試調用此模型,直到重試次數耗盡。
- 通過啟用緩存,大模型網關會就近調用結果返回在邊緣節點,從而加快重復查詢、縮短響應時間并降低成本。
- 通過設置緩存的保留時長,一旦超過指定時長,緩存將被清除。
- 通過請求超時定義,您可以設置單次模型調用的超時時長,模型請求發出后,若在超時時長內未收到響應,則判定該請求失敗。
Step3 服務調用與觀測
當您根據上述流程完成網關訪問密鑰創建,您可以在網關訪問密鑰列表中查看已完成創建的信息。在詳情頁面,可以看到基本信息、用量統計、請求方式等詳細信息。
通過詳情頁調用示例,您可以獲得由邊緣大模型網關提供的請求示例代碼,包含 Curl 和 Python。當您從網關訪問密鑰綁定的模型中選擇一個模型后,代碼中的model
參數值將自動替換成模型對應的值。如果網關訪問密鑰綁定了多個同一類型的模型,那么當選擇一個模型后,可以通過單擊右側的圖標查看模型故障轉移的預覽效果。當前模型調用失敗時,大模型網關將依次調用后續的模型。在調用時,您需要將詳情頁-請求方式中的密鑰替換示例代碼中的$VEI_API_KEY
。
邊緣大模型網關可根據您通過網關向模型發出的請求以及模型的響應來統計您的用量。不同模型提供商對模型用量的計量方式有所不同,根據模型調用計量方式,您的調用詳情可以在用量統計中進行查看。
同時,通過云監控-大模型網關模塊,您可以查詢以網關訪問密鑰為維度的總用量(已消耗的 tokens 總量)與用量速率(每秒消耗的 tokens 額度)。