7月11日，網宿科技宣布推出一項全新的AI服務——邊緣AI網關，為企業用戶提供安全、可靠、高性能、易觀察的一體化模型服務管理方案，助力開發者的AI構建之旅。

網宿科技CDN產品研發總監曾智全表示，AI已經成為新一輪創新的焦點，很多企業都想要使用AI，但缺乏相關的技術或經驗，網宿在業內率先推出邊緣AI網關，希望幫助企業更好、更簡單、更安全地應用AI。

據悉，網宿邊緣AI網關旨在為企業在模型服務與AI應用之間搭建橋梁，無論是個人開發者還是企業，都可以借助網宿邊緣AI網關，更加簡易地管理和集成模型服務，從而更好地開展AI應用創新。

大模型服務面臨管理、成本與安全挑戰

近年來，GPT大模型的橫空出世，在全球掀起了大模型競賽，隨之而來的，AI在各行各業的應用加速涌現。如今，在應用程序開發中，集成大模型已經成為提升應用體驗和功能深度的普遍趨勢。

在這種背景下，業界誕生了一種新的服務模式，即MaaS（Model as a Service，模型即服務）。模型提供商通過API接口，將大模型能力出租給第三方企業使用，允許企業通過HTTP請求或其他方式與之交互。服務提供商負責模型的更新和維護，企業可以直接享受到最新的模型改進。

不過，當企業使用多個模型或提供商時，面臨著高昂的AI應用成本。而為了最優成本地利用各個AI服務商的模型服務，企業又面臨著管理、運維難題。如何更好的管控模型使用，降低成本支出，同時清晰地洞察AI使用現狀和服務問題，成為各個企業構建AI應用的內在訴求。

另外，需要注意的是，在使用模型服務的過程中，企業還面臨著敏感數據泄露、內容不合規等風險。目前，大多企業組織還未著手解決AI相關風險，或是正在解決中。

“針對以上種種挑戰，業界亟需一種可以降低管理和擴展模型服務難度，提升AI可用性和安全性的方案。網宿邊緣AI網關可以解決這一需求，讓企業和開發人員專注于構建AI應用程序，而不是管理復雜的集成。” 曾智全表示。

網宿邊緣AI網關，多模型服務的可管、可控、可觀察

助力企業把握科技應用創新，一直是網宿科技的使命所在。

曾智全表示，網宿科技在歷次的互聯網應用迭代中，為各類新興應用的規模落地提供了重要的支撐，為全球企業提供了一站式、高效、安全的服務保障，我們所沉淀的完備技術能力以及深厚的場景經驗，可以復用于眼下的AI創新浪潮中，與企業一起在AI時代起跑。

基于對企業需求的洞察，網宿科技在業內率先打造了網宿邊緣AI網關，在行業中開創了新的服務范式。

具體來看，在一般情況下，企業管理其所接入的多個大模型，需要提前做一些集成開發。網宿邊緣AI網關則提供了一個通用、一體化的解決方案。企業可通過統一的控制平臺，創建邊緣AI網關，添加通道，實現與多AI服務商模型對接，并且平臺支持多模型服務的可管、可控、可觀察。

其中，在接入層面，網宿邊緣AI網關提前完成了與多個主流AI服務商的集成，企業開發人員無需頻繁修改代碼，只需在控制臺進行網關配置，一次接入，即可使用多個模型服務，大大提升接入效率。

在管理層面，網宿邊緣AI網關支持特殊配置，企業可以在AI網關上靈活定義優先級、負載均衡、限速等策略，按需配置不同模型服務，實現成本可控或減少濫用，并且企業可在請求失敗情況下實現無縫切換，提升AI服務的可靠性。另外，企業還可以啟用緩存功能，一旦請求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數的消耗，降低成本，提高響應速度。

在運營層面，網宿邊緣AI網關提供數據可視化功能，聚合來自多個模型提供商的指標，支持請求數、tokens數、緩存數、錯誤數等的分析展示，并提供實時日志記錄，讓企業可以觀測和控制模型服務的使用情況，以優化模型服務策略。

網宿邊緣AI網關，多模型服務的安全與性能保障

曾智全進一步介紹，在實現多模型服務的高效接入與管理的同時，網宿邊緣AI網關的核心價值，還在于確保模型服務的安全性、高性能，以及可定制化。

安全性對AI應用至關重要。在安全性方面，企業可在網宿邊緣AI網關上配置提示詞過濾規則或執行內容安全審計，以確保交互內容安全、合規且尊重用戶。

在服務性能上，依托網宿強大的全球資源網絡，用戶就近接入邊緣分布式AI網關，可以確保訪問的穩定性和速度，減少因跨國網絡波動等異常因素對用戶體驗的影響。

尤為值得一提的是，網宿可以支持開發人員在離用戶最近的邊緣位置實現一定程度的無服務化開發。通過將網宿邊緣AI網關和網宿邊緣函數結合使用，靈活定制一些模型調用或中間處理邏輯，1小時內即可上線服務，大幅節省研發人員時間。

據悉，目前，網宿邊緣AI網關已開放限時免費測試，以支撐用戶的AI體驗。而除此之外，網宿深入企業應用，聚焦特定的AI場景，還打造了邊緣向量數據庫、邊緣模型推理服務等，計劃下一步面向公眾開放。

屆時，企業可輕松集成公共或自有模型，通過邊緣AI網關，合理管控模型應用，獲知多模型運行數據，或是與邊緣函數、邊緣KV存儲、應用引擎等組合使用，靈活構建和擴展邊緣AI應用，執行智能問答、內容創作、檢索增強、圖片識別等AI任務。

伴隨AI時代發展，網宿科技在AI領域的能力布局將不斷深化。曾智全表示，網宿科技將持續構建更加敏捷、適應性更強、更安全的AI生態系統，讓更多企業都能擁抱AI，從AI中獲得創新與增長。