一個SSE(流式)接口引發的問題
前言
最近我們公司也是在做認知助手,大模型相關的功能,正在做提示詞,機器人對話相關功能。想要提高用戶體驗,使用SSE請求模式,在不等數據完全拿到的情況下邊拿邊返回。
之前做過一版,但不是流式返回,是等待全部結果再返回,不得不說確實等待過程挺長,然后就有了現在的優化。想著功能都寫好了,只是改一下接口,應該是個簡單的需求。
后端使用的post接口,經過一番搜索,最后使用的fetch。經過短短幾個小時,配置寫好,準備聯調,以為需求就順利完工了。奈何就這流式聯調,還耗了兩天。只因為后端在postman上測試時正常的,然后前端在本地連調就是無法獲取分段式數據,拿到的總是一整塊數據。表現成這樣,我們就開始糾結前端配置是否有誤,網關轉發是否有誤。
就這樣前端也試了好幾種方式去發請求,奈何結果都一樣。想著先測其他部分,這個接口最后測試。意外的是部署在線上的環境竟然能正常接收流式接口!!!那問題可能就是本地與部署線上的區別了,今天主要記錄一下使用的配置。
EventSource
創建EventSource對象:首先,使用new EventSource()構造函數創建一個EventSource對象。該對象將用于與服務器建立連接并接收服務器發送的事件流。
var eventSource = new EventSource('sse_url');
在上面的代碼中,將'sse_url'替換為實際的SSE請求URL。2. 監聽事件:使用EventSource對象的onmessage事件監聽器來接收服務器發送的事件數據。當接收到數據時,事件處理函數將被調用,并可以通過事件對象的data屬性訪問數據。
eventSource.onmessage = function(event) {
console.log('Received data:', event.data);
};
錯誤處理:為了處理可能發生的錯誤,可以使用EventSource對象的onerror事件監聽器。當發生錯誤時,可以在事件處理函數中進行處理。
eventSource.onerror = function(error) {
console.error('SSE error:', error);
};
關閉連接:當不再需要接收事件流時,可以使用EventSource對象的close方法關閉連接。
eventSource.close();
完整的示例代碼如下所示:
var eventSource = new EventSource('sse_url');
eventSource.onmessage = function(event) {
console.log('Received data:', event.data);
};
eventSource.onerror = function(error) {
console.error('SSE error:', error);
};
但是EventSource只支持get請求,配置請求頭也不太友好。
fetch
async function getStream() {
try {
let response = await fetch('url');
if (!response.ok) {
throw new Error('Network response was not ok');
}
const reader = response.body.getReader();
const textDecoder = new TextDecoder();
let result = true;
let output = ''
while (result) {
const { done, value } = await reader.read();
if (done) {
console.log('Stream ended');
result = false;
break;
}
const chunkText = textDecoder.decode(value);
output += chunkText;
console.log('Received chunk:', chunkText);
}
} catch (e) {
console.log(e);
}
}
插件
@microsoft/fetch-event-source 使用方法我就 不放了,看了一下源碼也是基于fetch實現的,網上例子很多,可以看看。
問題
本地運行的環境也是用的代理訪問的部署好的環境的接口。插件是 Node.js 的 HTTP 代理中間件http-proxy-middleware。所以為何同樣的配置,本地運行不行,而部署到環境上就正常了?有大佬遇到過嗎