Sentinel是如何實現限流的?
限流是一種通過控制系統對外提供的資源、服務或接口的訪問數量或速率,以保護系統免受過載的一種策略。
它的目的是確保系統能夠在承受范圍內提供穩定和可靠的服務,避免因過多的請求而導致系統崩潰、資源耗盡或響應延遲過高的情況發生。
在 Sentinel 中,實現限流的方法有以下兩種:
- 通過代碼方法實現限流。
- 通過 Sentinel 控制臺設置實現限流。
一、通過代碼實現限流
通過代碼實現限流需要以下兩步方可實現:
- 定義資源
- 通過代碼定義資源。
- 通過注解定義資源。
- 定義限流規則
具體實現如下。
1.定義資源
定義資源可以通過代碼方式或注解方式來實現,具體實現如下。
(1)通過代碼定義資源
可以通過代碼的的方式 SphU.entry("resourceName") 來定義資源,具體實現代碼如下:
@RequestMapping("/getuser")
public String getUser() {
try (Entry entry = SphU.entry("getuser")) {
// 被保護邏輯
return "User";
} catch (Exception e) {
// 限流之后的業務邏輯
return "被限流了";
}
}
PS:SphU 是 Sentinel Protection Hotspot Util 的縮寫,Sentinel 熱點保護工具類。
(2)通過注解方式定義資源
通過注解 @SentinelResource 也可以實現資源的定義,如下代碼所示:
// 定義資源和限流后觸發的方法
@SentinelResource(value = "resourceName", blockHandler = "myBlockHandler")
@RequestMapping("/getnamebyid")
public String getNameById(Integer id) {
return id + "-lei";
}
// 限流后觸發的方法
public String myBlockHandler(Integer id, BlockException blockException) {
String msg = "Do myBlockHandler method.";
System.out.println(msg);
return msg;
}
其中,value 屬性定義的資源名稱,blockHandler 定義的是原方法被限流/降級/系統保護之后執行的方法。
注意事項
- 定義的限流方法 myBlockHandler 必須和原方法的返回值、參數保持一致。
- 限流方法必須添加 BlockException 參數,不然會因為找不到合適的限流后執行方法,而提示以下錯誤:
PS:其中“csp”表示 Concurrent Service Protection,即并發服務保護。
@SentinelResource 注解屬性說明:
- value:資源名稱,必需項(不能為空)。
- entryType:資源調用的流量類型:入口流量(EntryType.IN)和出口流量(EntryType.OUT),注意系統規則只對 IN 生效。
- blockHandler/blockHandlerClass: 限流和熔斷時執行 BlockException 所對應的方法名。
- fallback/fallbackClass:非 BlockException 時,其他非限流、非熔斷時異常對應的方法。
- exceptionsToIgnore:用于指定哪些異常被排除掉,不會計入異常統計中,也不會進入 fallback 邏輯中,而是會原樣拋出。
注:1.6.0 之前的版本 fallback 函數只針對熔斷降級異常(DegradeException)進行處理,不能針對業務異常進行處理。
2.定義限流規則
在 Spring Boot 項目中,只需要將限流規則添加到項目啟動時執行即可,如下代碼所示:
public static void main(String[] args) {
SpringApplication.run(SentinelDemoApplication.class, args);
// 加載限流規則
initFlowRules();
}
而限流規則定義如下:
private static void initFlowRules() {
List<FlowRule> rules = new ArrayList<>();
FlowRule rule = new FlowRule();
rule.setResource("resourceName"); // 資源名稱
rule.setGrade(RuleConstant.FLOW_GRADE_QPS); // 根據 QPS 限流
rule.setCount(1); // QPS 閾值【每秒只允許通過一個請求】
rule.setStrategy(RuleConstant.STRATEGY_DIRECT); // 調用關系限流策略【非必須設置】
rule.setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_DEFAULT); // 流控效果【非必須設置】
rule.setClusterMode(false); // 是否集群限流【非必須設置,默認非集群】
rules.add(rule);
FlowRuleManager.loadRules(rules);
}
其中:
- setStrategy:設置調用關系限流策略,包含的值有:
- 直接(RuleConstant._STRATEGY_DIRECT_)【默認值】
- 鏈路(RuleConstant._STRATEGY_RELATE_)
- 關聯(RuleConstant._STRATEGY_CHAIN_)
- setControlBehavior:設置流控效果,包含的值有:
- 直接拒絕(RuleConstant.CONTROL_BEHAVIOR_DEFAULT)【默認值】
- 冷啟動(RuleConstant.CONTROL_BEHAVIOR_WARM_UP)
- 勻速啟動(RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER)
- 冷啟動+勻速啟動(RuleConstant._CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER_)
二、通過控制臺實現限流
Sentinel 還可以使用控制臺的方式進行限流,不過默認情況下限流規則是保存在內存中,所以重啟之后規則會丟失,默認情況下下的推送流程如下:
它的實現步驟如下:
- 下載并運行 Sentinel Dashboard(控制臺)。
- 在程序中加入并配置 Sentinel Dashboard。
- 在 Sentinel Dashboard 配置限流/熔斷等規則。
- 驗證效果。
1.下載并運行Sentinel控制臺
我們可以從 Sentinel 官方倉庫下載最新版本的控制臺 jar 包,訪問地址:https://github.com/alibaba/Sentinel/releases
使用如下命令啟動控制臺:
java -jar sentinel-dashboard.jar --server.port=18080
從 Sentinel 1.6.0 起,Sentinel 控制臺引入基本的登錄功能,默認用戶名和密碼都是 sentinel。可以參考 鑒權模塊文檔 配置用戶名和密碼,命令如下:
java -Dserver.port=18080 -Dsentinel.dashboard.auth.username=sentinel -Dsentinel.dashboard.auth.password=123456 -jar sentinel-dashboard.jar
Sentinel 控制臺啟動時的可選配置項:
配置項 | 默認值 | 描述 |
server.port | 8080 | 指定端口 |
csp.sentinel.dashboard.server | localhost:8080 | 指定地址 |
project.name | - | 指定程序的名稱 |
sentinel.dashboard.auth.username | sentinel | Dashboard 登錄賬號(需要版本1.6+) |
sentinel.dashboard.auth.password | sentinel | Dashboard 登錄密碼(需要版本1.6+) |
server.servlet.session.timeout | 30分鐘 | 登錄 Session 過期時間(需要版本1.6+) |
配置為 7200 表示 7200 秒 | ||
配置為 60m 表示 60 分鐘 |
2.在程序中加入并配置 Sentinel
在需要進行流控的項目中加入 Sentinel 依賴:
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
在項目中配置 Sentinel Dashboard 地址:
spring:
application:
name: sentinel-dashboard-demo
cloud:
sentinel:
transport:
dashboard: localhost:18080
client-ip: 127.0.0.1
port: 8721
heartbeat-interval-ms: 10000
其中,只有 dashboard 是必輸項,其他的都可以省略,他們的含義如下:
- dashboard:sentinel 控制臺地址。
- client-ip:當前客戶端 IP,不設置自動選擇一個 IP 注冊。
- port:與 sentinel 通訊的端口,如不設置,會從 8719 開始掃描,依次 +1,直到找到未被占用的接口。
- heartbeat-interval-ms:心跳發送周期,默認值是 10s。
3.設置規則
4.新增限流規則
參數說明:
- 針對來源:Sentinel 可以針對調用者進行限流,填寫具體微服務名時,指定對此微服務進行限流 ,默認值為 default(不區分來源,全部限制)。
- 閾值類型/單機閾值:用于限制和控制流量的一種度量標準的類型,可以為 QPS(Queries Per Second,每秒請求數)也可以為“并發線程數”。
- QPS:每秒請求達到此值開始限流。
- 并發線程數:請求此資源的線程達到某個值時限流。每個請求分配一個線程,當請求執行時間長時,很快就會觸發限流,相反如果線程執行速度快,那么限流觸發就會概率就會比較小。
- 流控模式:流量控制模式。
- 直接:接口達到限流條件時,直接限流。
- 關聯:當關聯的資源達到閾值時,就限流自己。
- 鏈路:指定資源從入口資源進來的流量,如果達到閾值,就進行限流。
- 流控效果:流量控制效果。
- 快速失敗:該方式是默認的流量控制方式,比如 QPS 超過任意規則的閾值后,新的請求就會被立即拒絕,拒絕方式為拋出 FlowException。這種方式適用于對系統處理能力確切已知的情況下,比如通過壓測確定了系統的準確水位時。
- 排隊等待(也叫勻速通過):排隊等待會嚴格控制請求通過的間隔時間,讓請求穩定且勻速的通過,可以用來處理間隔性突發的高流量。例如搶票軟件,在某一秒或者一分鐘內有大量的請求到來,而接下來的一段時間里處于空閑狀態,我們希望系統能夠在接下來的空余時間里也能出去這些請求,而不是直接拒絕。在設置排隊等待時,需要填寫超時時間。
- Warm Up:此項叫做預熱或者冷啟動方式,此模式主要是防止流量突然增加時,直接把系統拉升到高水位可能瞬間把系統壓垮,通過"冷啟動",讓通過的流量緩慢增加,在一定時間內逐漸增加到閾值上限,給冷系統一個預熱的時間,避免冷系統被壓垮。當使用 Warm Up 模式時,我們還需要指定啟動時開放的 QPS 比例(DEFAULT_COLD_FACTOR,默認值為 3,代表 30%),以及系統預熱所需時長(warmUpPeriodSec,默認值是 10 秒)。
限流頁面當“是否集群”選中之后,就會是這樣的界面:
其中最后一項“失敗退化”中的 Token Server 含義如下:Token Server 是 Sentinel 用于集群流量控制的關鍵組件,它負責分發令牌并進行流量控制。當 Sentinel 的應用程序配置為集群限流模式時,它會向 Token Server 請求令牌,然后根據令牌情況來進行流量控制。如果 Token Server 不可用,可能是由于網絡故障、Token Server 實例崩潰等原因,這時候無法從 Token Server 獲取令牌。Token Server 配置的含義如下:
- 當配置選項為"是"時:表示當 Token Server 不可用時,Sentinel 會自動切換為單機限流模式。在單機限流模式中,Sentine 會從本地的限流規則進行流量控制,不再依賴 Token Server。這樣可以保證即使 Token Server 不可用,也能夠繼續對流量進行限制。
- 當配置選項為"否"時:表示當 Token Server 不可用時,Sentinel 不會自動切換為單機限流模式,流量控制會被暫停,即無法進行限流,可能會導致服務負載過高。