成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

聊聊分布式定時任務elastic-job作業分片策略

開發 前端 分布式
在實際開發種常會遇到需要定時跑批,定時每天執行一次對賬操作等場景。分布式定時任務不僅解決了以上難題,還提供了分片處理提高處理效率、分布式調度協調、彈性擴容縮容、失效轉移等優點。

在實際開發種常會遇到需要定時跑批,定時每天執行一次對賬操作等場景。通常采用定時任務如spring定時框架、ScheduledExecutorService等。但這些都只適于單機,當在多節的情況下會出現定時任務重復執行問題,這時候需要采用分布式定時任務來解決。分布式定時任務不僅解決了以上難題,還提供了分片處理提高處理效率、分布式調度協調、彈性擴容縮容、失效轉移等優點。

[[281994]]

一、常見分布式定時任務有哪些?

當前有很多開源的分布式定時任務,以下列出幾種常用的如:

  • elastic-job:當當開發的彈性分布式任務調度系統,功能豐富強大,采用zookeeper實現分布式協調,實現任務高可用以及分片,并且可以支持云開發。
  • xxl-job: 是大眾點評員工徐雪里于2015年發布的分布式任務調度平臺,是一個輕量級分布式任務調度框架,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。
  • Saturn:是唯品會自主研發的分布式的定時任務的調度平臺,基于當當的elastic-job 版本1開發,并且可以很好的部署到docker容器上。

其中應用得較多的為elastic-job(E-job)與xxl-job (X-job),關于兩者的技術選型這里不做更多具體的討論,下面提供兩者的綜合對比用于參考,可結合實際業務技術場景進行選型

聊聊分布式定時任務elastic-job作業分片策略

二、elastic-job作業分片策略有哪些?

結合實際場景,選擇合適的作業分片策略,進行分片處理可以提高任務的執行效率。以下是elastic-job提供的分片策略

  • AverageAllocationJobShardingStrategy分片策略
  • OdevitySortByNameJobShardingStrategy分片策略
  • RotateServerByNameJobShardingStrategy分片策略
  • 自定義分片策略

[[281995]]

1. AverageAllocationJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.AverageAllocationJobShardingStrategy

策略說明:

基于平均分配算法的分片策略,也是默認的分片策略,作業數能被服務器數整除情況下均勻分配、

聊聊分布式定時任務elastic-job作業分片策略

如果分片不能整除,則不能整除的多余分片將依次追加到序號小(ip地址靠前)的服務器。

聊聊分布式定時任務elastic-job作業分片策略

缺點:平均分片策略,當分片數小于作業服務器數時,作業會被永遠分配在ip地址靠前的服務器,而導致IP地址靠后的服務器空閑。

聊聊分布式定時任務elastic-job作業分片策略

2. OdevitySortByNameJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.OdevitySortByNameJobShardingStrategy

策略說明:

該策略核心思想為根據作業名的哈希值奇偶數決定采用IP升/降序算法實現分片,作業名的哈希值為奇數則IP升序,作業名的哈希值為偶數則IP降序,通過這種方式用于將不同的作業分片負載均衡至不同的服務器。

如作業名哈希值為偶數,則采用IP降序算法實現分片,這樣就避免了采用平均分配算法時IP地址靠后的服務器空閑的問題。

聊聊分布式定時任務elastic-job作業分片策略

其內部采用了平均算法。

聊聊分布式定時任務elastic-job作業分片策略

3. RotateServerByNameJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.RotateServerByNameJobShardingStrategy

策略說明:

根據作業名的哈希值對服務器列表進行輪轉的分片策略,其內部也是采用平均分片算。,

聊聊分布式定時任務elastic-job作業分片策略

4. 自定義分片策略

可通過實現JobShardingStrategy接口并實現sharding方法,可根據需求定制化自己的分片策略,以下是Spring中切換自定義分配策略的配置方式。

聊聊分布式定時任務elastic-job作業分片策略

三、總結

elastic-job 提供的三種分片策略,其總體上都還是使用的還是平均分片算法,不過是將實例進行了不同的排序操作。支持自定義分片策略可更加自身需求定制分片策略。在實際項目應用中多為采用平均分片策略。

責任編輯:趙寧寧 來源: 今日頭條
相關推薦

2024-02-19 00:00:00

分布式定時任務框架

2022-08-09 08:40:37

框架分布式定時任務

2025-01-06 08:53:37

2023-01-04 09:23:58

2021-01-28 07:32:14

框架分布式調度

2022-03-28 07:51:25

分布式定時任務

2020-07-17 09:33:39

CPU內存調度

2022-03-17 09:55:05

架構分布式選型

2022-03-07 11:20:01

分布式代碼微服務

2022-03-23 11:45:39

Quartz數據庫節點

2023-11-30 07:31:08

2015-11-05 10:51:35

當當分布式調度開源項目

2023-02-10 00:04:53

2022-06-13 10:01:36

Apollo攜程框架

2025-03-06 11:30:15

2024-01-22 08:53:00

策略任務RocketMQ

2024-02-26 11:12:33

定時任務線程

2024-09-09 08:11:12

2017-12-20 16:15:30

分布式系統架構

2022-01-17 09:18:28

JMeter分布式壓測
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 精精国产xxxx视频在线播放 | 亚洲一区二区三区免费在线观看 | 国产99久久精品一区二区永久免费 | 久久久成人一区二区免费影院 | 国产精品久久久久久久久久免费 | 亚洲精品自在在线观看 | 色综合天天天天做夜夜夜夜做 | 精品中文字幕久久 | 自拍偷拍亚洲一区 | 欧美黑人体内she精在线观看 | 亚洲午夜电影 | 九九亚洲精品 | 日韩1区| 国产日韩久久 | 黄色一级毛片免费看 | 青青激情网 | 综合久久av | 精品久久久精品 | 精品少妇一区二区三区在线播放 | 国产免费av网 | 亚洲第一区国产精品 | 999久久| 国产在线精品一区二区三区 | 天天操人人干 | 天天爱爱网 | 日本亚洲精品 | 亚洲精品久久视频 | 免费一级欧美在线观看视频 | 久久亚洲欧美日韩精品专区 | 国产一伦一伦一伦 | 精品久久久久久亚洲综合网 | 激情国产 | 青青久久 | 久久精品色欧美aⅴ一区二区 | 九九热精品在线 | 午夜影院在线观看版 | 99精品网 | 色在线看 | 国产在线一区二区三区 | 美女张开腿露出尿口 | 精品videossex高潮汇编 |