成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Python任務調度利器：APScheduler

作者：wedo實驗君
開發 后端
本文介紹的是python中的任務調度庫，APScheduler（advance python scheduler）。一起來看一下吧。

 [[320698]]

任務調度應用場景

所謂的任務調度是指安排任務的執行計劃，即何時執行，怎么執行等。在現實項目中經常出現它們的身影；特別是數據類項目，比如實時統計每5分鐘網站的訪問量，就需要每5分鐘定時從日志數據分析訪問量。

總結下任務調度應用場景：

  •  離線作業調度：按時間粒度執行某項任務
  •  共享緩存更新：定時刷新緩存，如redis緩存；不同進程間的共享數據

任務調度工具

  •  linux的crontab， 支持按照分鐘/小時/天/月/周粒度，執行任務
  •  java的Quartz
  •  windows的任務計劃

本文介紹的是python中的任務調度庫，APScheduler（advance python scheduler）。如果你了解Quartz的話，可以看出APScheduler是Quartz的python實現；APScheduler提供了基于時間，固定時間點和crontab方式的任務調用方案， 可以當作一個跨平臺的調度工具來使用。

APScheduler

組件介紹

APScheduler由5個部分組成：觸發器、調度器、任務存儲器、執行器和任務事件。

  •  任務job：任務id和任務執行func
  •  觸發器triggers：確定任務何時開始執行
  •  任務存儲器job stores: 保存任務的狀態
  •  執行器executors：確定任務怎么執行
  •  任務事件event：監控任務執行異常情況
  •  調度器schedulers：串聯任務的整個生命周期，添加編輯任務到任務存儲器,在任務的執行時間到來時，把任務交給執行器執行返回結果；同時發出事件監聽，監控任務事件 。

安裝 

  1. pip install apscheduler 

簡單例子 

  1. from apscheduler.schedulers.background import BackgroundScheduler  
  2. from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor  
  3. from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore  
  4. from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR  
  5. import logging  
  6. import datetime  
  7. # 任務執行函數  
  8. def job_func(job_id):  
  9.     print('job %s is runed at %s' % (job_id, datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))  
  10. # 事件監聽  
  11. def job_exception_listener(event):  
  12.     if event.exception:  
  13.         # todo：異常處理, 告警等  
  14.         print('The job crashed :(')  
  15.     else:  
  16.         print('The job worked :)')  
  17. # 日志  
  18. logging.basicConfig()  
  19. logging.getLogger('apscheduler').setLevel(logging.DEBUG)  
  20. # 定義一個后臺任務非阻塞調度器  
  21. scheduler = BackgroundScheduler()  
  22. # 添加一個任務到內存中   
  23. # 觸發器：trigger='interval' seconds=10 每10s觸發執行一次  
  24. # 執行器：executor='default' 線程執行  
  25. # 任務存儲器：jobstore='default' 默認內存存儲  
  26. # 最大并發數：max_instances  
  27. scheduler.add_job(job_func, trigger='interval', args=[1], id='1', name='a test job', max_instances=10, jobstore='default', executor='default', seconds=10)  
  28. # 設置任務監聽  
  29. scheduler.add_listener(job_exception_listener, EVENT_JOB_EXECUTED | EVENT_JOB_ERROR)  
  30. # 啟動調度器  
  31. scheduler.start() 

運行情況： 

  1. job 1 is runed at 2020-03-21 20:00:38  
  2. The job worked :)  
  3. job 1 is runed at 2020-03-21 20:00:48  
  4. The job worked :)  
  5. job 1 is runed at 2020-03-21 20:00:58  
  6. The job worked :) 

觸發器

觸發器決定何時執行任務，APScheduler支持的觸發器有3種

  •  trigger='interval'：按固定時間周期執行，支持weeks，days，hours，minutes， seconds， 還可指定時間范圍   
  1. sched.add_job(job_function, 'interval', hours=2, start_date='2010-10-10 09:30:00', end_date='2014-06-15 11:00:00') 
  •  trigger='date': 固定時間，執行一次   
  1. sched.add_job(my_job, 'date', run_date=datetime(2009, 11, 6, 16, 30, 5), args=['text']) 
  •   trigger='cron': 支持crontab方式，執行任務
  •   參數：分鐘/小時/天/月/周粒度，也可指定時間范圍     
  1. year (int|str) – 4-digit year  
  2.       month (int|str) – month (1-12)  
  3.       day (int|str) – day of the (1-31)  
  4.       week (int|str) – ISO week (1-53)  
  5.       day_of_week (int|str) – number or name of weekday (0-6 or mon,tue,wed,thu,fri,sat,sun)  
  6.       hour (int|str) – hour (0-23)  
  7.       minute (int|str) – minute (0-59)  
  8.       second (int|str) – second (0-59)  
  9.       start_date (datetime|str) – earliest possible date/time to trigger on (inclusive)  
  10.       end_date (datetime|str) – latest possible date/time to trigger on (inclusive) 
  •   例子           
  1. # 星期一到星期五，5點30執行任務job_function，直到2014-05-30 00:00:00  
  2.            sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour=5, minute=30, end_date='2014-05-30')  
  3.            # 按照crontab格式執行， 格式為：分鐘 小時 天 月 周，*表示所有  
  4.            # 5月到8月的1號到15號，0點0分執行任務job_function  
  5.            sched.add_job(job_function, CronTrigger.from_crontab('0 0 1-15 may-aug *')) 

執行器

執行器決定如何執行任務；APScheduler支持4種不同執行器，常用的有pool(線程/進程)和gevent(io多路復用，支持高并發)，默認為pool中線程池， 不同的執行器可以在調度器的配置中進行配置（見調度器）

  •  apscheduler.executors.asyncio：同步io，阻塞
  •  apscheduler.executors.gevent：io多路復用，非阻塞
  •  apscheduler.executors.pool: 線程ThreadPoolExecutor和進程ProcessPoolExecutor
  •  apscheduler.executors.twisted：基于事件驅動

任務存儲器

任務存儲器決定任務的保存方式， 默認存儲在內存中（MemoryJobStore），重啟后就沒有了。APScheduler支持的任務存儲器有： 

  •  apscheduler.jobstores.memory：內存
  •  apscheduler.jobstores.mongodb：存儲在mongodb
  •  apscheduler.jobstores.redis：存儲在redis
  •  apscheduler.jobstores.rethinkdb：存儲在rethinkdb
  •  apscheduler.jobstores.sqlalchemy：支持sqlalchemy的數據庫如mysql，sqlite等
  •  apscheduler.jobstores.zookeeper：zookeeper

不同的任務存儲器可以在調度器的配置中進行配置（見調度器）

調度器

APScheduler支持的調度器方式如下，比較常用的為BlockingScheduler和BackgroundScheduler

  •  BlockingScheduler：適用于調度程序是進程中唯一運行的進程，調用start函數會阻塞當前線程，不能立即返回。
  •  BackgroundScheduler：適用于調度程序在應用程序的后臺運行，調用start后主線程不會阻塞。
  •  AsyncIOScheduler：適用于使用了asyncio模塊的應用程序。
  •  GeventScheduler：適用于使用gevent模塊的應用程序。
  •  TwistedScheduler：適用于構建Twisted的應用程序。
  •  QtScheduler：適用于構建Qt的應用程序。

從前面的例子，我們可以看到，調度器可以操作任務（并為任務指定觸發器、任務存儲器和執行器）和監控任務。 

  1. scheduler.add_job(job_func, trigger='interval', args=[1], id='1', name='a test job', max_instances=10, jobstore='default', executor='default', seconds=10) 

我們來詳細看下各個部分

  •  調度器配置：在add_job我們看到jobstore和executor都是default，APScheduler在定義調度器時可以指定不同的任務存儲和執行器，以及初始的參數   
  1. from pytz import utc  
  2.    from apscheduler.schedulers.background import BackgroundScheduler  
  3.    from apscheduler.jobstores.mongodb import MongoDBJobStore  
  4.    from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore  
  5.    from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor  
  6.    # 通過dict方式執行不同的jobstores、executors和默認的參數  
  7.    jobstores = {  
  8.        'mongo': MongoDBJobStore(),  
  9.        'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')  
  10.    }  
  11.    executors = {  
  12.        'default': ThreadPoolExecutor(20),  
  13.        'processpool': ProcessPoolExecutor(5)  
  14.    }  
  15.    job_defaults = {  
  16.        'coalesce': False,  
  17.        'max_instances': 3  
  18.    }  
  19.    # 定義調度器  
  20.    scheduler = BackgroundScheduler(jobstoresjobstores=jobstores, executorsexecutors=executors, job_defaultsjob_defaults=job_defaults, timezone=utc)  
  21.    def job_func(job_id):  
  22.        print('job %s is runed at %s' % (job_id, datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))  
  23.    # 添加任務  
  24.    scheduler.add_job(job_func, trigger='interval', args=[1], id='1', name='a test job', jobstore='default', executor='processpool', seconds=10)  
  25.    # 啟動調度器  
  26.    scheduler.start() 
  •  操作任務：調度器可以增加，刪除，暫停，恢復和修改任務。需要注意的是這里的操作只是對未執行的任務起作用，已經執行和正在執行的任務不受這些操作的影響。
  •   add_job     
  1. scheduler.add_job(job_func, trigger='interval', args=[1], id='1', name='a test job', max_instances=10, jobstore='default', executor='default', seconds=10) 
  •   remove_job: 通過任務唯一的id，刪除的時候對應的任務存儲器里記錄也會刪除 
  1. scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')  
  2.  scheduler.remove_job('my_job_id') 
  •   Pausing and resuming jobs：暫停和重啟任務       
  1. scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')  
  2.         scheduler.pause_job('my_job_id')  
  3.         scheduler.resume_job('my_job_id') 
  •   Modifying jobs：修改任務的配置       
  1. job = scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id', max_instances=10)  
  2.        # 修改任務的屬性  
  3.        job.modify(max_instances=6, name='Alternate name')  
  4.        # 修改任務的觸發器  
  5.        scheduler.reschedule_job('my_job_id', trigger='cron', minute='*/5') 
  •  監控任務事件類型，比較常用的類型有：
    •   EVENT_JOB_ERROR: 表示任務在執行過程的出現異常觸發
    •   EVENT_JOB_EXECUTED：任務執行成功時
    •   EVENT_JOB_MAX_INSTANCES：調度器上執行的任務超過配置的參數時       
  1. scheduler.add_listener(job_exception_listener, EVENT_JOB_EXECUTED | EVENT_JOB_ERROR)    

 

責任編輯：龐桂玉 來源： Python中文社區
PythonAPScheduler調度
相關推薦

2023-12-19 08:09:06

Python定時任務Cron表達式

2025-05-08 08:00:00

FastAPI開發異步定時

2022-10-21 11:00:50

apschedule代碼Python

2022-09-16 11:23:59

Python框架Celery

2023-05-08 16:38:46

任務調度分布式任務調度

2021-05-13 12:00:51

cron調度任務系統運維

2013-12-17 10:15:19

OpenMP任務調度

2023-12-26 07:44:00

Spring定時調度

2023-09-26 11:34:56

Python庫

2021-05-20 09:50:20

鴻蒙HarmonyOS應用

2021-05-14 11:39:58

SchedulePython工具

2025-06-17 08:20:00

2024-03-12 11:39:30

Python開發

2009-06-19 15:20:08

Quartz任務調度Spring

2020-09-29 19:20:05

鴻蒙

2023-06-26 00:14:28

Openjob分布式任務

2022-09-21 12:01:22

消息隊列任務隊列任務調度

2023-03-01 09:39:40

調度系統

2019-04-08 17:11:46

大數據框架Spark

2021-06-28 06:00:11

systemd定時器系統運維
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 亚洲综合视频 | 天天夜碰日日摸日日澡 | 国产精品久久久久久中文字 | 久久新视频 | 在线观看成年视频 | 日本人麻豆 | 日韩在线不卡 | 亚洲精品天堂 | 中文在线一区二区 | 精品欧美一区二区在线观看欧美熟 | 久久精品亚洲 | 欧美男人的天堂 | 亚洲在线一区二区 | 久久久精品网 | 日本欧美黄色片 | 日韩欧美成人精品 | 伊人91在线 | 亚洲黄色成人网 | 欧美一级欧美三级在线观看 | 天天夜天天操 | 国产精品高潮呻吟久久av黑人 | 日韩成人免费中文字幕 | 男女精品网站 | 日韩三级一区 | 日本a在线 | 天天草天天爱 | 国产最新精品视频 | 国产精品久久久久久中文字 | 国产日韩视频 | 在线观看视频一区 | 6080yy精品一区二区三区 | jizz中国日本| 三级视频久久 | 国产免费高清 | 国产精品精品久久久 | 婷婷激情在线 | 午夜视频网站 | 一级黄色裸片 | 久久精品国产99国产精品 | 午夜影院在线 | 亚洲一一在线 |