[Python系列] 定时任务调度_python任务调度系统-程序员宅基地

技术标签: python  开发语言  

起因

        在计算机网络中,我们经常定期发送数据包、定期更新网络状态等;在操作系统中,也需要定时定期备份数据、定期清理缓存等;在应用程序中,我们也很需要定期更新数据、定期发送通知等。所以,到底怎么样才能有效地实现这样的定时任务呢?这次还是基于简单的Python写个脚本说一说把。

什么是定时任务

        定时任务是指在规定的时间间隔内自动执行某些任务的机制,它通常用于需要定期执行的任务,例如定期备份数据、定期发送邮件、定期更新数据等。
        在计算机系统中,定时任务通常由定时器来实现。定时器是一种硬件或软件机制,可以在规定的时间间隔内触发某个事件或执行某个任务。在操作系统中,定时器通常是由内核来实现的,用户空间程序可以通过系统调用或库函数来设置定时器。

简单的定时任务

        在Python中,提供了schedule库可以用于生成定时任务。我们先来写个简单的示例。

pip install schedule

        通过pip安装完包之后,就可以写个示例了。 

import schedule
import time

def job1():
    print("I'm working... in job1  start")


def job2():
    print("I'm working... in job2")


schedule.every(1).seconds.do(job1)
schedule.every(2).seconds.do(job2)

while True:
    schedule.run_pending()
    print('sleep')
    time.sleep(1)

        在上面的代码中,我们首先导入了 schedule 库和 time 库,定义了两个方法,job1和job2,然后分别设置了启动时间,则每1秒启动一次job1,每2秒启动一次job2。通过schedule.run_pending的方法来调用保证程序不退出,当我们运行时就可以看到对应的效果了。

        在简单的任务中,我们使用schedule库就足够了,遇到一些其他的复杂情况就必须麻烦一点了。这边介绍一下schedule的问题:

        1. 定时任务的精度有限:schedule 库的定时任务调度精度有限,它只能保证在指定的时间间隔内执行任务,但不能保证任务的精确执行时间。这是因为 schedule 库使用的是操作系统的定时器,而操作系统的定时器精度一般较低。
        2. 不支持多线程:schedule 库不支持多线程,因此不能在多个线程之间共享定时任务。如果需要在多个线程之间共享定时任务,可以考虑使用其他定时任务调度库,如 threading 库。
        3. 存在安全隐患:schedule 库在执行定时任务时,可能会存在安全隐患。例如,如果定时任务在执行时访问了网络资源,可能会导致网络攻击。因此,在使用 schedule 库时,需要谨慎对待定时任务的执行。

复杂定时任务

        主要在python的语言限制下,我们没必要重复造轮子,还是用已经很完备的轮子来实现需要的内容吧。这边简单介绍一下Python APSscheduler
        Python APScheduler 是一个基于 Python 语言的定时任务调度工具,它借鉴了 Apache Scheduler 的设计理念和功能,但使用了 Python 语言实现。它可以在 Python 应用程序中添加定时任务,以实现周期性或基于特定触发条件的任务执行。

        Python APScheduler 具有以下特点:
        1. 简单易用:用户只需使用几个简单的函数即可实现定时任务的添加、修改和删除,无需编写复杂的代码。
        2. 灵活性:Python APScheduler 支持多种触发器,如 DateTrigger、IntervalTrigger 和 CronTrigger 等,用户可以根据不同的需求选择不同的触发器。
        3. 可扩展性:Python APScheduler 支持多种执行器,如 AsyncIOExecutor、GeventExecutor 和 ThreadPoolExecutor 等,用户可以根据不同的需求选择不同的执行器。
        4. 监控和管理:Python APScheduler 提供了一些简单的监控和管理接口,用户可以查看任务的状态和历史记录,方便故障排查和性能优化。

        安装和下载:        

pip install APSCheduler

        Demo和解释

from apscheduler.schedulers.blocking import BlockingScheduler
import datetime


def job():
    print("任务正在执行,当前日期和时间:", datetime.datetime.now())


if __name__ == "__main__":
    scheduler = BlockingScheduler()
    scheduler.add_job(job, 'interval', seconds=5)
    scheduler.start()

        在这个示例中,我们首先导入了 BlockingScheduler 和 datetime 模块。然后我们定义了一个 job 函数,它会在任务执行时输出当前日期和时间。在主程序中,我们创建了一个 BlockingScheduler 对象,然后使用 add_job 方法添加了一个定期任务。这里的参数 interval 表示任务的执行间隔,单位为秒。最后,我们调用 start 方法启动任务调度程序。

        概念

        ApScheduler 的核心概念是任务(Task)和触发器(Trigger)。任务是一个要执行的操作,可以是一个函数、一个方法或者一个可执行文件。触发器是任务执行的条件,可以是一个时间点、一个时间间隔、一个事件(如文件变化、数据库触发等)或者一个定制的触发条件。
        ApScheduler 提供了多种任务调度策略,例如:
        1. 基于时间间隔的定期任务:任务在指定的时间间隔内重复执行。
        2. 基于时间点的定期任务:任务在指定的时间点重复执行。
        3. 基于事件的一次性任务:任务在特定事件发生时执行一次。
        4. 基于周期的一次性任务:任务在指定的时间间隔内执行一次。

        除了预定任务外,ApScheduler 还支持以下功能:
        1. 任务依赖关系:允许任务之间建立依赖关系,以便在执行任务时确保它们按照正确的顺序执行。
        2. 任务分组:将任务分组到特定的分组中,以便更好地组织任务并允许针对分组执行操作(如暂停、恢复等)。
        3. 任务调度器插件:允许您为 ApScheduler 添加自定义任务调度器,以实现特定的任务调度需求。
        4. 任务历史记录:保存任务执行的历史记录,以便您可以查看任务执行的情况。

        使用方法

        首先需要先定义一个APScheduler的对象,像上诉代码一样,定一个的是一个BlockingScheuler,然后通过add_job的方法添加对应的函数和配置,这边注意,这里的id为自己定义的一个string,可以用来标记当前任务,对应于remove_job上参数,便于识别出是删除哪个任务。

scheduler.add_job(job, 'interval', seconds=5, id='timejob')

scheduler.remove_job('timejob')

同时该对象还提供了以下的方法用于控制,分别要用于开始,暂停,重置和唤醒,关闭:

scheduler.start()
scheduler.pause()
scheduler.resume()
scheduler.wakeup()
scheduler.shutdown()

同时,已经创建好的任务也是可以用于修改的,对象提供了modify的方法:

job.modify(max_instance=10, name='Alternated name')

更多的使用方法,还是得自己去翻翻源码文档了。

        缺点

        ApScheduler 是一个功能强大的任务调度器,虽然在很多场景下表现优秀,但也存在一些缺点,例如:
        资源消耗:ApScheduler 在运行时会占用一定的系统资源,如内存和 CPU。特别是在调度大量任务时,可能会对系统性能产生显著影响。
        复杂性:ApScheduler 的功能丰富,配置选项繁多,使得在使用和学习过程中需要花费一定的时间来理解和掌握。
        稳定性:虽然 ApScheduler 的可靠性很高,但在某些特殊情况下,如并发操作、异常处理等方面,仍然可能出现错误或崩溃现象。
        可扩展性:ApScheduler 的扩展性有限,主要体现在任务调度器的插件和扩展功能上。如果你需要根据特定需求定制调度器,可能需要花费较多时间来开发和集成。
        文档更新:ApScheduler 的文档更新速度相对较慢,有时可能会跟不上新版本的变化。在使用过程中,你可能需要查阅社区资源或者源代码来获取最新的信息。

总结

        单纯从使用角度来看,要求精度不高,任务调度复杂度不高的情况下,直接使用schedule库是最为方便的。但是如果要执行复杂任务,带依赖的任务之类的问题的话,还是得使用APScheduler库。当然,对应的设置也比较复杂,使用友好度没有那么高。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u013379032/article/details/131750420

智能推荐

十进制小数部分如何转化成二进制算法实现_小数进制转换编程-程序员宅基地

文章浏览阅读483次。十进制小数转化成二进制,就是不断地乘二,判断之后的这个数是否比1大,比1大则输出输出1,留下小数部分继续前面的操作。将3.75的小数部分转化为二进制。最后的输出结果是.11。_小数进制转换编程

免费OFD文件在线转PDF_在线生成一个 ofd文件-程序员宅基地

文章浏览阅读739次。ofd文件打不开?ofd怎么转换为pdf?本文将给告诉大家ofd是什么文件格式?ofd怎么打开?ofd怎么免费转换为配pdf文件等,以下是具体的方法:一,什么是OFD文件?OFD是我国电子公文交换和存储格式标准。OFD格式是我国自主可控的电子文件版式文档格式。OFD版式文件,版面固定、不跑版、所见即所得,可以视为计算机时代的“数字纸张”;是电子文档发布、数字化信息传播和存档的理想文档格式。OFD格式是当下对于全国产环境具有明显的优势。因此,在自主可控档案系统中,OFD格式无疑是自主可控档案系.._在线生成一个 ofd文件

14、HDFS 透明加密KMS_mapreduce读写sequencefile、mapfile、orcfile和parquetfil-程序员宅基地

文章浏览阅读3w次。HDFS中的数据会以block的形式保存在各台数据节点的本地磁盘中,但这些block都是明文的。通过Web UI页面找到Block的ID和副本位于的机器信息如果在操作系统中直接访问block所在的目录,通过Linux的cat命令是可以直接查看里面的内容的,且是明文。在datanode找到其文件为:HDFS透明加密(Transparent Encryption)支持端到端的透明加密,启用以后,对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密,而不需要修改用户的业务代码。_mapreduce读写sequencefile、mapfile、orcfile和parquetfile文件

Java SE 第三章 常用类 API_java se api常用类-程序员宅基地

文章浏览阅读92次。3.0 API概述https://www.oracle.com/cn/java/technologies/java-se-api-doc.html如何使用API看类的描述​ Random类是用于生成随机数的类看构造方法​ Random():无参构造方法 Random r = new Random();看成员方法​ public int nextInt(int n):产生的是一个[0,n)范围内的随机数调用方法: int number = r.nextInt(10_java se api常用类

3-16心电图多分类预测task01_机器学习在呼吸心跳信号检测中应用ti-程序员宅基地

文章浏览阅读285次。3-16心电图多分类预测task01一、赛题理解1.赛题理解1.数据概况1.评价指标二、baseline学习1.引入库2.读入数据3.数据预处理4.训练、测试数据准备5.模型训练总结提示:以下是本篇文章正文内容,下面案例可供参考一、赛题理解1.赛题理解以心电图心跳信号数据为背景,要求根据心电图感应数据预测心跳信号所属类别,其中心跳信号对应正常病例以及受不同心律不齐和心肌梗塞影响的病例,这是一个多分类的问题。1.数据概况以预测心电图心跳信号类别为任务,总数据量超过20万,主要为1列心跳信号序列数_机器学习在呼吸心跳信号检测中应用ti

【超好懂的比赛题解】第 45 届国际大学生程序设计竞赛(ICPC)亚洲区域赛(济南)_icpc国际大学生程序设计竞赛题目-程序员宅基地

文章浏览阅读930次,点赞2次,收藏2次。title : 第 45 届国际大学生程序设计竞赛(ICPC)亚洲区域赛(济南)tags : ACM,题解,练习记录。_icpc国际大学生程序设计竞赛题目

随便推点

工具系列:TensorFlow决策森林_(3)使用dtreeviz可视化-程序员宅基地

文章浏览阅读1.2k次,点赞19次,收藏19次。之前的教程演示了如何使用TensorFlow的决策森林(随机森林、梯度提升树和CART)分类器和回归器来准备数据、训练和评估。(我们将TensorFlow决策森林缩写为TF-DF。)您还学会了如何使用内置的函数可视化树,并显示特征重要性度量。本教程的目标是通过可视化更深入地解释分类器和回归器决策树。我们将查看详细的树结构图示,以及决策树如何划分特征空间以做出决策的描绘。树结构图帮助我们理解模型的行为,特征空间图帮助我们通过展示特征和目标变量之间的关系来理解数据。我们将使用的可视化库称为dtreeviz。_dtreeviz

MySQL8.0学习记录10 - 字符集与校对规则_mysql8.0存储系统元数据的字符集是-程序员宅基地

文章浏览阅读2.1k次。MySQL8.0字符集_mysql8.0存储系统元数据的字符集是

漫威所有电影的 按时间线的观影顺序-程序员宅基地

文章浏览阅读3.1k次。美国队长1 - 2011年惊奇队长 - 2019年钢铁侠1 - 2008年无敌浩克 - 2008年钢铁侠2 - 2010年雷神 - 2011年复仇者联盟 - 2012年雷神2 - 2013年钢铁侠3 - 2013年美国队长2 - 2014年复仇者联盟2 - 2015年银河护卫队 - 2017年蚁人 - 2015年美国队长3 - 2016年奇异博士 - 2016年银河护卫队2 - 2017..._漫威电影观看顺序时间线

PhotoZoom Classic 7中的新功能-程序员宅基地

文章浏览阅读142次。众所周知PhotoZoom Classic是家庭使用理想的放大图像软件。目前很多用户还在使用PhotoZoom Classic 6,对于PhotoZoom Classic 7还是有点陌生。其实在6代衍生下出了7代,7代比6代多了很多适用的功能。下面我们就介绍一下PhotoZoom Classic 7中的新功能。PhotoZoom Classic 6的功能我们就不过多介绍,主要介绍7代中特有的功..._photozoon的作用

tensorflow中tf.keras.models.Sequential()用法-程序员宅基地

文章浏览阅读4.6w次,点赞75次,收藏349次。tensorflow中tf.keras.models.Sequential()用法Sequential()方法是一个容器,描述了神经网络的网络结构,在Sequential()的输入参数中描述从输入层到输出层的网络结构model = tf.keras.models.Sequential([网络结构]) #描述各层网络网络结构举例:拉直层:tf.keras.layers.Flatten() #拉直层可以变换张量的尺寸,把输入特征拉直为一维数组,是不含计算参数的层全连接层:tf.ker._tf.keras.models.sequential

Java递归实现Fibonacci数列计算_用递归方法编程计算fibonacci数列:(n=10),fac.jpg-程序员宅基地

文章浏览阅读2.8k次。实现代码如下:public static int factorial(int n){ if (n <= 1){ return 1; } return factorial(n-1) + factorial(n-2); }测试代码如下:System.out.println(factorial(40));测..._用递归方法编程计算fibonacci数列:(n=10),fac.jpg

推荐文章

热门文章

相关标签