Python爬虫定时计划任务的几种常见方法
Python爬虫与数据挖掘
共 4684字,需浏览 10分钟
·
2021-03-14 09:06
![](https://filescdn.proginn.com/7dbd65035127872fef518337ef387faa/2f95aa4b840a2b5cd934d58042482572.webp)
作 者:战俘巡航
作者简介:爬虫工程师,具有丰富的分布式爬虫系统架构和开发经验,有APP安全、逆向等领域经验,现为菜J学Python核心技术团队成员之一。后台回复“入群”,可拉你进技术交流群。
点击上方“Python爬虫与数据挖掘”,进行关注
回复“书籍”即可获赠Python从入门到进阶共10本电子书
首先最容易的是while true死循环挂起,不废话,直接上代码:
import os
import time
import sys
from datetime import datetime, timedelta
def One_Plan():
# 设置启动周期
Second_update_time = 24 * 60 * 60
# 当前时间
now_Time = datetime.now()
# 设置 任务启动时间
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 设置差值,-1 day, 21:48:53.246576,类似于这样
# time.sleep()需要传入int,所以下面使用.total_seconds()
# 主要用来计算差值,返回int,具体功能可以自行查阅相关资料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距离第一次执行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下
exe_file(D_list)
print("正在执行首次更新程序")
from datetime import datetime
from threading import Timer
import time
# 定时任务
def task():
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
def timedTask():
'''
第一个参数: 延迟多长时间执行任务(秒)
第二个参数: 要执行的函数
第三个参数: 调用函数的参数(tuple)
'''
Timer(5, task, ()).start()
while True:
timedTask()
time.sleep(5)
7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧。
2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24
from datetime import datetime
import sched
import time
def timedTask():
# 初始化 sched 模块的 scheduler 类,传入(time.time, time.sleep)这两个参数
scheduler = sched.scheduler(time.time, time.sleep)
# 增加调度任务,enter(睡眠时间,执行级别,执行函数)
scheduler.enter(5, 1, task)
# 运行任务
scheduler.run()
# 定时任务
def task():
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
if __name__ == '__main__':
timedTask()
import schedule
import time
def hellow():
print('hellow')
def Timer():
schedule.every().day.at("09:00").do(hellow)
schedule.every().day.at("18:00").do(hellow)
while True:
schedule.run_pending()
time.sleep('需要睡眠的周期')
Timer()
在这里可以看到,有day-hour-minute,定时任务非常的方便,在while True里添加需要睡眠的时间,在函数模块内添加需要执行的次数即可。
------------------- End -------------------
往期精彩文章推荐:
![](https://filescdn.proginn.com/2f3bf77469efbb7eb7578c17909e807c/cb4eb8ed6c3ece00f2374293ce5699a1.webp)
欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情,点个【在看】行不行
/今日留言主题/
随便说一两句吧~~
评论