Python while true實(shí)現(xiàn)爬蟲定時(shí)任務(wù)
記得以前的windows 任務(wù)定時(shí)是可以的正常使用的,今天試了下,發(fā)現(xiàn)不能正常使用了,任務(wù)計(jì)劃總是掛起。
接下來記錄下python 爬蟲定時(shí)任務(wù)的幾種解決方法。
今天是第一篇,后面會(huì)陸續(xù)更新。
首先最容易的是while true死循環(huán)掛起,上代碼
import osimport timeimport sysfrom datetime import datetime, timedeltadef One_Plan(): # 設(shè)置啟動(dòng)周期 Second_update_time = 24 * 60 * 60 # 當(dāng)前時(shí)間 now_Time = datetime.now() # 設(shè)置 任務(wù)啟動(dòng)時(shí)間 plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) # 設(shè)置差值,-1 day, 21:48:53.246576,類似于這樣 # time.sleep()需要傳入int,所以下面使用.total_seconds() # 主要用來計(jì)算差值,返回int,具體功能可以自行查閱相關(guān)資料 delta = plan_Time - now_Time first_plan_Time = delta.total_seconds() % Second_update_time print('距離第一次執(zhí)行需要睡眠%d秒' % first_plan_Time) return first_plan_Time# while Ture代碼塊,掛起程序,睡眠時(shí)間結(jié)束后調(diào)用函數(shù)名進(jìn)行執(zhí)行while True: s1 = One_Plan() time.sleep(s1) # 下面這里是自己定義的函數(shù),想跑代碼的可以換成hellow world函數(shù)或者注釋掉這行測(cè)試下 exe_file(D_list) print('正在執(zhí)行首次更新程序')
個(gè)人感覺使用這種方式進(jìn)行定時(shí)計(jì)劃的啟動(dòng)如果為單個(gè)程序,并且一天執(zhí)行一次的話沒什么問題,如果要考慮到一天執(zhí)行多個(gè)任務(wù)并且一天需要執(zhí)行多次,短板一下就凸顯出來了,
在工作的情況中還需要考慮到很多因素,比如爬蟲程序需要在晚上12點(diǎn)和早上6點(diǎn),9點(diǎn),下午3點(diǎn)執(zhí)行四次,并且需要同時(shí)執(zhí)行4個(gè)爬蟲,還需要考慮到網(wǎng)絡(luò)是否穩(wěn)定,如果程序掛掉該怎么處理等等因素
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. python實(shí)現(xiàn)讀取類別頻數(shù)數(shù)據(jù)畫水平條形圖案例2. python中PyQuery庫(kù)用法分享3. python操作數(shù)據(jù)庫(kù)獲取結(jié)果之fetchone和fetchall的區(qū)別說明4. Python編寫nmap掃描工具5. python 爬取嗶哩嗶哩up主信息和投稿視頻6. JSP+Servlet實(shí)現(xiàn)文件上傳到服務(wù)器功能7. CSS3實(shí)現(xiàn)動(dòng)態(tài)翻牌效果 仿百度貼吧3D翻牌一次動(dòng)畫特效8. ASP.NET MVC前臺(tái)動(dòng)態(tài)添加文本框并在后臺(tái)使用FormCollection接收值9. python將下載到本地m3u8視頻合成MP4的代碼詳解10. php使用正則驗(yàn)證密碼字段的復(fù)雜強(qiáng)度原理詳細(xì)講解 原創(chuàng)
