亚洲免费在线视频-亚洲啊v-久久免费精品视频-国产精品va-看片地址-成人在线视频网

您的位置:首頁技術文章
文章詳情頁

用sleep間隔進行python反爬蟲的實例講解

瀏覽:7日期:2022-07-03 16:14:27

在找尋材料的時候,會看到一些暫時用不到但是內容不錯的網頁,就這樣關閉未免浪費掉了,下次也不一定能再次搜索到。有些小伙伴會提出可以保存網頁鏈接,但這種基本的做法并不能在網頁打不開后還能看到內容。我們完全可以用爬蟲獲取這方面的數據,不過操作過程中會遇到一些阻攔,今天小編就教大家用sleep間隔進行python反爬蟲,這樣就可以得到我們想到的數據啦。

步驟

要利用headers拉動請求,模擬成瀏覽器去訪問網站,跳過最簡單的反爬蟲機制。

獲取網頁內容,保存在一個字符串content中。

構造正則表達式,從content中匹配關鍵詞pattern獲取下載鏈接。需要注意的是,網頁中的關鍵詞出現了兩遍(如下圖),所以我們要利用set()函數清除重復元素。

第三步是遍歷set之后的結果,下載鏈接。

設置time.sleep(t),無sleep間隔的話,網站認定這種行為是攻擊,所以我們隔一段時間下載一個,反反爬蟲。

具體代碼

import urllib.request# url requestimport re # regular expressionimport os # dirsimport time’’’url 下載網址pattern 正則化的匹配關鍵詞Directory 下載目錄def BatchDownload(url,pattern,Directory): # 拉動請求,模擬成瀏覽器去訪問網站->跳過反爬蟲機制 headers = {’User-Agent’, ’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36’} opener = urllib.request.build_opener() opener.addheaders = [headers] # 獲取網頁內容 content = opener.open(url).read().decode(’utf8’) # 構造正則表達式,從content中匹配關鍵詞pattern raw_hrefs = re.findall(pattern, content, 0) # set函數消除重復元素 hset = set(raw_hrefs) # 下載鏈接 for href in hset: # 之所以if else 是為了區別只有一個鏈接的特別情況 if(len(hset)>1): link = url + href[0] filename = os.path.join(Directory, href[0]) print('正在下載',filename) urllib.request.urlretrieve(link, filename) print('成功下載!') else: link = url +href filename = os.path.join(Directory, href) # 無sleep間隔,網站認定這種行為是攻擊,反反爬蟲 time.sleep(1) #BatchDownload(’https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/’,# ’(Storm-Data-Export-Format.docx)’,# ’E:stormeventscsvfiles’) # ’(Storm-Data-Export-Format.pdf)’,# ’(StormEvents_details-ftp_v1.0_d(d*)_c(d*).csv.gz)’,# ’(StormEvents_fatalities-ftp_v1.0_d(d*)_c(d*).csv.gz)’,# ’(StormEvents_locations-ftp_v1.0_d(d*)_c(d*).csv.gz)’,#BatchDownload(’https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/legacy/’,# ’(ugc_areas.csv)’,# ’E:stormeventscsvfileslegacy’)結果展示

為了讓大家能夠清楚的知道整個反爬過程,這里小編把思路和代碼都羅列了出來。其中可以time.sleep(t)解除網站對于爬蟲的阻攔問題,著重標記了出來

用sleep間隔進行python反爬蟲的實例講解

到此這篇關于用sleep間隔進行python反爬蟲的實例講解的文章就介紹到這了,更多相關如何使用sleep間隔進行python反爬蟲內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 欧美一区二区三区国产精品 | 美美女高清毛片视频免费观看 | 国产精品不卡 | 成人在线免费网站 | 国产在线一区二区三区欧美 | 一级特黄爽大片刺激 | 女人张开腿给人桶免费视频 | 国产精品久久久久久久hd | 黄页网站18以下禁止观看 | 综合自拍亚洲综合图区美腿丝袜 | 日本红怡院亚洲红怡院最新 | 97国产大学生情侣11在线视频 | 国产系列在线观看 | 欧美日韩一区二区不卡三区 | 成人午夜大片免费7777 | 在线播放一级片 | 视频网18免费 | 337p粉嫩大胆噜噜噜鲁 | 91九色国产porny | 手机免费在线看毛片 | 亚欧成人一区二区 | 成人毛片视频免费网站观看 | 国产一级在线观看www色 | 亚洲深夜 | 欧美日韩人成在线观看 | 好叼操这里只有精品 | 日韩精品中文字幕一区三区 | 成人欧美精品大91在线 | 韩国免费毛片在线看 | 国产91香蕉在线精品 | 亚洲精品国产一区二区图片欧美 | 久久久久女人精品毛片九一 | 国产微拍精品福利视频 | 国产精品久久久久久爽爽爽 | 色综合久久88色综合天天提莫 | 亚洲国产精品91 | 精品国产区一区二区三区在线观看 | 国产一区二区三区视频在线观看 | 在线一区播放 | 最新在线精品国自拍视频 | 成人午夜网站 |