色综合图-色综合图片-色综合图片二区150p-色综合图区-玖玖国产精品视频-玖玖香蕉视频

您的位置:首頁技術(shù)文章
文章詳情頁

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

瀏覽:109日期:2022-07-13 17:30:03

在使用python爬蟲技術(shù)采集數(shù)據(jù)信息時,經(jīng)常會遇到在返回的網(wǎng)頁信息中,無法抓取動態(tài)加載的可用數(shù)據(jù)。例如,獲取某網(wǎng)頁中,商品價格時就會出現(xiàn)此類現(xiàn)象。如下圖所示。本文將實現(xiàn)爬取網(wǎng)頁中類似的動態(tài)加載的數(shù)據(jù)。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

1. 那么什么是動態(tài)加載的數(shù)據(jù)?

我們通過requests模塊進行數(shù)據(jù)爬取無法每次都是可見即可得,有些數(shù)據(jù)是通過非瀏覽器地址欄中的url請求得到的。而是通過其他請求請求到的數(shù)據(jù),那么這些通過其他請求請求到的數(shù)據(jù)就是動態(tài)加載的數(shù)據(jù)。(猜測有可能是js代碼當(dāng)咱們訪問此頁面時就會發(fā)送得get請求,到其他url中獲取數(shù)據(jù))

2. 如何檢測網(wǎng)頁中是否存在動態(tài)加載得數(shù)據(jù)?

在當(dāng)前頁面中打開抓包工具,捕獲到地址欄中的url對應(yīng)的數(shù)據(jù)包,在該數(shù)據(jù)包的response選項卡搜索我們想要爬取的數(shù)據(jù),如果搜索到了結(jié)果則表示數(shù)據(jù)不是動態(tài)加載的,否則表示數(shù)據(jù)為動態(tài)加載的。如圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

或者鼠標(biāo)右鍵單擊要爬取的頁面顯示網(wǎng)頁源代碼搜索我們想要爬取的數(shù)據(jù),如果搜索到了結(jié)果則表示數(shù)據(jù)不是動態(tài)加載的,否則表示數(shù)據(jù)為動態(tài)加載的。如圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

3. 如果數(shù)據(jù)為動態(tài)加載,那么我們?nèi)绾尾东@到動態(tài)加載的數(shù)據(jù)?

在實現(xiàn)爬取動態(tài)加載的數(shù)據(jù)信息時,首先需要在瀏覽器的網(wǎng)絡(luò)監(jiān)視器中根據(jù)動態(tài)加載的技術(shù)選擇網(wǎng)絡(luò)請求的類型,然后通過逐個篩選的方式查詢預(yù)覽信息中的關(guān)鍵數(shù)據(jù),并獲取對應(yīng)的請求地址,最后進行信息的解析工作即可。具體步驟如下:

在瀏覽器中快捷鍵F12打開開發(fā)者工具,然后選擇Network(網(wǎng)絡(luò)監(jiān)視器)并在網(wǎng)絡(luò)類型中選擇JS,再按快捷鍵F5刷新,如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

在請求信息的列表中,依次單擊每個請求信息,然后在對應(yīng)的Preview(請求結(jié)果預(yù)覽)中核對是否為需要獲取的動態(tài)加載數(shù)據(jù),如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

動態(tài)加載的數(shù)據(jù)信息核對完成后,單擊Headers獲取當(dāng)前的網(wǎng)絡(luò)請求地址以及所需參數(shù),如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

根據(jù)以上步驟獲取到的請求地址,發(fā)送網(wǎng)絡(luò)請求并從返回的信息中提取商品價格信息。筆者在代碼中使用到了反序列化,關(guān)于json序列化和反序列化可以點擊 此處 進行學(xué)習(xí),代碼如下:

import requestsimport json# 獲取商品價格的請求地址url = 'https://c0.3.cn/stock?skuId=12464037&cat=1713,3259,3333&venderId=1000077923&area' '=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&' 'pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jQuery6495921'jQuery_id = url.split('=')[-1] + '('# 頭部信息headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) ' 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}# 發(fā)送網(wǎng)絡(luò)請求response = requests.get(url, headers=headers)if response.status_code == 200: goods_dict = json.loads(response.text.replace(jQuery_id, '')[:-1]) # 反序列化 print(f'當(dāng)前售價為: {goods_dict[’stock’][’jdPrice’][’op’]}') print(f'定價為: {goods_dict[’stock’][’jdPrice’][’m’]}') print(f'會員價為: {goods_dict[’stock’][’jdPrice’][’tpp’]}')else: print('請求失敗!')

筆者在寫博文的時候,價格發(fā)生了變化,運行結(jié)果如下圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

注意:爬取動態(tài)加載數(shù)據(jù)信息時,需要根據(jù)不同的網(wǎng)頁使用不同的方式進行數(shù)據(jù)的提取。如果在運行源碼時出現(xiàn)了錯誤,請根據(jù)操作步驟獲取新的請求地址即可。

到此這篇關(guān)于Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 爬取網(wǎng)頁動態(tài)數(shù)據(jù)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 精品一区二区三区的国产在线观看 | 手机看片免费基地你懂的 | 日本不卡免费高清一级视频 | 欧美成人免费一区在线播放 | 91精品国产美女福到在线不卡 | 欧美视频在线观看免费精品欧美视频 | 自拍第一页 | 免费特黄视频 | 夜色亚洲 | 亚洲国产精品久久久久666 | 久久99久久精品国产只有 | 国产精品大全国产精品 | 亚欧色视频在线观看免费 | 九九精品视频在线 | 国产精品手机在线播放 | 日韩免费观看一级毛片看看 | 一级高清毛片免费a级高清毛片 | 国产真人毛片一级视频 | 一级片图片 | av片免费大全在线观看不卡 | 国产精品影视 | 7777在线| 三级韩国一区久久二区综合 | 国产成人18黄网站免费网站 | 亚洲国产国产综合一区首页 | 国产乱子伦真实china | 国产精品久久久久影院 | 亚洲社区在线 | 碰碰久久 | 韩国美女高清爽快一级毛片 | 欧美一区二三区 | 欧美一级视频免费 | 国产小视频在线高清播放 | 亚洲国产欧美在线不卡中文 | 男人女人做性全程视视频 | 国产精品久久久久久吹潮 | 美女网站18 | 免费观看情趣v视频网站 | 国产三级精品美女三级 | 国产精品久久久久久久9999 | 久草网视频在线 |