使用腳本進(jìn)行下載的需求很常見(jiàn)，可以是常規(guī)文件、web頁(yè)面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹

requests 模塊是模仿網(wǎng)頁(yè)請(qǐng)求的形式從一個(gè)URL下載文件

示例代碼：

import requestsurl = ’xxxxxxxx’ # 目標(biāo)下載鏈接r = requests.get(url) # 發(fā)送請(qǐng)求# 保存with open (’r.txt’, ’rb’) as f: f.write(r.content) f.close

爬蟲(chóng)請(qǐng)求庫(kù)——requests的使用

安裝 wget 庫(kù)

pip install wget

示例代碼

import wgeturl = ’https://pic.cnblogs.com/avatar/1197773/20170712160655.png’ # 目標(biāo)路由，下載的資源是圖片path = ’D:/x.png’ # 保存的路徑wget.download(url, path) # 下載三、下載重定向資源

有些 URL 會(huì)被重定向到另一個(gè) URL，后者是真正的下載鏈接。很多軟件的下載其實(shí)都是這樣的形式。URL看起來(lái)如下

https://readthedocs.org/projects/python-guide/downloads/pdf/latest

重定向的 URL 也可以用 requests 庫(kù)進(jìn)行下載，只需加一個(gè)參數(shù)就可以

import requestsurl = ’https://readthedocs.org/projects/python-guide/downloads/pdf/latest’# allow_redirect參數(shù)True表示允許重定向r = requests.get(url, allow_redirect=True)with open(’r.txt’, ’wb’) as f: f.write(r) f.close()四、大文件分塊下載

有些文件非常的大，如果我們直接下載，可能會(huì)因?yàn)槭录蚧蛘呔W(wǎng)絡(luò)原因造成下載失敗，這時(shí)候我可以使用分塊下載的形式進(jìn)行下載。

requests 支持分塊下載，只需要將 stream 設(shè)為T(mén)rue 即可

import requestsurl = ’https://readthedocs.org/projects/python-guide/downloads/pdf/latest’# stream參數(shù)True表示分塊下載r = requests.get(url, stream=True)with open(’r.txt’, ’wb’) as f: for ch in r: f.write(r) f.close()五、并行下載

多線(xiàn)程、多進(jìn)程并發(fā)下載，大大提高下載速度

import requestsfrom multiprocessing.poll import Pool# 定義下載函數(shù)def url_response(url): path, url = url r = requests.get(url, stream=True) with open(path, ’wb’) as f: for ch in r: f.write(ch) f.close()urls = [’aaa’, ’bbb’, ’ccc’] # 假設(shè)有好多個(gè)下載鏈接# 排隊(duì)下載的方式for x in urls: url_response(x)# 并行下載的方式ThreadPool(3).imap_unordered(url_response, urls)六、下載中加入進(jìn)度條

使用進(jìn)度條更直觀(guān)的查看下載進(jìn)度，這里使用 clint 模塊實(shí)現(xiàn)進(jìn)度條功能

pip install clint

下載

import requestsfrom clint.textui import progessurl = ’xxxxxxxxxxx’r = requests.get(url, stream=True)with open(’x.txt’, ’wb’) as f total_length = int(r.headers.get(’content-length’)) for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)): if ch: f.write(ch) f.close()

其他使用進(jìn)度條的案例：Python 實(shí)現(xiàn)進(jìn)度條的六種方式

urllib庫(kù)是Python的標(biāo)準(zhǔn)庫(kù)，因此不需要安裝它。

下載代碼

urllib.request.urlretrieve(URL, PATH)八、通過(guò)代理下載

因?yàn)橐恍┍娝苤脑蛭覀兿螺d國(guó)外的資源會(huì)非常的慢，這時(shí)候可以使用代理的方式進(jìn)行下載

import requests# 定義代理，假設(shè)本機(jī)上有個(gè)梯子的服務(wù)，代理端口是2258proxy = {’http’: ’http://127.0.0.1:2258’} url = ’xxxxxx’r = requests.get(url, proxies=proxy ).......urllib 模塊使用代理

import urllib.requesturl = ’xxxxxxxxxx’proxy = urllib.request.ProxyHandler({’http’: ’127.0.0.1’})open_proxy = urllib.request.build_opener(proxy ) # 打開(kāi)代理urllib.request.urlretrieve(url)九、使用 urllib3

urllib3 是 urllib 模塊的改進(jìn)版本。使用pip下載并安裝

pip install urllib3

以上就是python 下載文件的幾種方法匯總的詳細(xì)內(nèi)容，更多關(guān)于python 下載文件的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！