python asyncio 協(xié)程庫的使用
asyncio 是 python 力推多年的攜程庫,與其 線程庫 相得益彰,更輕量,并且協(xié)程可以訪問同一進程中的變量,不需要進程間通信來傳遞數(shù)據(jù),所以使用起來非常順手。
asyncio 官方文檔寫的非常簡練和有效,半小時內(nèi)可以學(xué)習(xí)和測試完,下面為我的一段 HelloWrold,感覺可以更快速的幫你認識 協(xié)程 。
定義協(xié)程import asyncioimport timeasync def say_after(delay, what): await asyncio.sleep(delay) print(what)
async 關(guān)鍵字用來聲明一個協(xié)程函數(shù),這種函數(shù)不能直接調(diào)用,會拋出異常。正確的調(diào)用姿勢有:
await 協(xié)程()await asyncio.gather(協(xié)程1(), 協(xié)程2())await asyncio.waite([協(xié)程1(), 協(xié)程2()])asyncio.create_task(協(xié)程())await 阻塞式調(diào)用協(xié)程
先來測試前 3 種 await 的方式:
async def main1(): # 直接 await,順序執(zhí)行 await say_after(2, '2s') await say_after(1, '1s')async def main2(): # 使用 gather,并發(fā)執(zhí)行 await asyncio.gather(say_after(2, '2s'), say_after(1, '1s'))async def main3(): # 使用 wait,簡單等待 # 3.8 版后已廢棄: 如果 aws 中的某個可等待對象為協(xié)程,它將自動作為任務(wù)加入日程。直接向 wait() 傳入?yún)f(xié)程對象已棄用,因為這會導(dǎo)致 令人迷惑的行為。 # 3.10 版后移除 await asyncio.wait([say_after(2, '2s'), say_after(1, '1s')])
python 規(guī)定: 調(diào)用協(xié)程可以用 await,但 await 必須在另一個協(xié)程中 —— 這不死循環(huán)了?不會的,asyncio 提供了多個能夠最初調(diào)用協(xié)程的入口:
asyncio.get_event_loop().run_until_complete(協(xié)程)asyncio.run(協(xié)程)
封裝一個計算時間的函數(shù),然后把 2 種方式都試一下:
def runtime(entry, func): print('-' * 10 + func.__name__) start = time.perf_counter() entry(func()) print('=' * 10 + '{:.5f}'.format(time.perf_counter() - start))print('########### 用 loop 入口協(xié)程 ###########')loop = asyncio.get_event_loop()runtime(loop.run_until_complete, main1)runtime(loop.run_until_complete, main2)runtime(loop.run_until_complete, main3)loop.close()print('########### 用 run 入口協(xié)程 ###########')runtime(asyncio.run, main1)runtime(asyncio.run, main2)runtime(asyncio.run, main3)
運行結(jié)果:
########### 用 loop 入口協(xié)程 ###########----------main12s1s==========3.00923----------main21s2s==========2.00600----------main31s2s==========2.00612########### 用 run 入口協(xié)程 ###########----------main12s1s==========3.01193----------main21s2s==========2.00681----------main31s2s==========2.00592
可見,2 種協(xié)程入口調(diào)用方式差別不大
下面,需要明確 2 個問題:
協(xié)程間的并發(fā)問題 :除了 main1 耗時 3s 外,其他都是 2s,說明 main1 方式串行執(zhí)行 2 個協(xié)程,其他是并發(fā)執(zhí)行協(xié)程。協(xié)程是否阻塞父協(xié)程/父進程的問題 :上述測試都使用了 await,即等待協(xié)程執(zhí)行完畢后再繼續(xù)往下走,所以都是阻塞式的,主進程都在此等待協(xié)程的執(zhí)行完。—— 那么如何才能不阻塞父協(xié)程呢? 不加 await 行么? —— 上面 3 種方式都不行!下面介紹可以不阻塞主協(xié)程的方式。
task 實現(xiàn)更靈活的協(xié)程一切都在代碼中:
# 驗證 task 啟動協(xié)程是立即執(zhí)行的async def main4(): # create_task() Python 3.7 中被加入 task1 = asyncio.create_task(say_after(2, '2s')) task2 = asyncio.create_task(say_after(1, '1s')) # 創(chuàng)建任務(wù)后會立即開始執(zhí)行,后續(xù)可以用 await 來等待其完成后再繼續(xù),也可以被 cancle await task1 # 等待 task1 執(zhí)行完,其實返回時 2 個task 都已經(jīng)執(zhí)行完 print('--') # 最后才會被打印,因為 2 個task 都已經(jīng)執(zhí)行完 await task2 # 這里是等待所有 task 結(jié)束才繼續(xù)運行。# 驗證父協(xié)程與子協(xié)程的關(guān)閉關(guān)系async def main5(): task1 = asyncio.create_task(say_after(2, '2s')) task2 = asyncio.create_task(say_after(1, '1s')) # 如果不等待,函數(shù)會直接 return,main5 協(xié)程結(jié)束,task1/2 子協(xié)程也結(jié)束,所以看不到打印 # 此處等待 1s,則會只看到 1 個,等待 >2s,則會看到 2 個 task 的打印 await asyncio.sleep(2)# python3.8 后 python 為 asyncio 的 task 增加了很多功能:# get/set name、獲取正在運行的 task、cancel 功能# 驗證 task 的 cancel() 功能async def cancel_me(t): # 定義一個可處理 CancelledError 的協(xié)程 print('cancel_me(): before sleep') try: await asyncio.sleep(t) except asyncio.CancelledError: print('cancel_me(): cancel sleep') raise finally: print('cancel_me(): after sleep') return 'I hate be canceled'async def main6(): async def test(t1, t2): task = asyncio.create_task(cancel_me(t1)) await asyncio.sleep(t2) task.cancel() # 會在 task 內(nèi)引發(fā)一個 CancelledError try: await task except asyncio.CancelledError: print('main(): cancel_me is cancelled now') try: print(task.result()) except asyncio.CancelledError: print('main(): cancel_me is cancelled now') # 讓其運行2s,但在1s時 cancel 它 await test(2, 1) # await 和 result 時都會引發(fā) CancelledError await test(1, 2) # await 和 result 時不會引發(fā),并且 result 會得到函數(shù)的返回值runtime(asyncio.run, main4)runtime(asyncio.run, main5)runtime(asyncio.run, main6)
運行結(jié)果:
----------main41s2s--==========2.00557----------main51s2s==========3.00160----------main6cancel_me(): before sleepcancel_me(): cancel sleepcancel_me(): after sleepmain(): cancel_me is cancelled nowmain(): cancel_me is cancelled nowcancel_me(): before sleepcancel_me(): after sleepI hate be canceled==========3.00924技術(shù)總結(jié)
細節(jié)都在注釋里直接描述了,總結(jié)一下:
await 會阻塞主協(xié)程,等待子協(xié)程完成 await asyncio.gather/wait() 可以實現(xiàn)多個子協(xié)程的并發(fā)執(zhí)行 await 本身要在協(xié)程中執(zhí)行,即在父協(xié)程中執(zhí)行 asyncio.get_event_loop().run_until_complete() 和 asyncio.run() 可作為最初的協(xié)程開始入口 task 是最新、最推薦的協(xié)程方式,可以完成阻塞、非阻塞, task = asyncio.create_task(協(xié)程) 后直接開始執(zhí)行了,并不會等待其他指令 await task 是阻塞式,等待 task 執(zhí)行結(jié)束 不 await,非阻塞,但要此時父協(xié)程不能退出,否則 task 作為子協(xié)程也被退出 task 可 cancel() 取消功能,可 result() 獲取子協(xié)程的返回值以上就是python asyncio 協(xié)程庫的使用的詳細內(nèi)容,更多關(guān)于python asyncio 協(xié)程庫的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
