亚洲免费在线视频-亚洲啊v-久久免费精品视频-国产精品va-看片地址-成人在线视频网

您的位置:首頁技術(shù)文章
文章詳情頁

Java中多線程下載圖片并壓縮能提高效率嗎

瀏覽:33日期:2022-08-10 15:41:54
目錄前言實(shí)現(xiàn)思路實(shí)測(cè)前言

需求 導(dǎo)出Excel:本身以為是一個(gè)簡單得導(dǎo)出,但是每行得記錄文件中有一列為圖片url,需要下載所有記錄行對(duì)應(yīng)得圖片,然后壓縮整個(gè)文件夾。

Java中多線程下載圖片并壓縮能提高效率嗎

這里只做4.5.得代碼講解描述,其它也沒什么好說得,話不多說上代碼.

實(shí)現(xiàn)思路

多線程實(shí)現(xiàn)使用了線程池,Jdk1.8并發(fā)包下的CompletableFuture

第一步:得到基礎(chǔ)數(shù)值

// 線程數(shù)Integer threadNum = 10;// 每條線程需要處理的圖片數(shù) int dataNum = imageInfoVos.size() / threadNum;// 寫入線程數(shù)List<Integer> threadS = new ArrayList<>();for(int i=0; i<threadNum; i++){threadS.add(i);}

首先我們保存了需要下載的圖片的Url列表,多線程的方式下載我們需要保證每個(gè)線程下載的圖片不會(huì)重復(fù),因此我們需要根據(jù)規(guī)則來切割保存Url列表的集合,從而保證每個(gè)線程下載屬于自己的任務(wù),上代碼:

// 接上文代碼 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));threadDownPic(theadItem,item,dirName); },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{try { item.get();}catch (Exception e){ log.error('============ 多線程down執(zhí)行等待異常 msg:{} =============', e.getMessage());} });

這里進(jìn)行拆分講解

使用CompletableFuture.runAsync 走異步方式,遍歷item

如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下)

// 使用CompletableFuture.runAsync 走異步方式,遍歷item // 如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下) threadS.stream().map(item -> CompletableFuture.runAsync(() ->{

規(guī)則:根據(jù)item數(shù)值通過sublist 從開始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表

例:dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí)

如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100

(item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片

根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù)

// 根據(jù)item數(shù)值通過sublist 從開始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表 // 例:dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí) // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100 // 根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù) // (item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片 List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size())); // theadItem:圖片Url item:所屬下標(biāo) dirName:寫入路徑url threadDownPic(theadItem,item,dirName);

由于執(zhí)行的異步方式,此處是為了線程池中所有線程都結(jié)束才能往下走,執(zhí)行壓縮文件步驟,這里提一嘴,如果沒有手動(dòng)賦予線程池,CompletableFuture默認(rèn)使用ForkJoinPool.commonPool,會(huì)根據(jù)電腦核心數(shù)來指定,比如:我本機(jī)未指定就是7個(gè)線程,執(zhí)行方法時(shí),會(huì)執(zhí)行完前面7個(gè)線程任務(wù),才會(huì)繼續(xù)創(chuàng)建3個(gè)線程繼續(xù)執(zhí)行后續(xù)未完成的

},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{try { item.get();}catch (Exception e){ log.error('============ 多線程down執(zhí)行等待異常 msg:{} =============', e.getMessage());} });實(shí)測(cè)

主要代碼也寫完了,這種方式真的能提高效率嗎?下面我貼幾張測(cè)試圖來說明

Java中多線程下載圖片并壓縮能提高效率嗎

其實(shí)這種方式并沒有顯著的提高效率,當(dāng)然這是我本機(jī)環(huán)境測(cè)試的。

效率是由網(wǎng)速?zèng)Q定,而不是由本機(jī)Cpu和io決定,比如10M帶寬,一個(gè)線程一個(gè)一個(gè)順序下載,但速度是10M,10個(gè)線程,可能每個(gè)線程的速度是1M,結(jié)果沒有什么兩樣。

相對(duì)于網(wǎng)速,多線程帶來的cpu以及io節(jié)省的時(shí)間幾乎可以忽略,瓶頸還是在網(wǎng)速.

到此這篇關(guān)于Java中多線程下載圖片并壓縮能提高效率嗎的文章就介紹到這了,更多相關(guān)Java 多線程下載提高效率內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Java
相關(guān)文章:
主站蜘蛛池模板: 国产日韩精品一区二区 | 99久久成人国产精品免费 | 亚洲欧美卡通动漫丝袜美腿 | 国产精品久久人人做人人爽 | 久草在线观看视频 | 久久精品免看国产 | 成 人 在 线 免费 8888 www | 国产亚洲精品成人a在线 | 国产欧美一区二区三区精品 | 久草资源在线视频 | 精品自拍视频在线观看 | 美国a毛片 | 亚洲专区在线 | 亚洲一区二区三区免费 | 国产一区二区三区免费大片天美 | 日本黄色大片在线播放视频免费观看 | 蜜桃日本一道无卡不码高清 | 91啦丨国产丨| 欧美大胆a| 黄人成a动漫片免费网站 | 亚洲精品成人一区二区 | 91久久精一区二区三区大全 | 在线视频一区二区三区三区不卡 | 亚洲一区欧美二区 | 成人网久久 | 亚洲天堂在线观看视频 | 久久综合狠狠综合狠狠 | 欧美一级人与动毛片免费播放 | 牛人盗摄一区二区三区视频 | 国产精品视频久久久 | 三级毛片免费看 | 国产欧美成人免费观看 | 亚洲自拍图片区 | 久久 精品 一区二区 | 高颜值美女啪啪 | 99久久精品男女性高爱 | 97香蕉久久夜色精品国产 | 九九九九热精品视频 | 欧美精品成人久久网站 | 亚洲国产日韩欧美在线 | 国产不卡一区二区三区免费视 |