色综合图-色综合图片-色综合图片二区150p-色综合图区-玖玖国产精品视频-玖玖香蕉视频

您的位置:首頁技術文章
文章詳情頁

Java基于WebMagic爬取某豆瓣電影評論的實現

瀏覽:145日期:2022-05-24 11:57:25
目的

搭建爬蟲平臺,爬取某豆瓣電影的評論信息。

準備

webmagic是一個開源的Java垂直爬蟲框架,目標是簡化爬蟲的開發(fā)流程,讓開發(fā)者專注于邏輯功能的開發(fā)。webmagic的核心非常簡單,但是覆蓋爬蟲的整個流程,也是很好的學習爬蟲開發(fā)的材料。

下載WebMagic源碼,或Maven導入,或Jar包方式導入。 碼云地址:https://gitee.com/flashsword20/webmagic

試運行

搭建好后打開項目, 在 us.codecraft.webmagic.processor.example 包下有幾個可運行的例子,我們可以直接運行體驗(BaiduBaikePageProcessor 百度百科的這個比較穩(wěn)定)。

爬到結果說明沒問題。

Java基于WebMagic爬取某豆瓣電影評論的實現

自定義爬蟲

接下來我們自己編寫一個爬取豆瓣評論的爬蟲。

爬取地址:https://movie.douban.com/subject/35096844/reviews?start=0

Java基于WebMagic爬取某豆瓣電影評論的實現

F12進入開發(fā)者模式 分析前端頁面

Java基于WebMagic爬取某豆瓣電影評論的實現

我們發(fā)現我們需要爬取的評論信息存放在 class=short-content的div 中。

創(chuàng)建一個豆瓣爬取的類DoubanPageProcessor如下:

package us.codecraft.webmagic.processor.example; import us.codecraft.webmagic.Page;import us.codecraft.webmagic.ResultItems;import us.codecraft.webmagic.Site;import us.codecraft.webmagic.Spider;import us.codecraft.webmagic.processor.PageProcessor; import java.util.List;import java.util.Map; /** * A simple PageProcessor. * 爬取豆瓣某電影的評論 爬取地址:https://movie.douban.com/subject/35096844/reviews?start=0 * * @author code4crafter@gmail.com <br> * @since 0.1.0 */public class DoubanPageProcessor implements PageProcessor { private Site site; public DoubanPageProcessor(String urlPattern) { this.site = Site.me().setRetryTimes(3).setSleepTime(300); // 設置站點重試次數3 間隔300ms } @Override public void process(Page page) { page.putField('title', page.getHtml().xpath('//title/text()')); //爬取網頁標題// page.putField('html', page.getHtml().toString()); //爬取整個頁面的html page.putField('titleList', page.getHtml().css('div.short-content', 'text').all()); // 我們要爬取的核心信息內容,獲取方式與css選擇器用法一樣// page.putField('content', page.getHtml().smartContent()); } @Override public Site getSite() { //settings return site; } public static void main(String[] args) { Spider spider = Spider.create(new DoubanPageProcessor('https://movie.douban.comd+')); ResultItems resultItems = spider.<ResultItems>get('https://movie.douban.com/subject/35096844/reviews?start=0');// 爬取并獲得爬取結果 Map<String, Object> map = resultItems.getAll(); for (Map.Entry entry : map.entrySet()) { System.out.println(entry.getKey() + ' : ' + entry.getValue()); //打印爬取的所有內容 } List<String> shortList = (List<String>) map.get('titleList'); System.out.println('=====================分隔線===================n短評如下:'); for (int i = 0; i < shortList.size(); i++) { System.out.println(i + '、' + shortList.get(i).trim()); // 打印爬取的評論內容 } spider.close(); } }

運行結果如下:

Java基于WebMagic爬取某豆瓣電影評論的實現

爬取成功。

到此這篇關于Java基于WebMagic爬取某豆瓣電影評論的實現的文章就介紹到這了,更多相關Java WebMagic爬取內容請搜索好吧啦網以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: 豆瓣
相關文章:
主站蜘蛛池模板: 亚洲欧美国产精品专区久久 | 久草热视频 | 成人免费夜片在线观看 | 国产精品91av | 亚欧色视频在线观看免费 | 99久久久国产精品免费播放器 | 欧美一区二区在线观看免费网站 | 成人免费小视频 | 欧美日韩 在线播放 | 日韩欧美国产另类 | 91最新91精品91蝌蚪 | 欧美成免费| 成人国产精品一级毛片视频 | 欧美啪啪一级毛片 | 国产一区三区二区中文在线 | 国产成人精品三区 | 国产手机看片 | 美女张开腿让男人桶爽动漫视频 | 在线观看日本www | 99爱视频在线观看 | 成人69 | 午夜dj视频完整社区 | 国内精品一区二区2021在线 | 成年人在线网站 | 97在线碰碰观看免费高清 | 香港国产特级一级毛片 | 欧美第一精品 | 成人欧美在线视频 | 精品免费久久 | 色多多最新地址福利地址 | 欧美三级一区二区三区 | 男女很舒服爽视频免费 | 亚洲日本一区二区三区 | 国产精品99r8在线观看 | 日本在线免费观看视频 | tom影院亚洲国产 | 97在线免费视频观看 | 久久semm亚洲国产 | 久热中文字幕在线精品免费 | 国产日产精品_国产精品毛片 | 亚洲国产日韩欧美综合久久 |