文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：109日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. 注冊賬戶文字不能左右分離2. python - 使用readlines()方法讀取文件內容后，再用for循環遍歷文件與變量匹配時出現疑難？3. 對mysql某個字段監控的功能4. javascript - 數組的過濾和渲染5. javascript - table列過多，有什么插件可以提供列排序和選擇顯示列的功能6. html5 - ElementUI table中el-table-column怎么設置百分比顯示。7. html - vue項目中用到了elementUI問題8. showpassword里的this 是什么意思？代表哪個元素9. python - 為什么正常輸出中文沒有亂碼，zip函數之后出現中文編程unicode編碼的問題，我是遍歷輸出的啊。10. JavaScript事件
排行榜
網公網安備