文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：104日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻?？刹捎胹crapy+selenium+phantomjs的方式。
相關文章：
1. matplotlib - python函數的問題2. javascript - history.replaceState()無法改變query參數3. java - 是否類 類型指針、引用作為形參 ，函數結束不會自動析構類？4. angular.js - angular ng-class里面的引號問題5. 在mac下出現了兩個docker環境6. docker start -a dockername 老是卡住，什么情況？7. mysql無法添加外鍵8. javascript - react 中綁定事件和阻止事件冒泡9. JavaScript事件10. javascript - es6將類數組轉化成數組的問題
排行榜
網公網安備