關(guān)于python爬蟲的問題
問題描述
我使用post爬取網(wǎng)頁表格數(shù)據(jù),網(wǎng)站如下http://www.ipe.org.cn/Industr...,現(xiàn)在遇到了2個問題,其中一個問題是違規(guī)類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>,該網(wǎng)頁已經(jīng)設定了checked,已經(jīng)有默認值,而我只想要violation=1的數(shù)據(jù),不知道該怎么辦第二個問題是在選擇國家,省份,城市過程<select name='select' onchange='setProvince_0();'>我無法直接用name 以及value選擇我想要的表單數(shù)據(jù)
跪求各位大神的解答
問題解答
回答1:他是有API用來返回數(shù)據(jù)的,你可以抓取一下,點擊篩選之后的數(shù)據(jù)流。大概是這個api,http://www.ipe.org.cn/data_as...,post方式,里面有一個參數(shù)叫itemType就是你想要的違規(guī)類型。然后對應的國家,省份,城市等信息都在api中有體現(xiàn),自己跟一下就知道了。然后根據(jù)需求,構(gòu)造請求你需要的數(shù)據(jù),剩下的就是解析了。。。。
相關(guān)文章:
1. python - Pycharm的Debug用不了2. 這是什么情況???3. docker start -a dockername 老是卡住,什么情況?4. Python的os.listdir在獲取文件列表時的順序問題5. 統(tǒng)計 - MYSQL版本問題導致SQL語法錯誤!unknow column ’SQLSTR’6. node.js - 關(guān)于你不知道的JavaScript上一書介紹的行為委托7. java - 如何讓maven優(yōu)先使用用戶setting.xml的配置?8. javascript - Vue.js2.0不能使用debounce后大伙一般是如何解決延遲請求的問題的呢。9. initPage:是什么意思? 是返回的意思嗎?10. 有哪些將html5語義化標簽運用到極致的站點?
