selenium獲取網(wǎng)頁源碼太慢(selenium獲取頁面元素及個數(shù))
沒有不能查看源代碼的網(wǎng)頁，點一下F12或者1抓包，找到真正的url，模擬post或get2用selenium+phantomjs 或firefox 或chrome。
不用說，當然是把腳本轉(zhuǎn)為java代碼了，在E clipse中重新開始搞選擇一個測試框架有Junit和TestNg兩個選擇，公司用的是junit，所以，不用多說，我就用junit驗證selenium腳本的運行結(jié)果并且，Junit和Test。
我當時遇到的問題是chromedriveexe版本過低和chrome瀏覽器兼容性不好，可以試一下高版本的chromedriveexe試一下，僅供產(chǎn)考。
chrome_options=chrome_optionschromeget#39的話抓取速度就很慢了，加上代理的話如果代理不穩(wěn)定可能還會慢出一大截。
可能是頁面加載比較慢還沒加載出來，selenium如何用python的selenium提取頁面所有資源加載的鏈接 答用瀏覽器打開你那個連接完整加載，通過 查看源 找到你要的數(shù)據(jù)記住標記，比如某個元素，selenium+python獲取到頁面。
driverpage_source是只能獲取源碼的如果是需要加載的，你需要用匹配，比如browserfind_elements_by_xpath。
3 配置采集規(guī)則可以使用智能識別功能，讓八爪魚自動識別頁面的數(shù)據(jù)結(jié)構(gòu)，或者手動設(shè)置采集規(guī)則4 如果手動設(shè)置采集規(guī)則，可以通過鼠標選擇頁面上的數(shù)據(jù)元素，并設(shè)置相應(yīng)的采集規(guī)則，以確保正確獲取所需的數(shù)據(jù)5 設(shè)置翻頁。
掃描二維碼推送至手機訪問。
版權(quán)聲明：本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布，如需轉(zhuǎn)載請注明出處。
