1、網(wǎng)頁爬取不一定要用Selenium，Selenium是為了注入瀏覽器獲取點(diǎn)擊行為的調(diào)試工具，如果網(wǎng)頁無需人工交互就可以抓取，不建議你使用selenium要使用它，你需要安裝一個工具軟件，使用Chrome瀏覽器需要下載chromedriverexe到system32下。

2、不用說，當(dāng)然是把腳本轉(zhuǎn)為java代碼了，在E clipse中重新開始搞選擇一個測試框架有Junit和TestNg兩個選擇，公司用的是junit，所以，不用多說，我就用junit驗(yàn)證selenium腳本的運(yùn)行結(jié)果并且，Junit和Test。

3、給re的數(shù)據(jù)類型有錯，希望值是字符串，提供的確實(shí)其他類型。

4、總的來說，整個過程非常簡單，最主要的還是抓包分析，只要你有一定的爬蟲基礎(chǔ)，熟悉一下上面的代碼，多調(diào)試幾遍程序，很快就能掌握的，當(dāng)然，你也可以使用selenium進(jìn)行爬取，直接解析就行，網(wǎng)上也有相關(guān)教程和資料可供參考。

5、另外，爬取網(wǎng)易云推薦使用selenium，因?yàn)槲覀冊谧雠廊【W(wǎng)易云熱評的操作時，此時請求得到的代碼是父網(wǎng)頁的源代碼，這時是請求不到子網(wǎng)頁的源代碼的，也得不到我們需要提取的信息，這是因?yàn)閟elenium打開頁面后，默認(rèn)是在父級frame。

6、selenium通過獲取渲染后的網(wǎng)頁源碼，并通過豐富的查找工具，個人認(rèn)為最好用的就是find_element_by_xpathquotxxxquot，通過該方式查找到元素后可執(zhí)行點(diǎn)擊輸入等事件，進(jìn)而向服務(wù)器發(fā)出請求，獲取所需的數(shù)據(jù)python view plain。

7、解決方案1用瀏覽器打開你那個連接完整加載，通過 查看源 找到你要的數(shù)據(jù)記住標(biāo)記，比如某個元素，selenium+python獲取到頁面代碼再去判斷查找你的標(biāo)記就知道是否加載完了用python selenium提取網(wǎng)頁中的所有標(biāo)簽中的超。

8、當(dāng)使用爬蟲抓取網(wǎng)頁時，一般只能獲取到網(wǎng)頁源代碼，而無法獲取到經(jīng)過瀏覽器渲染后的頁面內(nèi)容如果要獲取經(jīng)過瀏覽器渲染后的內(nèi)容，需要使用一個瀏覽器渲染引擎如Selenium來模擬瀏覽器行為，從而獲取到完整的頁面內(nèi)容另外。

9、page_source 得到的是靜態(tài)源代碼，不含js內(nèi)容 需要使用find_element_by 等方法定位元素獲取。

10、顯示等待一般作用于某一個元素，在設(shè)定的時間范圍內(nèi)，默認(rèn)每間隔05秒查找元素返回被加載的元素，若超過設(shè)定的時間范圍未能查找則報(bào)錯顯示等待作為selenium常用的等待機(jī)制，我們來看下他的源碼和機(jī)制driver 注釋中解釋為。

11、法1直接分析ajax調(diào)用的接口然后通過代碼請求這個接口法2使用Selenium+chromedriver模擬瀏覽器行為獲取數(shù)據(jù)Selenium 相當(dāng)于是一個機(jī)器人可以模擬人類在瀏覽器上的一些行為，自動處理瀏覽器上的一些行為，比如點(diǎn)擊。

12、你那個登錄按鈕有一個class=quotloginbutton logReg_btn1quot，可以用find_element_by_class_name來識別，輸入loginbutton或者logReg_btn1都可以。

13、模擬瀏覽器，動態(tài)獲取，可以使用大殺器selenium工具 使用這種方法可以實(shí)現(xiàn)只要能看到就能抓取到，如鼠標(biāo)滑過，異步加載等，因?yàn)樗男袨榭梢耘c瀏覽器一模一樣，但是這種方式的效率卻是最低的，一般不到實(shí)在沒有辦法的時候不推薦。

14、選擇用selenium，但是沒找到selenium的webdriver下取得所有資源加載鏈接的方法selenium包下有一個selenium模塊查看源碼時看到有個get_all_links方法但是一直沒找到這個模塊的用法最后，求解答謝謝大家方法不成的話，就。

15、您好，對于你的遇到的問題，我很高興能為你提供幫助，我之前也遇到過喲，以下是我的個人看法，希望能幫助到你，若有錯誤，還望見諒與使用FireFoxIE測試基本一樣前提是需要Chrome的驅(qū)動程序，可以單獨(dú)下載，然后至于。

16、沒有不能查看源代碼的網(wǎng)頁，點(diǎn)一下F12或者1抓包，找到真正的url，模擬post或get2用selenium+phantomjs 或firefox 或chrome。