它可以完全模擬瀏覽器，等待網站全部加載完成后再進行數據的自動獲取對于主流的ChromeDriverInternetExplorerDriverFirefoxDriverOperaDriver都支持，網站上的元素也支持多種選擇器，如classidxpath等但是用習慣以后；你的意思是需要python獲取js后還要運行js，輸出運行結果據我所知，自帶的庫沒有這個功能，其實你可以換個思路，用python模擬js運行的結果，然后向網站提交數據，一般我就是這么干的。

這里簡單介紹一下吧，以抓取網站靜態(tài)動態(tài)2種數據為例，實驗環(huán)境win10+python36+pycharm50，主要內容如下抓取網站靜態(tài)數據數據在網頁源碼中以糗事百科網站數據為例 1這里假設我們抓取的數據如下，主要包括用戶；使用Python 3的requests模塊抓取網頁源碼并保存到文件示例import requests html = requestsgetquotwith open#39testtxt#39，#39w#39，encoding=#39utf8#39 as ffwritehtmltext這是一個基本的。

安裝必要的庫和工具requests， BeautifulSoup4， lxml， openpyxl python Copy code pip install requests beautifulsoup4 lxml openpyxl 發(fā)送 GET 請求，獲取網頁源代碼 python Copy code import requests url = quot；requests請求網址url = #39周杰倫#39后，printrestext #打印的只是url = #39周杰倫 這一個請求返回的響應體內容，而如下圖，右鍵查看的頁面源代碼是你請求。

其中最重要的兩項是瀏覽器的信息UserAgent，如果請求中沒有UserAgent，網站會認為不是人在瀏覽器的請求，是惡意攻擊 對于需要登錄的網站，請求中往往需要COOKIE來驗證用戶，來獲取打開某些網站的權限使用firefox瀏覽器的開發(fā)；1首先，安裝requets模塊，這個直接在cmd窗口輸入命令“pipinstallrequests”就行，如下2接著安裝bs4模塊，這個模塊包含了BeautifulSoup，安裝的話，和requests一樣，直接輸入安裝命令“pipinstallbs4”即可，如下3最后就是。

python獲取網頁源代碼的庫

1、以百度為例 * codingutf8 *import requestsimport urlparseimport osfrom bs4 import BeautifulSoupdef processurl headers = #39contenttype#39 #39applicationjson#39， #39UserAgent#39 #39Mozilla50。

2、這樣就把新浪首頁的源代碼爬取到了，這是整個網頁信息，如果你要提取你覺得有用的信息得學會使用字符串方法或者正則表達式了平時多看看網上的文章和教程，很快就能學會的補充一點以上使用的環(huán)境是python2，在python3中。

3、這個是你爬蟲發(fā)送請求，被服務端拒絕了可能有這么幾種1需要登錄，2需要cookie，3，發(fā)送的頭不符合服務端的要求，具體要研究服務端現手動登陸一次，用fiddler抓包，看一下，如果cookie，就把cookie帶上。

4、最簡單的辦法，不需要任何第三方庫，獲取網頁源代碼，進行正則匹配 import urllib，re url = quot #網頁地址 wp = urlliburlopenurl #打開連接 content = wpread #獲取頁面內容 m = re。

python獲取當前網頁的url

獲取網頁源代碼使用編程語言的相應庫如Python的urllib庫，訪問目標網頁的URL，獲取網頁的源代碼解析網頁源代碼使用編程語言的相應庫如Python的BeautifulSoup庫，解析網頁源代碼，找到想要爬取的文字所在的HTML標簽。

使用AJAX加載的數據，即使使用了JS將數據渲染到了瀏覽器中，在 右鍵查看網頁源代碼 還是不能看到通過ajax加載的數據，只能看到使用這個url加載的html代碼法1直接分析ajax調用的接口然后通過代碼請求這個接口法2。

正則提取 找前后關鍵字 python可以很方便地抓取網頁并過濾網頁的內容，那么，如何從如下的網頁中提取良玉的博客 windowquickReplyflag = true 良玉的博客blog。

所謂爬蟲，就是先獲取網頁的源代碼，然后從源代碼中篩選出自己想要的資源，比如網頁上的圖片視頻等文件，甚至網頁上的文字接下來，我們就用Python來爬取網頁上的圖片首先我們先獲取網站的源碼然后就是從萬千的源碼中。

不好意思我按照你給的鏈接訪問提示，非法訪問，看來做了cookie或者ip或者refer驗證之類的 ，既然這樣的話，相信你是能訪問到這個頁面的那么我的建議是，用cookiejar訪問，之后用beautifulsoup或者其他你用著習慣的東西，抓這個。