2之后我們要獲取到用戶正常登錄的cookiepython提供了cookieJar的庫(kù)，只要把cookieJar的實(shí)例作為參數(shù)傳到urllib2的一個(gè)opener里面然后訪問一次登錄的頁(yè)面，cookie就已經(jīng)保存下來了之后通過這個(gè)實(shí)例訪問所有的頁(yè)面都帶有正常登陸。

模擬請(qǐng)求網(wǎng)頁(yè)模擬瀏覽器，打開目標(biāo)網(wǎng)站獲取數(shù)據(jù)打開網(wǎng)站之后，就可以自動(dòng)化的獲取我們所需要的網(wǎng)站數(shù)據(jù)保存數(shù)據(jù)拿到數(shù)據(jù)之后，需要持久化到本地文件或者數(shù)據(jù)庫(kù)等存儲(chǔ)設(shè)備中那么我們?cè)撊绾问褂?Python 來編寫自己的爬蟲。

在一次登錄之后，網(wǎng)站會(huì)記住你的信息，把它放到cookie里，方便下次自動(dòng)登錄所以，要爬取這類網(wǎng)站的策略是先進(jìn)行一次手動(dòng)登錄，獲取cookie，然后再次登錄時(shí)，調(diào)用上一次登錄得到的cookie，實(shí)現(xiàn)自動(dòng)登錄動(dòng)態(tài)爬取 在爬取知乎。

使用urlopen方法發(fā)起請(qǐng)求并獲取返回的數(shù)據(jù)4 4 最后就是對(duì)返回字符串的處理了比如字符串的截取，字符串的轉(zhuǎn)換成json對(duì)象，轉(zhuǎn)換成字段，再獲取對(duì)應(yīng)key的值使用Python3實(shí)現(xiàn)。

以下代碼調(diào)試通過import pandas as pdimport json demo = #39quotprogrammersquot quotfirstNamequot quotBrettquot，quotlastNamequot quotMcLaughlinquot，quotemailquot quotaaaaquot， quotfirstNamequot quotJasonquot，quotlastNamequot quotHunterquot，quotemailquot quot。

這個(gè)有點(diǎn)繁瑣，告訴你，你也可能搞不定 首先請(qǐng)求網(wǎng)頁(yè)，然后用你的未登錄cookies去二次請(qǐng)求驗(yàn)證碼，用byte類型保存在內(nèi)存中，用pillow模塊展示出來，你在手動(dòng)輸入，主程序這邊用input阻塞，等你輸入完，主程序向登錄接口提交。

使用selenium的chrome或firefox的webdriver打開瀏覽器 drivergeturl #訪問你的網(wǎng)頁(yè) from=driverfind_elements_by_xpathquotxxxquot通過xpath或id等方法鎖定到網(wǎng)頁(yè)上表單的那個(gè)元素后，用 fromsend_keysquotxxxquot。