全球人工智能：專注為AI開發(fā)者提供全球最新AI技術(shù)動(dòng)態(tài)和社群交流。用戶來源包括：北大、清華、中科院、復(fù)旦、麻省理工、卡內(nèi)基梅隆、斯坦福、哈佛、牛津、劍橋等世界名校的AI技術(shù)碩士、博士和教授；以及谷歌、騰訊、百度、臉譜、微軟、華為、阿里、?？低?、滴滴、英偉達(dá)等全球名企的AI開發(fā)者和AI科學(xué)家。

文章來源：Techug 作者：程序師視野

PornHubBot源代碼介紹：

PornHubBot項(xiàng)目主要是爬取全球最大成人網(wǎng)站PornHub的視頻標(biāo)題、時(shí)長(zhǎng)、mp4鏈接、封面URL和具體的PornHub鏈接

項(xiàng)目爬的是PornHub.com，結(jié)構(gòu)簡(jiǎn)單，速度飛快

爬取PornHub視頻的速度可以達(dá)到500萬/天以上。具體視個(gè)人網(wǎng)絡(luò)情況,因?yàn)槲沂羌彝ゾW(wǎng)絡(luò)，所以相對(duì)慢一點(diǎn)。

10個(gè)線程同時(shí)請(qǐng)求，可達(dá)到如上速度。若個(gè)人網(wǎng)絡(luò)環(huán)境更好，可啟動(dòng)更多線程來請(qǐng)求，具體配置方法見 [啟動(dòng)前配置]

所需的環(huán)境和架構(gòu)：

開發(fā)語言: Python2.7

開發(fā)環(huán)境: MacOS系統(tǒng)、4G內(nèi)存

數(shù)據(jù)庫(kù): MongoDB：

啟動(dòng)前配置：

安裝MongoDB,并啟動(dòng)，不需要配置

安裝Scrapy

安裝Python的依賴模塊：pymongo、json、requests

根據(jù)自己需要修改 Scrapy 中關(guān)于 間隔時(shí)間、啟動(dòng)Requests線程數(shù)等得配置

啟動(dòng)指令：python PornHub/quickstart.py

運(yùn)行截圖：

數(shù)據(jù)庫(kù)說明：數(shù)據(jù)庫(kù)中保存數(shù)據(jù)的表是 PhRes。以下是PhRes表字段說明：

展開全文

GitHub資源：https://github.com/xiyouMc/WebHubBot

GitHub資源：https://github.com/xiyouMc/WebHubBot

聲明：本文內(nèi)容僅供AI技術(shù)研究使用，嚴(yán)禁傳播色情內(nèi)容！

熱門文章推薦

重磅|中國(guó)醫(yī)療機(jī)器人行業(yè)圖譜：2家上市，12家獲融資，近1/3的團(tuán)隊(duì)來自哈工大

重磅|這家只上了中小板的AI公司市值或?qū)⒊f億!!!!!

重磅|佩奇致股東公開信：除了谷歌，Alphabet還做了啥？

重磅|滴滴宣布融資380億(估值約3500億):重點(diǎn)布局AI業(yè)務(wù)！

最新|霍金稱世界正邁入“新科學(xué)復(fù)興”，李開復(fù)微博點(diǎn)贊

資源|杜克大學(xué)計(jì)算機(jī)統(tǒng)計(jì)學(xué)（Python）全部?jī)?nèi)容中文翻譯

重磅|馬斯克的第四次驚天創(chuàng)舉：這一次，他將拿人腦開刀！

重磅|15種排序算法動(dòng)畫演示（附視頻）