當(dāng)前位置：首頁(yè)
> 禁止蜘蛛抓取代碼
禁止蜘蛛抓取代碼(禁止蜘蛛爬php文件)
Robotstxt的設(shè)置十分簡(jiǎn)潔，如果希望對(duì)所有網(wǎng)絡(luò)蜘蛛無(wú)特定限制，可以寫(xiě)為UseragentDisallow盡管Robotstxt是一種協(xié)議，但并非所有網(wǎng)絡(luò)蜘蛛都會(huì)嚴(yán)格遵循不過(guò)，大部分蜘蛛會(huì)遵守，同時(shí)，管理員還可以通過(guò)其他方法來(lái)限制特定頁(yè)面的抓取在下載網(wǎng)頁(yè)的過(guò)程中，網(wǎng)絡(luò)蜘蛛會(huì)解析HTML代碼，尋找...