不會的目前百度蜘蛛還不能讀取js里面的內容所以，建議把網(wǎng)站重要的內容和信息不要寫在js里面。

1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示。

寫robotstxt文件，用記事本做一個robotstxt 下面是內容 UseragentDisallow 以上可以直接復制，表示所有搜索引擎，禁止抓取本站任何內容 風險使用屏蔽后，就算刪除該文件，網(wǎng)站也會長時間不收錄，至少半年 做完robots。

下面向站長介紹一些常見的抓取異常原因1，服務器連接異常 服務器連接異常會有兩種情況一種是站點不穩(wěn)定，Baiduspider嘗試連接您網(wǎng)站的服務器時出現(xiàn)暫時無法連接的情況一種是Baiduspider一直無法連接上您網(wǎng)站的服務器造成服務。

你好，樓主蜘蛛可以抓取到網(wǎng)站頁面，但是無法抓取到內容，有一下幾點原因1網(wǎng)站內容基本都是圖片，或者是文字內容在圖片里 2網(wǎng)站使用了frame和iframe框架結構，通過iframe顯示的內容可能會被百度丟棄 3Flash圖片。

你這種情況確實是個問題，但我不太清楚你說的日志看到的情況是大部分情況還是所有，即然你從網(wǎng)站日志說起，我給你如下建議供參考1檢查自從網(wǎng)站上線到現(xiàn)在的所有網(wǎng)站日志，查看是否有百度蜘蛛訪問過其它頁面的記錄2。