新聞中心
答客戶問：網站為什么已經拒絕蜘蛛收錄，而搜索引擎還能抓取網站內容
作者 / 無憂主機 時間 2012-09-26 04:06:11
“網站為什么已經拒絕蜘蛛收錄，而搜索引擎還能抓取網站內容”這是為什么類？這是今天一位尊敬的無憂主機用戶的提問，對于這個問題，確實比較難回答，無憂主機（m.love62.cn）售后工程師們相互討論下下，根據(jù)我們自己的維護經驗淺淺的說下搜索引擎收錄的問題。 要先說明白這個問題，首先我們先了解下搜索引擎爬蟲（蜘蛛）的工作原理： 搜索引擎是使用spider（蜘蛛）程序抓起用戶網頁的內容，在搜索引擎蜘蛛訪問網站時會先查看網站是否有robots.txt文件，如果有蜘蛛程序會先去訪問robots.txt文件讀取文件的內容，這個文件中說明網站那些內容是希望被抓取的或拒絕抓取的。蜘蛛程序查看robots.txt協(xié)議后會知道它應該做那些工作，是執(zhí)行拒絕還是抓取動作。 現(xiàn)在我們回到文章標題的話題來，小編發(fā)現(xiàn)搜索引擎有時也會在搜索結果中顯示已經拒絕收錄的php虛擬主機頁面或者顯示網頁快照，這是什么呢？原因有很多我就舉幾個最常見的原因： 1、用戶設置 robots.txt文件時可能出錯或者并不是放在網站的根目錄下，這樣搜索引擎就不會收到您拒絕收錄的正確信息； 2、搜索引擎收錄的網頁并不是通過直接訪問網站所得，可能是通過外鏈對網站拒絕頁面進行收錄； 3、可能在robots.txt文件建立之前，網站已經被搜索引擎收錄了，搜索引擎沒有及時更新導致spider程序不準守robots協(xié)議，這個原因只有等搜索引擎下次更新收錄才有辦法解決 在上述情況發(fā)生時我們要防止所有搜索引擎顯示您網站的快照，可以將這段代碼加入到網頁的頭部代碼<head></head>部分： <meta name="robots" content="noarchive"> 如果用戶想要搜索引擎顯示快照，但有不希望搜索引擎收錄網頁，可以使用以下代碼進行標記： <meta name="Baiduspider(搜索引擎蜘蛛名)" content="noarchive"> 純Linux環(huán)境下高端免備案【香港獨立IP地址】 php空間，僅僅只需199元一年起。商務中國域名核心代理直銷50元注冊國際頂級域名
本文地址：http://m.love62.cn/seo/8767.html
