關(guān)于robots.txt的應(yīng)用很多，概括的來(lái)講就兩個(gè)，一是拒絕收錄，二開(kāi)放收錄。 用wp開(kāi)博，無(wú)憂主機(jī)（m.love62.cn）認(rèn)為當(dāng)前世界上你找不到第二款比他牛逼的開(kāi)源個(gè)人博客發(fā)布系統(tǒng)。無(wú)憂主機(jī)（m.love62.cn）下面就robots.txt文件針對(duì)wordpress簡(jiǎn)單說(shuō)說(shuō)。 Robots.txt拒絕收錄 當(dāng)我們的wordpress博客站點(diǎn)正在建設(shè)調(diào)試中，這個(gè)時(shí)候，我們肯定不喜好搜索引擎蜘蛛過(guò)來(lái)“打擾”，收錄不該收錄的東西，爬去不該爬取的內(nèi)容。這個(gè)時(shí)候，我們最簡(jiǎn)單方便的方法，就是寫(xiě)一個(gè)robots.txt文件放到wordpress安裝目錄下，拒絕所有搜索引擎蜘蛛。寫(xiě)法如下： User-agent: * Disallow: /   Wordpress最好的robots.txt寫(xiě)法： 無(wú)憂主機(jī)（m.love62.cn）在售后中經(jīng)常于一些用戶討論robots.txt的寫(xiě)法，同時(shí)也見(jiàn)過(guò)非常多robots.txt寫(xiě)法，綜合起來(lái)，無(wú)憂主機(jī)小編認(rèn)為，下面的寫(xiě)法是最適合wordpress站點(diǎn)的有關(guān)robots.txt寫(xiě)法，大家可以參照。 User-agent: * Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /?s= Sitemap: http://你的域名/sitemap.xml     純Linux環(huán)境下高端免備案［香港獨(dú)立IP地址］?php空間，僅僅只需199元一年起。商務(wù)中國(guó)域名核心代理直銷50元注冊(cè)國(guó)際頂級(jí)域名

本文地址：http://m.love62.cn/wordpress/5421.html