最近有一個(gè)客戶問(wèn)無(wú)憂主機(jī)小編我關(guān)于robots.txt怎么寫，說(shuō)實(shí)話，小編自己也好久沒(méi)寫過(guò)這個(gè)規(guī)則了，其實(shí)百度下還是有很多教程的，但是今天無(wú)憂主機(jī)小編給大家分享一個(gè)比較另類的方法，就是通過(guò)在模板里面加入meta標(biāo)簽來(lái)控制蜘蛛爬行的頁(yè)面。 具體代碼如下： ＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞ 然后將這段代碼添加到不想被抓取頁(yè)面的header標(biāo)簽范圍內(nèi)。 不過(guò)相對(duì)來(lái)說(shuō)，這個(gè)控制方法更精準(zhǔn)一點(diǎn)，只是沒(méi)有robots方便，所以如果是需要大批量的禁用蜘蛛抓取頁(yè)面的話，建議是學(xué)會(huì)robots.txt的寫法 Robots.txt教程： http://wenku.baidu.com/link?url=b-aQ2digYMmSx9cHFtSZ-vY_4KojyQf2T99oiC7MUrHIjKx7O7eoeThHL0jP6-D2rYNXcco9fsc4VGPqTizw_S3LEXJiyyUgv0BUTg00ODW

本文地址：http://m.love62.cn/others/14902.html