網(wǎng)上robots的寫法，說法一大堆，也不知誰對誰錯(cuò)，到底robots該禁止那些文件呢？
今天大概總結(jié)一下： 首先說明一點(diǎn)：每天百度派出的蜘蛛是有限的，robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進(jìn)行有效爬取和收錄！
針對企業(yè)站來說，本身蜘蛛資源不會很多
，所以我們更要珍惜蜘蛛的每次爬取，讓其都有意義，不要去爬取一些無價(jià)值的頁面，浪費(fèi)了蜘蛛資源，從而導(dǎo)致網(wǎng)站遲遲未收錄，沒排名等情況！ 下面舉例列出來： 1、模板文件(/template/)可以屏蔽； 2、這個(gè)文件/uploads/一般放的是圖片，可以屏蔽； 3、/data/系統(tǒng)數(shù)據(jù)文件，可以屏蔽； 4、/img/或/images/，如果你不是做的圖片站，也可以屏蔽； 5、/bin/系統(tǒng)文件可以屏蔽； 6、/install/安裝文件可以屏蔽； 7、/member/有會員的可以屏蔽； 8、/logreport/有統(tǒng)計(jì)報(bào)告的可以屏蔽； 9、/bjk/有加密的文件，可以屏蔽； 10、/js/，/css/可以屏蔽，留著是為了讓蜘蛛更好地了解網(wǎng)站結(jié)構(gòu)，資源少的情況下，可以屏蔽。 11、網(wǎng)站地圖，sitemap要記得放進(jìn)去，不要屏蔽，讓蜘蛛第一時(shí)間去看你的網(wǎng)站地圖，更快了解網(wǎng)站鏈接結(jié)構(gòu)！ 總結(jié)到此，希望對大家有些幫助！
文章來源：懶貓seo博客
來源地址：http://www.lanmaoseo.com/seowzyh/6978.html
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
