當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  建站經(jīng)驗(yàn) >  正文

網(wǎng)站上線前把robots寫(xiě)了所有蜘蛛禁止抓取,取消后還是這樣怎么辦

 2016-08-04 15:36  來(lái)源: 用戶投稿   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

不知道有沒(méi)有其他站長(zhǎng)跟我一樣,技術(shù)部把網(wǎng)站后臺(tái)搭建好了,然后網(wǎng)站還是很多東西需要修改的,特別是TDK改了一遍又一遍,但是這時(shí)候我沒(méi)有去百度站長(zhǎng)申請(qǐng)閉站保護(hù),卻是在網(wǎng)站根目錄上傳了robots文件,里面寫(xiě)著:

User-agent: *

Disallow:/

這表示我的網(wǎng)站禁止所有蜘蛛來(lái)抓取,那么這種情況有什么危害呢,蜘蛛來(lái)了一次兩次以后都滿頭灰,那么以后光顧的也就越來(lái)越少了。原本我是打算禁止2~3天,前端跟美工配合我完成網(wǎng)站的修改,第三天編輯錄入文章就可以的。但是因?yàn)槊拦つ抢锿狭诉M(jìn)度,我就沒(méi)管先,還是這樣寫(xiě)。

等網(wǎng)站正式改好之后那是兩個(gè)星期后的事情了,當(dāng)天那會(huì)我就把robots改了,然后重新提交給百度。而且還加上網(wǎng)站地圖

robots寫(xiě)法

而因?yàn)榫W(wǎng)站架構(gòu)不錯(cuò)的原因吧,在上線第二天品牌詞就排在了首頁(yè),但是很明顯的一個(gè)是,百度搜索網(wǎng)站品牌詞的時(shí)候,顯示出來(lái)的只有網(wǎng)站標(biāo)題,其他那些呢,相信大家也猜到了:該網(wǎng)站的robots.txt文件存在限制指令,系統(tǒng)無(wú)法提供該頁(yè)面的內(nèi)容描述。

百度顯示限制指令

那么預(yù)料到有這種情況怎么辦呢,其實(shí)我用robots禁止蜘蛛抓取兩個(gè)星期的話不如直接申請(qǐng)閉站保護(hù)來(lái)的好,但是那會(huì)剛好忙其他事情去了,就沒(méi)有顧上。那么對(duì)于一個(gè)草根站長(zhǎng)來(lái)說(shuō)遇見(jiàn)這種情況肯定很慌,其實(shí)能做的也沒(méi)多少,那么我是怎么做的呢。上面也說(shuō)了,先是做了網(wǎng)站地圖,然后寫(xiě)在robots上,然后提交到百度站長(zhǎng)平臺(tái)的sitemap地圖提交,然后把www.exmple.com/robots.txt 主動(dòng)提交到百度去。跟著就是更新文章,發(fā)布外鏈。新站來(lái)說(shuō),靠自然更新,保證原創(chuàng),高質(zhì)量外鏈來(lái)說(shuō),就算天天更新也需要一定時(shí)間,但是第二天我就不管了,看下有什么能刺激下百度,然后我去百度找到個(gè)方法,這里分享出來(lái)給大家看下:

百度提示處理方式

我是弄的,要做一件事情長(zhǎng)時(shí)間沒(méi)有反饋的時(shí)候,我選擇的是第四部,去百度反饋中心,反饋是因?yàn)檎`操作導(dǎo)致了這種情況發(fā)生,寫(xiě)明我的情況,蜘蛛抓取頻率的下降,然后說(shuō)明百度沒(méi)有抓取我網(wǎng)站內(nèi)容,但是我是對(duì)百度開(kāi)放的,配上三張截圖,都是來(lái)源于百度的,這個(gè)很重要,證據(jù)來(lái)源于百度的話可信度會(huì)大大的增加。提交反饋之后,原因我還打算加上一個(gè)數(shù)據(jù)主動(dòng)推送(實(shí)時(shí))的,但是百度反饋提醒我兩分鐘就會(huì)有結(jié)果,我就耐心等個(gè)幾分鐘吧,結(jié)果搜一下品牌詞,百度首頁(yè)第二,然后看下是否有顯示描述。直接上圖吧:

正常顯示結(jié)果

雖然百度沒(méi)有按照他說(shuō)了兩分鐘就給我搞定,但是也不長(zhǎng),十分鐘的事情吧,還真的搞定了。而且因?yàn)榫W(wǎng)站架構(gòu),內(nèi)容都不錯(cuò)的情況下,更新了快照,然后上線兩天的網(wǎng)站既然有了關(guān)鍵詞排名,兩個(gè)詞排在百度第三、四頁(yè),大大出乎我的意料。

此原創(chuàng)文章由 君之諾情感,首發(fā)于A5,轉(zhuǎn)載請(qǐng)注明來(lái)源!

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
robots標(biāo)簽
robots

相關(guān)文章

  • robots協(xié)議怎么寫(xiě) 作用是什么?

    robots協(xié)議也叫robots.txt(統(tǒng)一小寫(xiě))是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的,哪些是可以被漫游器獲取的。

    標(biāo)簽:
    robots
  • robots具體應(yīng)該禁止些什么文件

    今天大概總結(jié)一下:首先說(shuō)明一點(diǎn):每天百度派出的蜘蛛是有限的,robots寫(xiě)出來(lái)是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進(jìn)行有效爬取和收錄!

  • robots文件編寫(xiě)秘籍 新手必看

    當(dāng)我們的網(wǎng)站上線之后,一定會(huì)有一些不想讓百度抓取的頁(yè)面、文件,針對(duì)這種問(wèn)題,我們就要使用協(xié)議去屏蔽。那么這個(gè)協(xié)議是什么?究竟怎么寫(xiě)這個(gè)協(xié)議呢?

    標(biāo)簽:
    robots文件
    robots
  • robots.txt文件怎么寫(xiě)才正確呢?

    曾慶平SEO在前面的文章中講過(guò)robots.txt概念的時(shí)候,留下一個(gè)問(wèn)題:為什么曾慶平SEO的robots.txt寫(xiě)得那么復(fù)雜?曾慶平SEO的robots.txt:http://www.xxx.com/robots.txt這樣做的目的是,讓搜索引擎看來(lái)網(wǎng)站更規(guī)范和權(quán)威。

  • 百度站長(zhǎng)平臺(tái)檢測(cè)robots.txt 提示301錯(cuò)誤代碼 怎么解決

    如果以上都沒(méi)有錯(cuò)誤,那么你就要檢查你的CDN了,很可能是因?yàn)镃DN緩存而造成的,或者是你配置了https,而站長(zhǎng)平臺(tái)卻綁定的http,無(wú)法訪問(wèn),這兩點(diǎn)自己排查,如果以上都做到,那么是不會(huì)提示這類錯(cuò)誤的,當(dāng)然也不排查百度站長(zhǎng)平臺(tái)本身的問(wèn)題,不過(guò)這種機(jī)率性很小。

熱門(mén)排行

信息推薦