影響蜘蛛爬行并最終影響到頁面收錄結(jié)果主要有幾個方面的原因。
1．網(wǎng)站的更新情況
一般來說，網(wǎng)站更新很快，蜘蛛就會更快地抓取網(wǎng)站的內(nèi)容。如果網(wǎng)站的內(nèi)容很長時間都沒有任何的更新，蜘蛛也會相應(yīng)調(diào)整對網(wǎng)站的爬行頻率。更新頻率對新聞等網(wǎng)站來說很關(guān)鍵。因此，保持每天一定的更新數(shù)量，對吸引蜘蛛是非常重要的。
2．網(wǎng)站內(nèi)容的質(zhì)量
對于低質(zhì)量的頁面，搜索引擎一直是打擊的，因此，創(chuàng)建高質(zhì)量的內(nèi)容，對于吸引蜘蛛是非常關(guān)鍵的，從這個角度來說，“內(nèi)容制勝”是完全正確的。如果網(wǎng)頁是低質(zhì)量的，比如大量采集相同內(nèi)容，頁面核心內(nèi)容空泛，就無法獲得蜘蛛的青睞。
3．網(wǎng)站是否可以正常訪問
網(wǎng)站是否可以正常訪問對搜索引擎來說就是連通度。連通度要求網(wǎng)站不能經(jīng)常訪問不了，或者訪問速度特別慢。從蜘蛛角度來看，希望能提供給檢索客戶的網(wǎng)頁都是可以正常訪問的頁面，對于服務(wù)器反應(yīng)速度慢或者經(jīng)常死機(jī)的服務(wù)器，相關(guān)網(wǎng)站肯定會有負(fù)面的印象，嚴(yán)重的就是逐漸減少爬行，甚至剔除已經(jīng)收錄的頁面。
在現(xiàn)實中，因為國內(nèi)的服務(wù)器服務(wù)比較貴，另外，基于監(jiān)管的要求，國內(nèi)網(wǎng)站的建立需要有備案制度，需要經(jīng)歷網(wǎng)上上傳備案信息等流程，部分中小網(wǎng)站的站長可能會租用國外的服務(wù)器服務(wù)，比如Godaddy(一家提供域名注冊和互聯(lián)網(wǎng)主機(jī)服務(wù)的美國公司)服務(wù)等。不過從國內(nèi)訪問國外服務(wù)器，距離較遠(yuǎn)的原因，訪問慢或者死機(jī)情況不可避免，從長遠(yuǎn)來說，對網(wǎng)站的SEO效果是一個制約。如果要用心經(jīng)營一個網(wǎng)站，還是盡量采用國內(nèi)的服務(wù)器服務(wù)，可以選擇一些服務(wù)比較好、界面比較友好的服務(wù)器供應(yīng)商，當(dāng)前多家公司推出的云服務(wù)器就是不錯的選擇。
此外，搜索引擎會依據(jù)網(wǎng)站的綜合表現(xiàn)，對網(wǎng)站進(jìn)行評級，這個評級不能完全等同于權(quán)重，但是，評級的高低會影響到蜘蛛對網(wǎng)站的抓取策略。
在抓取頻次方面，搜索引擎一般都提供可以調(diào)整抓取頻次設(shè)置的工具，SEO人員可以依據(jù)實際情況進(jìn)行調(diào)整。對于服務(wù)請求比較多的大型網(wǎng)站，可以通過調(diào)整頻次的工具來減輕網(wǎng)站的壓力。
在實際抓取過程中，如果遇到無法訪問的抓取異常情況，會導(dǎo)致搜索引擎對網(wǎng)站的評級大大降低，相應(yīng)影響抓取、索引、排序等一系列SEO效果，最終反饋到流量的損失上。
抓取異常的原因有很多，比如服務(wù)器不穩(wěn)定，服務(wù)器一直超負(fù)荷運行，或者協(xié)議出現(xiàn)了錯誤。因此，需要網(wǎng)站運維人員對網(wǎng)站的運行進(jìn)行持續(xù)跟蹤，確保網(wǎng)站穩(wěn)定運行。在協(xié)議配置上，需要避免一些低級的錯誤，比如Robots的Disallow設(shè)置錯誤。曾經(jīng)有一次，一個公司管理人咨詢SEO人員，問他們委托外部開發(fā)人員做好網(wǎng)站后，在搜索引擎怎么都無法搜索到，是什么原因。SEO人員直接在URL，地址欄輸入他的網(wǎng)站Robots地址，赫然發(fā)現(xiàn)里面禁止了(Disallow命令)蜘蛛的爬行!
關(guān)于網(wǎng)站無法訪問，還存在其他可能，比如網(wǎng)絡(luò)運營商異常，即蜘蛛無法通過電信或者網(wǎng)通等服務(wù)商訪問到網(wǎng)站；DNS異常，即蜘蛛無法正常解析網(wǎng)站IP，可能是地址錯誤，也可能是域名商封禁，遇到這種情況需要和域名商聯(lián)系。還有的可能是網(wǎng)頁的死鏈，比如當(dāng)前頁面已經(jīng)失效或者出錯等，可能部分網(wǎng)頁已經(jīng)批量下線，遇到這種情況，最好的方法是提交死鏈說明；如果是uRL變更導(dǎo)致的舊的URL失效無法訪問，最好設(shè)置301跳轉(zhuǎn)，把舊的URL和相關(guān)權(quán)重過渡到新的頁面來。當(dāng)然，也可能是搜索引擎本身負(fù)荷過大，臨時封禁。
針對已經(jīng)抓取回來的數(shù)據(jù)，接著就是蜘蛛進(jìn)行建庫的環(huán)節(jié)。在這個環(huán)節(jié)里，搜索引擎會依據(jù)一些原則對鏈接的重要性進(jìn)行判斷。一般來說，判斷的原則如下：內(nèi)容是否原創(chuàng)，如果是，會獲得加權(quán)；主體內(nèi)容是否是鮮明的，即核心內(nèi)容是否突出，如果是，會獲得加權(quán)；內(nèi)容是否豐富，如果內(nèi)容非常豐富，會獲得加權(quán)；用戶體驗是否好，比如頁面比較流暢、廣告加載少等，如果是，會獲得加權(quán)等。
因此，我們在網(wǎng)站日常運營過程中，需要堅持如下幾個原則。
(1)不要抄襲。因為獨特的內(nèi)容是所有搜索引擎公司都喜歡的，互聯(lián)網(wǎng)鼓勵原創(chuàng)。很多互聯(lián)網(wǎng)公司希望通過大量采集網(wǎng)絡(luò)內(nèi)容來組織自己的網(wǎng)站，從SEO角度來說，其實是不可取的行為。
(2)在網(wǎng)站內(nèi)容設(shè)計的時候，要堅持主題內(nèi)容突出，就是要讓搜索引擎爬過來就能知道網(wǎng)頁要表達(dá)的內(nèi)容是什么，而不是在一堆內(nèi)容里去判斷網(wǎng)站到底是做什么業(yè)務(wù)的。主題不突出，在很多經(jīng)營混亂的網(wǎng)站中有典型案例，比如有的小說網(wǎng)站，800字的一章切分到8個頁面，每個頁面大概100字，頁面其余地方都是各種廣告、各種無關(guān)內(nèi)容信息。還有的網(wǎng)站，主體內(nèi)容是一個frame框架或者AIAX框架，蜘蛛能爬到的信息都是無關(guān)內(nèi)容。
(3)豐富的內(nèi)容，即內(nèi)容信息量大，內(nèi)容的展示模式多樣化。廣告適當(dāng)就是少嵌入廣告，不要打開網(wǎng)頁滿屏都是花花綠綠的廣告。因為廣告加載時間計算在頁面整體加載時間內(nèi)，如果廣告加載時間過長，導(dǎo)致頁面無法完全加載，就會造成頁面空而短。同時，針對大量廣告影響用戶體驗方面，百度于2013年5月17日發(fā)布公告，宣稱針對低質(zhì)量網(wǎng)頁推出了‘‘石榴算法”，旨在打擊含有大量妨礙用戶正常瀏覽的惡劣廣告的頁面，尤其是彈出大量低質(zhì)廣告、存在混淆頁面主體內(nèi)容的垃圾廣告的頁面。目前部分大型門戶網(wǎng)站從營收的角度考慮，還是懸掛大量的廣告，作為SEO人員，需要考慮這個問題。
(4)保持網(wǎng)頁內(nèi)容的可訪問性。有些網(wǎng)頁承載了很多的內(nèi)容，但是使用js、AJAX等方式進(jìn)行呈現(xiàn)，對搜索引擎來說是無法識別的，這樣就造成網(wǎng)頁內(nèi)容空而短．使網(wǎng)頁的評級大大下降。
此外，在鏈接的重要程度方面，還有兩個重要的判斷原則：從目錄層級來說，堅持淺層優(yōu)先原則；從內(nèi)鏈設(shè)計來說，堅持受歡迎頁面優(yōu)先原則。
所謂淺層優(yōu)先，即搜索引擎在處理新鏈接、判斷鏈接重要性的時候，會優(yōu)先考慮URL．更多的頁面，即從uRL組織上離首頁域名更近的頁面。因此，SEO在做重要頁面優(yōu)化的時候，一定要注意扁平化的原則，盡量縮短URL的中間環(huán)節(jié)。
既然淺層優(yōu)先，那么是否可以把所有的頁面平鋪到網(wǎng)站根目錄下，從而選到最好的SEO效果?肯定不是，首先，優(yōu)先是一個相對的概念，如果把所有的內(nèi)容都放在根目錄下，就無所謂優(yōu)先了，重要的內(nèi)容和不重要的內(nèi)容沒有任何區(qū)分。另外，從SEO角度來說，URL抓取后還用來分析網(wǎng)站的結(jié)構(gòu)，通過URL的組成，大致判斷內(nèi)容的分組，SEO人員可以通過URL的組成來完成關(guān)鍵詞和關(guān)鍵詞網(wǎng)頁的組織。
比如可能這個組下的內(nèi)容都是與教育相關(guān)的，如www.abc.com/jiaoyu/1.html。www.abc.com/lvyou/可能這個組下的內(nèi)容都是與旅游相關(guān)的，如www.abc.com/lvyou/1.html
目前在站內(nèi)的受歡迎程度主要從以下指標(biāo)反映出來。
?站內(nèi)導(dǎo)向該頁面的內(nèi)鏈數(shù)量。
?站內(nèi)通過自然瀏覽行為到達(dá)該頁面的PV。
?該頁面的點擊流失率。
因此，從SEO角度來說，如果你需要快速提高一個頁面的搜索排名，可以從受歡迎程度方面做一些工作，如下。
?多從其他頁面做導(dǎo)向該頁面的錨文本，特別是高PR頁面。
?給該頁面取一個吸引人的標(biāo)題，引導(dǎo)更多自然瀏覽用戶單擊鏈接到達(dá)該頁面。
?提高頁面的內(nèi)容質(zhì)量，降低頁面的流量率
本文由領(lǐng)創(chuàng)網(wǎng)絡(luò)菏澤網(wǎng)站建設(shè)公司:
https://www.lingchuangweb.com/
原創(chuàng)文字，版權(quán)所有，轉(zhuǎn)載請注明出處，并保留本鏈接，謝謝!
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
