主頁 > 知識庫 > Google 優(yōu)化蜘蛛爬取和索引的技巧

Google 優(yōu)化蜘蛛爬取和索引的技巧

熱門標簽:圖吧地圖標注怎么刪除店 電話機器人電銷模式 怎么在地圖標注公司 承德店鋪地圖標注要多少錢 地圖標注路線用什么軟件 淘寶地圖標注地方 地圖標注怎么添加文本 400電話申請信通 400電話辦理操作流程

由于google掌控者搜索市場的大部分的份額,所以應時時關注和聽取它的一些動態(tài)。“Google發(fā)表了一篇叫做優(yōu)化蜘蛛爬取和索引的技巧”,是不是該引起我們的注意呢?

文中內(nèi)容高度強調(diào)可以提高你站點爬取的能力的一些技巧,下面是陳列的關于URL的具體的例子。
 
     “互聯(lián)網(wǎng)是個大世界,時時刻刻都有新的內(nèi)容被發(fā)表,創(chuàng)造,”Google 分析師Susan Moskwa說到。“Google 擁有無限的資源,所以當它面臨幾乎無限的在線的可利用的資源時,google的蜘蛛只有能力去找尋和爬取一部分的內(nèi)容,而面對已經(jīng)爬取了的內(nèi)容,我們又只能索引一部分。”

 Moskwa說:“URL就像一座連接你站點和搜索引擎蜘蛛之間的橋梁,蜘蛛需要能夠找到并通過這座橋梁(IE,找到并爬取你的URL)到達你的網(wǎng)站內(nèi)容頁,如果你的URL地址過于復雜或是太冗余,蜘蛛就要花費很多時間去跟蹤并反跟蹤自己爬取的腳印,如果URL地址被很好的組織著,并直接指向相關區(qū)域的內(nèi)容,這樣就不會爬取到空白或是重復的內(nèi)容頁了。”

 如果你想被Google更好的索引,你必須刪除URL地址中用戶具體信息。具體情況可瀏覽幻燈片。基本上URL的參數(shù)時不會改變網(wǎng)頁的內(nèi)容,所以這些參數(shù)應該要刪除或是放入cookie中。這樣就會減少很多URL指向同一個內(nèi)容的數(shù)量,加快檢索。(這里應該指的就是盡量使用靜態(tài)地址,少產(chǎn)生一些用戶自帶的參數(shù)的重復URL)

Google說漫無目的的無限的空間和廣度其實很浪費時間,所以對于那些是唯一地址的不管是過去的還是將來的url地址,最好有一個時間標志。例如example/2009/08//11/title

告訴Google那些網(wǎng)頁可以忽略它不需要爬取。包括一些登陸的頁面,聯(lián)系方式,購物車和其他的頁面,類似于要求用戶去執(zhí)行的行為,蜘蛛是無法識別操作的??梢酝ㄟ^使用robots.txt文件來實現(xiàn)。

最后,盡可能避免重復的內(nèi)容。Google希望每一個內(nèi)容頁面都對應一個唯一的地址。當然他們不可能全部的識別出來,因此會有一些典型鏈接因素存在讓你去鑒別哪些特定內(nèi)容網(wǎng)頁的URL更被人們喜愛。

標簽:梅州 臨沂 張家界 合肥 七臺河 黑龍江 山西 常州

巨人網(wǎng)絡通訊聲明:本文標題《Google 優(yōu)化蜘蛛爬取和索引的技巧》,本文關鍵詞  Google,優(yōu)化,蜘蛛,爬取,和,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Google 優(yōu)化蜘蛛爬取和索引的技巧》相關的同類信息!
  • 本頁收集關于Google 優(yōu)化蜘蛛爬取和索引的技巧的相關信息資訊供網(wǎng)民參考!
  • 推薦文章