優(yōu)化網(wǎng)站的抓取和收錄

發(fā)布時間: 2012/9/4 10:34:23

很多有關于網(wǎng)站結構、抓取與收錄、甚至是排名的問題都可以被歸結為一個中心問題，那就是：搜索引擎能夠多么容易的抓取您的網(wǎng)站？我們在最近的幾次活動上都談到過這個話題，下面您將會看到我們關于這個問題的演講內容以及要點概括。

網(wǎng)絡世界極其龐大；每時每刻都在產(chǎn)生新的內容。百度本身的資源是有限的，當面對幾近無窮無盡的網(wǎng)絡內容的時候，百度蜘蛛只能找到和抓取其中一定比例的內容。然后，在我們已經(jīng)抓取到的內容中，我們也只能索引其中的一部分。URLs 就像網(wǎng)站和搜索引擎抓取工具之間的橋梁: 為了能夠抓取到您網(wǎng)站的內容，抓取工具需要能夠找到并跨越這些橋梁(也就是找到并抓取您的URLs)。

1.如果您的URLs很復雜或冗長，抓取工具不得不需要反復花時間去跟蹤這些網(wǎng)址；

2.如果您的URLs很規(guī)整并且直接指向您的獨特內容，抓取工具就可以把精力放在了解您的內容上，而不是白白花在抓取空網(wǎng)頁或被不同的URLs指引卻最終只是抓取到了相同的重復內容。

在上面的幻燈片上，您可以看到一些我們應當避免的反例–這些都是現(xiàn)實中存在的URL例子(盡管他們的名稱由于保護隱私的原因已經(jīng)被替換了)，這些例子包括被黑的URL和編碼，冗余的參數(shù)偽裝成URL路徑的一部分，無限的抓取空間，等等。您還可以找到幫助您理順這些網(wǎng)址迷宮和幫助抓取工具更快更好地找到您的內容的一些建議，主要包括：去除URL中的用戶相關參數(shù)那些不會對網(wǎng)頁內容產(chǎn)生影響的URL中的參數(shù)——例如session ID或者排序參數(shù)——是可以從URL中去除的，并被cookie記錄的。通過將這些信息加入cookie，然后301重定向至一個“干凈”的URL，你可以保持原有的內容，并減少多個URL指向同一內容的情況�？刂茻o限空間你的網(wǎng)站上是否有一個日歷表，上面的鏈接指向無數(shù)個過去和將來的日期（每一個鏈接地址都獨一無二）？你的網(wǎng)頁地址是否在加入一個&page=3563的參數(shù)之后，仍然可以返回200代碼，哪怕根本沒有這么多頁？如果是這樣的話，你的網(wǎng)站上就出現(xiàn)了所謂的“無限空間”，這種情況會浪費抓取機器人和你的網(wǎng)站的帶寬。

如何控制好“無限空間”，參考這里的一些技巧吧。阻止百度爬蟲抓取他們不能處理的頁面通過使用你的robots.txt 文件，你可以阻止你的登錄頁面，聯(lián)系方式，購物車以及其他一些爬蟲不能處理的頁面被抓取。(爬蟲是以他的吝嗇和害羞而著名，所以一般他們不會自己 “往購物車里添加貨物” 或者 “聯(lián)系我們”)。通過這種方式，你可以讓爬蟲花費更多的時間抓取你的網(wǎng)站上他們能夠處理的內容。一人一票。一個 URL, 一段內容在理想的世界里，URL和內容之間有著一對一的對應：每一個URL會對應一段獨特的內容，而每一段內容只能通過唯一的一個URL訪問。越接近這樣的理想狀況，你的網(wǎng)站會越容易被抓取和收錄。如果你的內容管理系統(tǒng)或者目前的網(wǎng)站建立讓它實現(xiàn)起來比較困難，你可以嘗試使用元素去設定你想用的URL去指示某個特定的內容。以上文字由專業(yè)建站_鄭州建站公司_專業(yè)建站、優(yōu)化就找億恩首次發(fā)布，轉載請注明出處http://www.riomediacenter.com/380.html
本文出自：億恩科技【www.riomediacenter.com】

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]