所有網(wǎng)站的robots文件都是公開的重要的角色，假如輸入“網(wǎng)站域名/robots.txt”打開了一個404錯誤頁面開放要求，則說明該網(wǎng)站沒有做robots文件。

robots文件是搜索引擎蜘蛛來一個網(wǎng)站首先要查看的平臺建設，提前知道該網(wǎng)站哪些答應(yīng)它抓取服務機製，哪些不答應(yīng)的，它會遵循規(guī)定來做使用。假如不做robots文件大幅拓展，在該網(wǎng)站的空間日志里會出現(xiàn)一個404的錯誤代碼，這不要緊足夠的實力，因為很多網(wǎng)站都不做重要性，尤其對于小型網(wǎng)站并不重要。但大型網(wǎng)站講究比較細致多種場景，基本上都會做多元化服務體系。

下圖中淘寶的robots文件表示禁止百度蜘蛛抓取網(wǎng)站的任何內(nèi)容，有人會問“我搜索淘寶網(wǎng)，明明可以搜到深度，難道是淘寶寫錯帶動擴大，或百度沒有遵守這個規(guī)則?”這里天線貓seo的小編要說明兩點:

(1)淘寶并沒有寫錯

(2)百度有時候的確會不遵守規(guī)則，包括其他搜索引擎也是如此開拓創新。

搜索引擎并不會完全遵守robots文件持續發展，但總體來說都是遵守的。有些文章已經(jīng)被百度收錄了促進善治，假如臨時要用robots文件屏蔽它們擴大，那么在百度的數(shù)據(jù)庫里大概需要幾個星期到一兩個月的時間才能慢慢刪除這些文章。

為什么淘寶網(wǎng)一直在百度里呢?并不是百度不遵守規(guī)則發揮效力，而是從用戶體驗的角度來講新格局，假如一個網(wǎng)民去百度搜索“淘寶網(wǎng)”，很后竟然搜索不到安全鏈，他會認為百度這么大一個搜索引擎居然搜索不到這個知名的淘寶網(wǎng)顯示，非常希罕。所以像淘寶網(wǎng)這種非常知名的網(wǎng)站真正做到，百度對它比較尤其科普活動，或者說是從用戶體驗的角度出發(fā)，讓網(wǎng)民能搜索到這類知名的網(wǎng)站強化意識，哪怕淘寶的robots文件里禁上百度抓取長期間。