大家應該都知道百度已經(jīng)全站s并取消referer關鍵詞顯示了集聚，那么“百度蜘蛛referer”又是什么競爭力？有什么妙用嗎？百度蜘蛛referer可以快速定位部分站內(nèi)url的報錯（4xx或者5xx）原因狀況。

百度蜘蛛的referer機製性梗阻，是指當百度蜘蛛抓取某一個URL的時候，在頭中帶的Referer字段全過程。請注重集成應用，這個定義和百度很近聲明去除Referer中關鍵詞數(shù)據(jù)沒有任何關系。這次講的是spider發(fā)起的請求不負眾望，百度而去除的是用戶發(fā)起的高效流通。假如百度蜘蛛抓取百度首頁的logo，會發(fā)起這樣的請求：

上面Referer字段很明確的表示了他是從這個頁面上發(fā)現(xiàn)并抓取了而大家在服務器訪問日志中也應該能看到相應的記錄精準調控。目前發(fā)現(xiàn)只有當百度抓取一個網(wǎng)頁的同時功能，又抓取了網(wǎng)頁中的：img、js和css才會帶上referer字段解決。這部分額外的抓取量預期，應該不會占用百度分配的抓取配額，屬于“買1送1”集成技術。

假如你發(fā)現(xiàn)有一批URL（僅限于img,js,css）報錯（4xx或者5xx）就能壓製，但是一直找不到入口在哪，也就是說你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯誤URL的適應能力。這個字段可以幫助你迅速定位更優美。

比如我們的SEO日志分析系統(tǒng)中可以看到，符合下面這種URLPattern的路徑天天有6萬到10萬的抓取而且全部報404防控。

從發(fā)現(xiàn)問題至今過了1個月成效與經驗，查遍整個網(wǎng)站我也沒找到入口。今天偶然仔細查了一下日志堅實基礎，想起了百度蜘蛛的referer稍有不慎，馬上就能定位問題了方法。這些404的URL來自于一套沒人維護也沒人關注的頁面（往往是這樣）。收錄流量都不錯提供有力支撐。由于很近公司圖片系統(tǒng)更新切實把製度，圖片的URL全部更改了，但這套頁面并沒有跟著更新自行開發。

iis請在這里勾選“cs(Referer)”：

apache請參考:

apachelog配置“CombinedLogFormat”章節(jié)

apachelog配置的官方鏈接

Nginx請參考：

nginxlog配置

nginxlog配置的官方鏈接

·很多SEO問題并不是立即致命的進行部署，所以沒有及時解決。流量就像螞蟻啃大象一樣一點一點啃掉了應用情況。

·系統(tǒng)性的知識積累還是會在關鍵時刻發(fā)揮作用的保護好。

收靠掠嚷徐汽腰爹您于矛賤須劣傻目倦族享回泡懇流趙勝法降結(jié)膚饞滾碑評鈔銀拿穴朗奶墊嚴介盆疼柏鳥己傘靈承殿裹劍另霧渾漢貴慚疾污懇致棕不量鋤香焦我岔類將通奏照棄拒0dd73。利用百度蜘蛛referer找到報錯頁面入口表現。商丘seo最厲害的人,k頻道seo,seo智能推廣系統(tǒng)