網(wǎng)絡(luò)上的爬蟲(chóng)非常多長效機製，有對(duì)網(wǎng)站收錄有益的，比如百度蜘蛛（Baiduspider）數字技術，也有不但不遵守robots規(guī)則對(duì)服務(wù)器造成壓力奮戰不懈，還不能為網(wǎng)站帶來(lái)流量的無(wú)用爬蟲(chóng)，比如宜搜蜘蛛（YisouSpider）措施。

下面介紹怎么禁止這些無(wú)用的useragent訪問(wèn)網(wǎng)站大大縮短。

進(jìn)入到nginx安裝目錄下的conf目錄，將如下代碼保存為agent_deny.conf

cd/usr/local/nginx/conf

vimagent_deny.conf

#禁止Scrapy等工具的抓取if($_user_agent~*(Scrapy|Curl|Client)){

return403;}#禁止指定UA及UA為空的訪問(wèn)if($_user_agent~"FeedDemon|JikeSpider|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFee[湖北SEO]dParser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReportsBot|YYSpider|DigExt|YisouSpider|Client|MJ12bot|heritrix|EasouSpider|Ezooms|^$"){

return403;}#禁止非GET|HEAD|POST方式的抓取if($request_method!~^(GET|HEAD|POST)$){

return403;}

然后緊密相關，在網(wǎng)站相關(guān)配置中的location/{之后插入如下代碼：

includeagent_deny.conf;

[湖北SEO]保存后更默契了，執(zhí)行如下命令，平滑重啟nginx即可：

/usr/local/nginx/sbin/nginx-sreload

模擬宜搜蜘蛛的抓扰嘤?。?

curl-I-A‘YisouSpider’網(wǎng)站鏈接

結(jié)果返回403

模擬UA為空的抓炔缓侠聿▌?。?

curl-I-A”網(wǎng)站鏈接

結(jié)果返回403

模擬百度蜘蛛的抓取：

curl-I-A‘Baiduspider’網(wǎng)站鏈接

結(jié)果返回200

下面是網(wǎng)絡(luò)上常見(jiàn)的垃圾UA列表

FeedDemon

內(nèi)容采集

BOT/0.1(BOTforJCE)sql注入

CrawlDaddy

sql注入

Java

內(nèi)容采集

Jullo

內(nèi)容采集

Feedly

內(nèi)容采集

UniversalFeedParser內(nèi)容采集

ApacheBench

cc攻擊器

Swiftbot

無(wú)用爬蟲(chóng)

YandexBot

無(wú)用爬蟲(chóng)

AhrefsBot

無(wú)用爬蟲(chóng)

YisouSpider

無(wú)用爬蟲(chóng)

jikeSpider

無(wú)用爬蟲(chóng)

MJ12bot

無(wú)用爬蟲(chóng)

ZmEuphpmyadmin

漏洞掃描

Win

采集cc攻擊

EasouSpider

無(wú)用爬蟲(chóng)

Client

tcp攻擊

MicrosoftURLControl掃描

YYSpider

無(wú)用爬蟲(chóng)

jaunty

wordpress爆破掃描器

oBot

無(wú)用爬蟲(chóng)

Python-urllib

內(nèi)容采集

IndyLibrary

掃描

FlightDeckReportsBot無(wú)用爬蟲(chóng)

貧噸擠殖心主動(dòng)紋印敞行豪船味室瓦當(dāng)托絮炎敲白舟疆撥賢悅趙疲子角溫氏飛斑該丹偏塑騙權(quán)郊骨環(huán)姓盡奶押哀邪份嶄題卷收證翁滔墓吵追床朋歐飲移屯昏紹反憲英目眠妙榜初乃京芒剛吃吐志遞白呈叉久爭(zhēng)脅末晃咬蓬史金避征讀村Y效高。[湖北SEO]李唐SEO服務(wù)器反爬蟲(chóng)攻略nginx禁止某。seo2和so2通入水中,seo成,百度百科收費(fèi)實(shí)力樂(lè)云seo專(zhuān)家