屏蔽垃圾蜘蛛：一、通過(guò)IP地址和域限制對(duì)網站的訪問

垃圾蜘蛛對(duì)網站優化起(qǐ)不到半點作用，反而因過(gu什站ò)度抓取，還(hái)容易導緻CPU、帶寬占用過(guò)度，筆湖對(duì)于我們認可的蜘蛛反而會(huì好秒)造成(chéng)一定的影響，那麼(me)，我們在這(zhè)裡(lǐ)分一道慢期欄目來講述一下如何屏蔽掉這(zhè)些垃圾蜘蛛。

垃圾蜘蛛留下的日志信息：

54.36.148.196 Mozill玩了a/5.0+(compatible;+Ahr化志efsBot/7.0;++http://ahre醫間fs.com/robot/)

通過(guò)分析，我們不難看出此垃圾光亮蜘蛛的IP段為 54.36.148.0

因此，我們隻要將(jiāng)此IP段地址添加到IIS中的IP地址和域限制水校就(jiù)可以了。

至此，我們已經(jīng)通過(guò)IP地址和域限制的設林數置對(duì)垃圾蜘蛛 AhrefsBot 進(jìn)行了限制訪問人湖。