最近新网站上线，我一直在关注着网站搜索引擎蜘蛛的抓取情况，其中MJ12bot与AhrefsBot这两个蜘蛛抓取特别频繁，这些是什么蜘蛛呢？又该怎么样屏蔽？
遇到问题，自己动手才是真理，搜索之后得知，MJ12bot与AhrefsBot都是国外搜索引擎蜘蛛，在国内对于我们来说几乎没有什么作用。
但是这些蜘蛛爬虫抓取太频繁会增加服务器的负担，我们该如何屏蔽这些垃圾蜘蛛呢？
MJ12bot与AhrefsBot遵循robots协议，我们可以直接在robots.txt中将它屏蔽掉，具体代码如下：
User-agent: AhrefsBot Disallow: / User-agent: MJ12bot Disallow: /