MJ12bot、AhrefsBot是什么蜘蛛?怎么样屏蔽?

评论

最近新网站上线,我一直在关注着网站搜索引擎蜘蛛的抓取情况,其中MJ12bot与AhrefsBot这两个蜘蛛抓取特别频繁,这些是什么蜘蛛呢?又该怎么样屏蔽?

MJ12bot、AhrefsBot是什么蜘蛛?怎么样屏蔽?

遇到问题,自己动手才是真理,搜索之后得知,MJ12bot与AhrefsBot都是国外搜索引擎蜘蛛,在国内对于我们来说几乎没有什么作用。

但是这些蜘蛛爬虫抓取太频繁会增加服务器的负担,我们该如何屏蔽这些垃圾蜘蛛呢?

MJ12bot与AhrefsBot遵循robots协议,我们可以直接在robots.txt中将它屏蔽掉,具体代码如下:

User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /

  • 本文由 发表于 2022-09-02
  • 转载请务必保留本文链接:https://abcvps.cn/221.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: