新网站上线,很多站长朋友总想知道搜索引擎的蜘蛛(爬虫)有没有来过自己的网站,下面就教大家一个简单的方法,轻松查看搜索引擎蜘蛛访问日志!
现在,51LA推出了网站统计V6,自带蜘蛛统计功能,我们只需要添加一个51LA统计代码就可以了,而且使用完全免费!
51LA根据各大搜索引擎公布的IP、User-agent标识,并执行 nslookup 反向解析校验来判断是否为真实蜘蛛,准确率高达99%!
常见蜘蛛:
百度蜘蛛:Baiduspider
谷歌蜘蛛:Googlebot
必应蜘蛛:bingbot
搜狗蜘蛛:Sogou web spider
360蜘蛛:360Spider