robots文件是网站与搜索引擎爬虫沟通的重要渠道，目的就是告诉搜索引擎本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 robots是网站跟爬虫间的协议，用简单直接的txt格式文本...

我们在查看网站蜘蛛爬虫访问日志的时候，总能看到一些不知名的蜘蛛爬虫频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢？ 屏蔽这些垃圾蜘蛛爬虫之前，我们需要知道一...