robots文件是网站与搜索引擎爬虫沟通的重要渠道，目的就是告诉搜索引擎本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 robots是网站跟爬虫间的协议，用简单直接的txt格式文本...