Unknown robot (identified by ‘spider’)蜘蛛爬行消耗掉巨大流量
因虚拟主机限制了每月的流量,在通过Awstats工具查看访问流量时发现非浏览器浏览占去大量的流量,通过查看:搜索引擎网站的机器人发现大量流量是被Unknown robot (identified by ‘spider’)消耗掉,除了百度,GOOGLE等常见搜索引擎蜘蛛外,有些不知名搜索引擎蜘蛛违规胡乱爬行我们的网站,造成流量被大量消耗和占用CPU资源,导致网站访问速度变慢,我们需要做一些设置将其屏蔽。 一、robots.txt爬虫协议 对正规的搜索引擎会有效,但对一些不知名的搜索引擎可能会无效,现在GOOGLE被国内封锁,如果你的用户是国内客户,可以将GOOGLE搜索引… 阅读全文Unknown robot (identified by ‘spider’)蜘蛛爬行消耗掉巨大流量