蚂蚁软件 专业站群软件开发团队

蚂蚁软件

MAYISOFT.COM

【重要】不做国外站的建议屏蔽谷歌蜘蛛

2019-01-19 作者:mayisoft 访问量:99999
  强烈建议不做国外站的老哥们屏蔽谷歌蜘蛛!!!因为这厮实在爬得太猛了。。。。刚部署的站没几天每天谷歌蜘蛛爬几十万,白白消耗了服务器N多性能。


 
  谷歌蜘蛛太贪吃了,什么都吃,镜像一个百万内容的站,恨不得一天之内就给你吃完。要知道,蜘蛛在爬取一个本地不存在缓存的页面的时候,程序是要动态请求目标站进行索取数据的,这个过程是非常耗时的,如果每分组几千个谷歌蜘蛛爬过来,不说CPU会不会飙升,单单是宽带就可以被撑满。所以为了安全起见,不做国外站的老哥们,还是屏蔽掉谷歌蜘蛛比较好。
  程序提供屏蔽谷歌蜘蛛的方式有两种:
     1:蜘蛛屏蔽模块直接屏蔽谷歌蜘蛛。但是这个时候还是会爬,只是程序给拒绝了。
     2:批量设置robots,屏蔽谷歌蜘蛛。这种方式就需要靠谷歌蜘蛛的自觉性了。
  设置好这两项后,可以大大降低服务器的压力,如果在设置中有什么疑问,可以联系在线客服提供技术支持哦。
 
未经允许不得转载:蚂蚁站群软件 » 【重要】不做国外站的建议屏蔽谷歌蜘蛛

相关推荐