安全保卫战——家乐福618安全与性能之战( 五 )

仁道爬虫这种算好的,其实每个网站上都有N多个“仁道爬虫”,为什么叫仁道呢?因为它不会影响你系统的性能、不会造成太多危险,它以悠闲自得的速度以“友好协商”的态度,只做爬你的图片啦、商品价格啦之类的信息,对你的系统不会有任何影响,比如説:收集网站PV UV的也是一种仁道爬虫。

Low智商快爬虫为什么Low智商呢?因为它很容易发觉,比如説一个广告爬虫或者是你的网站登录没有设“登录失败次数限制”,那么这种爬虫会以每秒钟200、300、400多次的这种频率来登录你的网站,如果你有WAF,把WAF打开用最最基本的规则一搜就能轻易搜出一大堆这样的明显爬虫,因为它太容易被网站管理员发觉了,因此我们把它称之为“Low智商”就是这个道理。

恶意快爬虫这种爬虫和Low智商很像,但是它不仅仅是爬信息这么简单,因为它会带有一定的目的性,比如説利用你网站一些抽奖页面不设限或者没有相关业务逻辑防护的场景,在1-2秒内完成数千次的如:点击大转盘、点击翻牌、点击用户抽奖一类的按钮或者是相应的API调用,这种爬虫其实还是属于容易被发觉的。

高级爬虫(AI)类这种爬虫利害了,它不是不易发觉而是不易封干净;比如説某一个爬虫,它先开始以每秒300次来访问,你去封它了,它几乎是在下一秒就变换一个IP然后对着同样的URL以每秒290次来访问,你再封,它再变换一个频率,你不可能无限把访问频率下压,因为这对真实访问就会造成伤害。更甚有爬虫它不仅换IP、换频率,它还能够换着UA,Reference甚至换着URL来搞你,对于这一类爬虫你的WAF以及防火墙其实是失效的。

推荐阅读