站长吐槽：头条搜索爬虫暴力抓取网站内容
"multi_version":false
最近有站长在网上发文吐槽表示 ， 字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网站内容 ， 部分配置较低的网站已经直接瘫痪 ， 给中小网站主们造成了很大的损失和困扰 ， 严重影响了网站正常的用户访问 。
该站长表示 ， 今年7月份 ， 他突然发现公司的网站经常性打不开 ， 网页加载极其缓慢 ， 有时甚至直接瘫痪 。 经过一系列排查后 ， 在服务器日志上发现了bytespider爬虫的痕迹 。 该爬虫抓取的频率每天达几百万次 ， 高则上千万次 ， 服务器带宽负载飙至100% ， 而且该爬虫在抓取时完全不遵守网站的robots协议 。
该站长顺着该爬虫的IP地址查询 ， 证实 ， 该爬虫就是字节跳动的搜索爬虫 。
并且 ， 在CSDN、V2EX等技术论坛也了解到 ， 从字节跳动开始做搜索之后 ， 其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音 ， 遭受字节跳动的搜索爬虫暴力抓取的不是个例 ， 很多小网站他们也没放过 。
推荐阅读
- 腾讯|LPL官方发新歌，JKL被吐槽累死调音师，网友：Lvmao努力在C了！
- kpl|主播趣闻：卡萨吐槽转会谣言，姿态实锤复出！硬币哥梦回S9版本
- 绝地求生|绝地求生2手游正式公测，画质太糊被吐槽，只要修改3个设置堪比端游
- 金泰相|doinb回家住进了“宫殿”，小天却在吐槽：如今连商场都去不了
- 原神|原神：玩家期望过高，托马被吐槽版本陷阱，真的有那么弱？
- ag战队|一诺果真AG“亲儿子”，赛后语音曝光：月光强令一诺做最终决策，网友吐槽难怪输那么惨
- jiejie|虎牙饭堂夜AJ调侃jiejie，柯基疯狂吐槽BDD发条狂送！
- ag战队|AG惨败狼队掉入S组卡位赛，一诺场均阵亡超过4次，猪哼疯狂吐槽！
- 二次元|二次元手游画师吐槽不画媚宅色图，玩家：你是想站着，还是想挣钱？
- 亚瑟王|cat在路人局也被嫌弃了，亚瑟王吐槽猫神太菜，还是玩鲁班大师去吧