bot|公众号可被搜索引擎抓取,微信要更“互联互通”( 二 )


然而有意思的事情来了,苹果方面在官网的“Applebot”页面声明中写道,“如果robots.txt中没有提到Applebot,而是提到了Googlebot,那么Applebot将遵循Googlebot的指令“,言下之意就是Applebot也是Googlebot。
bot|公众号可被搜索引擎抓取,微信要更“互联互通”
文章插图
事实上,robots协议并不会经常修改,毕竟它的内容是与内容运营策略息息相关的。而微信的robots协议在平稳运行了多年后,却在此前监管部门要求互联网厂商互联互通的时候出现“漏洞”,这个件事就可以说或非常“巧”了。
9月17日在监管机构的要求之下,在过去数年间各大互联网厂商建立的以邻为壑的“高墙”已经开始逐步坍塌。尽管在要求“互联互通”一个月后,各大互联网厂商之间的藩篱虽然还没有一夜之间倒塌,但也逐渐有了消融的迹象。
对于微信来说,公众号内容开放给外界,或许是腾讯分阶段分步骤实施互联互通中的一个环节。而如今微信公众号的内容出现在谷歌和必应上,也更像是微信在测试新的robots协议。毕竟,此前他们的robots协议协议可以说是非常简单,只需要允许搜狗搜索一家即可,但现在却需要对外界开放。
bot|公众号可被搜索引擎抓取,微信要更“互联互通”
文章插图
【 bot|公众号可被搜索引擎抓取,微信要更“互联互通”】要知道,国内的搜索引擎蜘蛛可不仅仅是百度、搜狗、360这些大家比较熟悉的,还有包括网易有道的YoudaoBot、宜搜的EasouSpider、一搜的YisouSpider、微软的Bingbot和Msnbot,以及其他大大小小不知名的爬虫。所以有观点认为,这也就得微信robots协议的编写难度将会陡然上升,而忙中出错忘记屏蔽了谷歌可能会是大概率事件。

推荐阅读