国庆出游算一算!用Python分析国庆旅游景点( 五 )

4.批量爬取

批量爬取也很简单,先找分页数据,多点几下页数比较不同参数就能看出来

国庆出游算一算!用Python分析国庆旅游景点

图9/21

经过一会的分析,我们便可以看出参数page就是分页参数了,这样我们在外层写一个for循环,把页数传入就可以实现批量爬取

国庆出游算一算!用Python分析国庆旅游景点

图10/21

那个36是我在网页上看到了,当然也可以实现自动判断是否爬取完成,只要判断每次返回的条数即可!

看看批量爬取的效果

国庆出游算一算!用Python分析国庆旅游景点

图11/21

分析数据

推荐阅读