祸起爬虫!“数据圈”一夜入冬?( 二 )

“没有爬不到的数据”

在近年互联网金融大潮中,大数据服务供应商一直扮演着重要角色。而近期多家公司接连被查,将处于数据风控服务核心的网络爬虫技术推到了风口浪尖。

爬虫作为一种计算机技术,具有技术中立性,爬虫技术在法律上从来没有被禁止。爬虫的发展历史可以追溯到20年前,搜索引擎、聚合导航、数据分析、人工智能等业务,都需要基于爬虫技术。但是爬虫作为获取数据的技术手段之一,由于部分数据存在敏感性,如果不能甄别哪些数据是可以爬取,就会触及监管红线。

“爬虫技术作为第三方大数据风控服务商的主打产品,也是互联网金融公司进行大数据风控必不可少的武器。”刘毅对采访人员说,“不过,目前网络爬虫存在着是否经过用户授权,是否存在过度爬取信息,爬取到的信息使用等问题。随着同业竞争越来越激烈,一些畸形的爬虫产品也随之出现,涉及数据窃取、泄露、滥用和隐私安全等问题。”

一些大数据风控服务商为了在竞争中取得领先地位,需要更精准的分析用户行为,制作用户画像,为了获取海量的数据支撑,电商数据、通信运营商、出行数据,信用卡、人行征信等信用数据,甚至网银、公积金等金融数据等,都成为爬虫们的目标。

推荐阅读