爬虫技术为什么变成了害虫?爬虫技术到底犯了什么错?

2019-09-21 11:16 次阅读

  近日,多家通过爬虫技术开展大数据信贷风控的公司被查。短短几天时间,“爬虫”技术被推上了风口浪尖,大数据风控行业也迎来了前所未有的“震荡”。业内人士透露,这些被调查的大数据公司基本都是涉嫌利用网络爬虫技术侵犯个人隐私,并将这些数据信息转卖给其他机构获利。

  “爬虫”变成了“害虫”?

  何为爬虫?百度百科给出的定义是,网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

  据了解,爬虫的发展历史可以追溯到20年前,搜索引擎、聚合导航、数据分析、人工智能等业务都需要基于爬虫技术。随着互联网的发展,网络资源有大量信息的载体,如何更好更有效地提取并利用它,爬虫技术起到关键作用。爬虫技术在信息定位也比较准确,可以根据客户的搜索需求爬取最合适的数据推送出去。而且现在大数据处理方面,爬虫技术可以对爬取的数据进行分析从而得出比较准确的数据。

  爬虫技术的优势不言而喻。技术是中立的、无罪的,但技术被颇有用心的人乱用就会出现问题。近期暴露出来的事件就是最大的警示。

  事实上,自2016年开始,大数据风控、智能风控、智能催收逐渐成熟,并且开始应用于互联网金融领域。从金融发展的角度来讲,这是一件好事儿,大大降低了行业成本。而且随着大数据的出现和兴起,第三方大数据风控平台也迎来一波发展高潮。

  然而,提供信用评估类服务的第三方风控商在解决小额信贷多头借贷、欺诈等风险问题的同时,也在无形中掌握了用户贷前、贷后等各类信息数据。

  “风险来源于过分地获取用户数据,并且利用这些数据干一些‘见不得人’的事儿。”知名金融科技分析人士毕研广告诉记者。

  毕研广分析道,其实,很多数据公司从一开始最为基础的业务是“爬虫业务”,后来演变到给金融机构或者互金平台做风控系统,或者帮助平台开发设计“线上放贷系统”。做系统不赚钱,还是卖数据赚钱。但是这一举措也让“爬虫”变成了“害虫”,非法获取、销售个人隐私数据,必定涉及到了违法犯罪。

  据了解,爬虫技术的数据采集主要包括:公开的第三方数据;抓取用户主动授权的个人基本信息、联系人信息、银行卡信息等数据;授权抓取数据,如设备号、IP地址、运营商/电商等用户授权后合规采集数据;经授权的平台数据,如用户在平台的历史借款、还款情况等用户已在注册协议或隐私协议中授权业务方进行分析的数据。

  那爬虫技术在数据采集过程中是否经过用户授权、是否存在过度爬取信息、爬取到的信息用途不明等也成为当下人们关注的焦点。

  对此,中国社会科学院金融研究所法与金融研究室副主任尹振涛表示,一方面公共数据的爬取是不允许商业利用的,并不是说互联网的数据可以随便爬取。另一方面有些客户提供淘宝号,甚至密码授权爬取,在爬取时就侵入了对方的计算机,这其实也是一种犯罪行为,叫作侵入计算机犯罪。

  以“爬虫”为主的大数据公司称不上金融科技公司

  不可否认,当前大数据风控行业对个人隐私缺乏保护,存在广泛的数据滥用问题。对此,业内普遍呼吁监管的加强。

  近两年,很多互联网金融平台转型,也有一些做数据的平台,他们都强调自己做的是金融科技。是真科技还是假科技?转型助贷、网络小额贷业务,是合规的还是不合规的?

  在毕研广看来,现在的互联网金融、金融科技还处在一个相对的“混沌期”。相信随着政策的不断清晰化、监管对行业整治的不断深化,也将逐渐清晰起来。以“爬虫”为主的大数据公司称不上金融科技公司。

  事实上,今年以来,监管逐渐趋严。5月28日,国家互联网信息办公室发布的《数据安全管理办法(征求意见稿)》明确规定,网络运营者通过网站、应用程序等产品收集使用个人信息,应当分别制定并公开收集使用规则;网络运营者以经营为目的收集重要数据或个人敏感信息的,应向所在地网信部门报备收集使用规则、使用目的和保存期限等。

  日前,浙江发布《中国银保监会浙江监管局办公室关于进一步规范个人消费贷款有关问题的通知》(浙银保监办发〔2019〕213号),明确提出,不得将授信审查、风险控制等核心业务外包。

  国家发展改革委9月16日发布《关于推送并应用市场主体公共信用综合评价结果的通知》,根据通知,国家发展改革委组织国家公共信用信息中心会同相关大数据机构对全国3300万家市场主体开展了第一期公共信用综合评价,现将评价结果推送,并就充分应用公共信用综合评价结果,推动落实以信用为基础的新型监管机制。

  “一系列监管政策的下发对行业的长远发展起到了积极作用。”蒋韬说,“当前监管机构并不是采取了所谓一刀切的态度和做法,而且依法对于没有合规经营、侵犯个人隐私的企业进行调查,对于加速清退劣质企业、保护用户权益、促进优质企业发展有重要意义。”

  蒋韬认为,长久来看,随着金融机构第一方数据积累以及第三方数据源壁垒降低,输出数据分析能力将成为风控公司更好的商业模式,提供标准评分卡产品+数据科学家咨询能力,将成为更有竞争力的商业模式。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

人工智能目前发展的怎么样了

科技数据的发展是非常的快,云计算、AI、5G技术加速了各行业的转型,AI人工智能目前发展的如何?人工....
发表于 10-18 17:23 39次 阅读
人工智能目前发展的怎么样了

无人投递车亮相乌镇,可自动规划最优投递路线

在现场看到,无人投递车车长约2米、高约1.5米,有30个投递格口,最多可装30个包裹,根据邮件大小还....
的头像 牵手一起梦 发表于 10-18 17:06 364次 阅读
无人投递车亮相乌镇,可自动规划最优投递路线

人工智能驱动下的商业落地如何创造价值

随着人工智能产业浪潮的兴起,人工智能技术已经让智能机器逐渐实现从“认识物理世界”到“个性化场景落地”....
发表于 10-18 17:03 131次 阅读
人工智能驱动下的商业落地如何创造价值

人工智能怎样可以全面商业化

人工智能技术参与企业管理流程与生产流程,企业数字化趋势日益明显, 部分企业已实现了较为成熟的智慧化应....
发表于 10-18 16:56 27次 阅读
人工智能怎样可以全面商业化

为什么说人工智能接地气

人工智能是接地气的科技力量,面向需求、面向数字经济、面向高质量发展,才能更好激发正能量。
发表于 10-18 16:53 34次 阅读
为什么说人工智能接地气

人工智能的能和不能你分的清吗

其实一切人工智能问题其实就是硬件问题软件化,用自动化的知识解决一切问题。
发表于 10-18 16:48 127次 阅读
人工智能的能和不能你分的清吗

你认为AI对你会有偏见吗

人工智能通常以庞大的数据集为基础进行训练,而即使是它的创造者们也并不能完全理解这些数据集。
发表于 10-18 16:44 62次 阅读
你认为AI对你会有偏见吗

使用物联网技术实现海量环境监测数据存储与共享平台的资料说明

以湿地保护、呼伦湖流域生态环境综合信息采集及共享云计算平台建设项目为研究背景,针对环境监测数据大流量....
发表于 10-18 16:42 17次 阅读
使用物联网技术实现海量环境监测数据存储与共享平台的资料说明

菜鸟人工智能物流改善了什么

在物联网、人工智能、边缘计算等领域,菜鸟已成为运用最多技术的物流企业,并实现了园区的智能化管理和自动....
发表于 10-18 16:28 112次 阅读
菜鸟人工智能物流改善了什么

学习人工智能以后可以往哪里发展

人工智能领域的研发往往需要长时间的积累才能有所突破,所以在选择研发团队的时候,一定要重视该团队自身的....
发表于 10-18 16:17 85次 阅读
学习人工智能以后可以往哪里发展

企业为AI平台选择存储设备之前 必须首先考虑以下几个要素

人工智能(AI)和机器学习将成为帮助企业利用其核心数字资产创造竞争优势的很重要工具之一。但在选购AI....
发表于 10-18 16:11 44次 阅读
企业为AI平台选择存储设备之前 必须首先考虑以下几个要素

大数据和人工智能的发展方向怎样看待

目前大数据技术体系结构已经趋于成熟,随着大数据开始逐渐落地应用,基于大数据的产业生态也会逐渐成熟。
发表于 10-18 16:08 25次 阅读
大数据和人工智能的发展方向怎样看待

如何分析大数据

大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需....
发表于 10-18 16:04 23次 阅读
如何分析大数据

区块链与大数据之间的关系是怎样的

区块链的主要优点是它是分布式的,没有人可以控制输入的数据或它们的完整性。
发表于 10-18 16:01 28次 阅读
区块链与大数据之间的关系是怎样的

可以自学大数据技术吗

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。
发表于 10-18 15:58 24次 阅读
可以自学大数据技术吗

区块链与大数据结合会有什么效果

大数据是一个以系统方式分析数据,并且从数据中提取信息所属领域的技术。
发表于 10-18 15:54 23次 阅读
区块链与大数据结合会有什么效果

教育信息化2.0如何进入万物相连的时代

希沃提出的“小数据、联万物”,与智慧校园、教育大数据等概念的最大不同,便是前者从教室、教师、教学的具....
发表于 10-18 15:35 48次 阅读
教育信息化2.0如何进入万物相连的时代

使用MongoDB和NodeJS设计物联网系统的详细资料说明

目标 基于阿里云服务快速构建物联网系统 准备工作 ECS MongoDB EMR Alinode 中....
发表于 10-18 14:51 21次 阅读
使用MongoDB和NodeJS设计物联网系统的详细资料说明

埃森哲的大数据分析

埃森哲是如何系统化做好数据分析的
发表于 10-18 14:36 10次 阅读
埃森哲的大数据分析

云计算将如何推动物联网的发展

云计算和物联网通常结合在一起,但这两者究竟是如何相互作用?虽然物联网连接可以在没有云的情况下存在,但....
发表于 10-18 11:26 381次 阅读
云计算将如何推动物联网的发展

未来人工智能将与产业进行深度结合

1997年5月,IBM的计算机程序“深蓝”在正常时限的国际象棋比赛中首次击败了当时世界第一的棋手加里....
发表于 10-18 10:12 193次 阅读
未来人工智能将与产业进行深度结合

人工智能将加速汽车行业的技术研发

人工智能(AI)到底是天使还是恶魔,是未来人类最大的威胁还是福祉?对于这个问题,最近网上可是吵翻了天....
发表于 10-18 10:08 161次 阅读
人工智能将加速汽车行业的技术研发

人工智能产业正在全方位的进行商业化普及

当前人工智能技术已步入全方位商业化阶段,并对传统行业各参与方产生不同程度的影响,改变了各行业的生态。....
发表于 10-18 10:02 39次 阅读
人工智能产业正在全方位的进行商业化普及

5G的人工智能技术怎样融合到北斗技术中去

人工智能的应用包括准确的分析决策和精准的执行操作,两者一软一硬相辅相成,共同促进人工智能的发展。
发表于 10-18 09:17 130次 阅读
5G的人工智能技术怎样融合到北斗技术中去

我国采用数字化转型提升制造业发展还存在哪些误区

美国则推出了先进制造伙伴计划(AMP)与先进制造业国家战略计划。为了推动这些战略的实施,提出建立国家....
发表于 10-18 08:48 34次 阅读
我国采用数字化转型提升制造业发展还存在哪些误区

AI的核心是什么?

AI概念笼统,范围广大,到底什么才是AI的核心? ...
发表于 10-18 06:39 28次 阅读
AI的核心是什么?

企业如何掌握着智慧物联网

面对着人工智能技术的不断发展,物联网行业也迎来了新的机遇与挑战。
发表于 10-17 17:59 90次 阅读
企业如何掌握着智慧物联网

人工智能和物联网如何实现共赢

随之而来的视觉/视频应用的增长,也在不断推动边缘人工智能的发展。
发表于 10-17 17:56 206次 阅读
人工智能和物联网如何实现共赢

人工智能技术给动画制作业会带来什么影响

人工智能是目前科技圈最热的话题,人工智能引入动画制作的话,能为我们带来什么?其实从标题就能看出,标题....
发表于 10-17 17:24 48次 阅读
人工智能技术给动画制作业会带来什么影响

人工智能的未来将是为人类“增强智能”

人类善于以感受、直觉、动作为基础去解决问题,而机器善于以数学、逻辑、科学为基础去解决问题,两者各有优....
发表于 10-17 17:18 158次 阅读
人工智能的未来将是为人类“增强智能”

旷视科技正在大举推进香港IPO计划

10月16日消息,知情人士的消息称,中国人工智能(AI)初创公司旷视科技正在推进香港IPO(首次公开....
的头像 牵手一起梦 发表于 10-17 16:46 915次 阅读
旷视科技正在大举推进香港IPO计划

康复机器人领域有什么新的实践

康复机器人的目的并非是替代治疗师,机器人应该定义为一种辅助系统,替代治疗师一部分的工作,尤其是高强度....
发表于 10-17 15:31 72次 阅读
康复机器人领域有什么新的实践

机器人也可以帮抢门票吗

近三年机器人流量行为占比是在逐渐减少的,意味着人类对于恶意机器人从技术、防范等方面都有了一定进步。
发表于 10-17 15:27 55次 阅读
机器人也可以帮抢门票吗

军用AI技术会把人类毁灭吗

由于人工智能技术的发展局限,机器人可能将在环境或执行程序复杂的情况中出现失控现象,比如在单独执行作战....
发表于 10-17 15:19 56次 阅读
军用AI技术会把人类毁灭吗

人工智能的市场将会是怎样的发展

目前随着人工智能AI的迅猛发展,今后几年触摸一体机一定会和人工智能更好的融入,更好的提升人机交互的体....
发表于 10-17 15:02 59次 阅读
人工智能的市场将会是怎样的发展

AI怎样帮助居住服务更加的智能化

人工智能在居住金融领域里可以做出更多的改善,贝壳金服借助AI可以为用户设计更具个性化的金融服务方案,....
发表于 10-17 14:51 96次 阅读
AI怎样帮助居住服务更加的智能化

传统教育在AI时代还重要吗

大数据、互联网、人工智能等高新技术大大拓展了学习空间,给以课堂为中心的学习带来挑战。
发表于 10-17 14:46 417次 阅读
传统教育在AI时代还重要吗

人工智能的伦理问题如何解决

社会必须信任人工智能技术能够给人带来的利益大于伤害,才有可能支持继续发展人工智能。
发表于 10-17 14:24 178次 阅读
人工智能的伦理问题如何解决

人工智能发展最大的瓶颈是什么

深度学习的算法在全世界科技行业非常有意思,它符合一个规律——代码共享,代码公开。
发表于 10-17 14:18 146次 阅读
人工智能发展最大的瓶颈是什么

人工智能有哪些“偏门”的科技应用

AI的应用还有包括智能眼镜、智能口红、智能粉底液等等。作为能干大事的人工智能,或许很多人猜想不到AI....
发表于 10-17 14:05 108次 阅读
人工智能有哪些“偏门”的科技应用

人工智能+商务服务可以打造怎样的新经济

商务管家机构((Business Steward,简称“商管”)是指人工智能和传统商务管家事务结合的....
发表于 10-17 11:54 158次 阅读
人工智能+商务服务可以打造怎样的新经济

智能电话机器人对市场有什么影响

微服网络智能机器人凭借自身的优势和特点,可以提高效率,降低企业的各种运营成本。
发表于 10-17 11:49 62次 阅读
智能电话机器人对市场有什么影响

AI技术下的医疗客服有了怎样的新趋势

医疗信息化往往是一个长期的、循序渐进的过程。微服网络帮助医院有效的改善服务质量、优化服务流程,降低运....
发表于 10-17 11:41 150次 阅读
AI技术下的医疗客服有了怎样的新趋势

AI技术目前很发达了吗

人工智能的快速发展,给企业带来更多的新机遇,将给人类社会发展进步带来强大新动能,实现创新式发展,AI....
发表于 10-17 11:29 170次 阅读
AI技术目前很发达了吗

人工智能带来的改革你能想象得到吗

在这期间,搜索引擎、社交网络、移动互联网和移动支付等技术一次又一次改变了人们的生活,互联网也成就了一....
发表于 10-17 11:09 41次 阅读
人工智能带来的改革你能想象得到吗

人工智能对于核科技有什么帮助

人工智能在核领域的一个新技术方向,是基础物理现象建模。
发表于 10-17 11:04 68次 阅读
人工智能对于核科技有什么帮助

人工智能军备竞赛现在成为新的趋势吗

军用人工智能的未来发展面临两个“瓶颈”:一个是技术发展的障碍,解决这一问题唯有循序渐进;另一个是对人....
发表于 10-17 10:59 34次 阅读
人工智能军备竞赛现在成为新的趋势吗

开源开放会是以后人工智能的主要发展方向吗

深度学习是新一代人工智能的核心支撑。
发表于 10-17 10:54 110次 阅读
开源开放会是以后人工智能的主要发展方向吗

数字双胞胎和物联网之间的关系是什么

数字双胞胎是物理对象的精确复制品,在物理世界和数字世界之间建立联系。Gartner将其定义为“现实世....
发表于 10-17 10:51 61次 阅读
数字双胞胎和物联网之间的关系是什么

人工智能社会实验的意义是什么

人工智能是当代科技的最新前沿,是未来科技发展的战略制高点。
发表于 10-17 10:51 231次 阅读
人工智能社会实验的意义是什么

人工智能会给我们带来新的工作吗

只有充分发挥人工智能等技术带来的新兴产业兴起、高端岗位增加等积极因素,从引导劳动力向新产业分流和推动....
发表于 10-17 10:47 246次 阅读
人工智能会给我们带来新的工作吗

嵌入式技术究竟是什么?

物联网应用技术中,嵌入式技术是至关重要的。但是,至少有60%的人不了解什么是嵌入式技术。物联网时代的到来,不管是从行业应用,...
发表于 10-17 08:24 10次 阅读
嵌入式技术究竟是什么?

什么是Cortex-A75?

时光飞逝,好像在昨天我们才刚发布ARM Cortex-A73这款最节能的高效能Cortex应用处理器,转眼之间我们就看到Cortex-A73量...
发表于 10-15 08:28 48次 阅读
什么是Cortex-A75?

阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Te...
发表于 10-14 10:56 107次 阅读
阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 81次 阅读
为什么说FPGA是机器深度学习的未来?

Hadoop 311高可用HA安装步骤

大数据基础Hadoop  311 的高可用HA安装~踩坑记录...
发表于 09-20 08:23 84次 阅读
Hadoop 311高可用HA安装步骤

阿里巴巴大数据产品最新特性介绍--机器学习PAI

以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下五个方面: PAI产品简介自定义算法上传数加智能生态市场A...
发表于 09-18 14:57 297次 阅读
阿里巴巴大数据产品最新特性介绍--机器学习PAI

Apache Flink 进阶入门(二):Time 深度解析

前言 Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层...
发表于 09-17 14:49 305次 阅读
Apache Flink 进阶入门(二):Time 深度解析

郑交会人工智能科技展

2019年,“智能+”作为一个概念,首次出现在政府工作报告中,人工智能也已连续三年被写入政府工作报告。在国务院印发的关于“新...
发表于 09-16 18:24 184次 阅读
郑交会人工智能科技展