0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

互联网反欺诈问题提出的必要性及重要性、通用技术手段及应用场景

芯盾时代 来源:芯盾时代 作者:芯盾时代 2020-09-25 14:35 次阅读

AI加持下的互联网反欺诈
本文将从问题提出的必要性及重要性、通用技术手段及应用场景角度,对专家经验规则自学习机制,风评模型可解释性问题作系统全面的介绍,欢迎大家讨论交流。

01

专家经验规则自学习机制

在大数据时代背景下,金融犯罪和金融欺诈的新手段层出不穷,日渐趋于科技化、专业化、规模化,也更具有隐蔽性,由过去的单兵作战演变成有规模、有组织的团伙欺诈,严重制约了传统的专家知识库、专家经验规则持续有效地发挥作用,亟需解决两方面问题:

基于数据算法驱动,自动化调整的场景规则集中的阈值和权重,以保障规则持续有效性;

从不同维度发掘时效性强的新风控规则,以持续丰富完善反欺诈规则集。

规则阈值、权重

规则阈值、权重学习涉及特征离散化、特征选择、特征降维、权重参数回归等流程。

信息熵:用来评估样本集合的纯度的一个参数,是系统的不确定性、随机性度量指标。

卡方分箱原理:特征离散化算法,根据样本数据推断总体的分布与期望分布是否有显著性差异, 或者推断两个分类变量是否相关或者独立。

最小熵分箱:特征离散化算法,最小熵分箱是典型的自顶向下分箱方法。最小熵分箱将待分箱特征的所有取值都放到一个箱体里,然后依据最小熵原则进行箱体分裂。

基尼(gini)系数:特征离散化算法,总体内部包含越混乱,基尼系数越大;内部纯度越高,基尼系数越小。

特征选择:特征选择在于选取对训练数据具有分类能力的特征,提升模型整体预测能力,常用到技术包括lasso回归、Feature Importance、特征共线性验证等。

Lasso回归:使用少量观测值就能够完全恢复出非零的系数。其中不同的是,样本的数量需要“足够大”,否则L1模型的表现会充满随机性。

新风控规则

新欺诈规则挖掘,根据规则中所处理的值类型分为两类:

如果规则考虑的关联是项的存在与不存在,则它是布尔关联规则;

如果规则描述的是量化的项或属性之间的关联,则它是量化关联规则。

本质是频繁项集挖掘,常用到算法包括Apriori、FpGrowth。

Apriori算法利用频繁集的两个特性,过滤了很多无关的集合,效率提高不少,但是Apriori算法是一个候选消除算法,每一次消除都需要扫描一次所有数据记录,造成整个算法在面临大数据集时显得无能为力。

FpGrowth算法通过构造一个树结构来压缩数据记录,使得挖掘频繁项集只需要扫描两次数据记录,而且该算法不需要生成候选集合,所以效率会比较高。

02

风评模型可解释性问题

人工智能算法模型正在对金融行业产生重大影响,前提是要了解AI算法的优势和局限性,以及适合在金融领域发挥作用的场景。当我们在金融业务中使用AI算法,期望通过可度量的方法对模型结果进行分析、解释,以期对算法进行优化,对业务进行方向性的指导,确保模型与要解决的业务问题保持一致,即模型解释性分析问题。模型的解释性分析可帮助模型开发人员及业务运营人员了解并解释模型中包含和未包含的特征因素,及特征如何影响模型结果。

广义上,模型的解释性分析目的是全局定义特征对模型的影响,同时定义单个特征对模型的个性化影响;更好的理解模型行为,更好的进行相应的业务决策;通常对机器学习模型分为“白盒”模型和“黑盒”模型:

“白盒”模型

“白盒”模型如线性、Logistic回归模型,预测能力较弱,但是简单易理解。线性关系如信贷欺诈与人口统计学特征、经济收入等的相关性。决策树模型(RandomForest vs XGBoost vs LightGBM)是目前业内公认可解释性较好的非线性机器学习算法,模型每作出一个决策都会通过一个决策序列来向我们展示模型的决策依据,决策树模型自带的基于信息理论的筛选变量标准也有助于帮助我们理解在模型决策产生的过程中哪些变量起到了显著的作用;白盒模型特征明确,逻辑简单,本身具备可解释性。

针对“白盒”模型,我们可以从数据分布图、特征重要度、Embedding可视化、独立特征分析(PDP)、全局性分析(SHAP)、局部特征信息(LIME)、特征相关性(相关系数)等维度提供分析技术。

特征重要度:从两个角度分析“特征收益重要性”和“特征分裂重要性”;特征收益重要性指特征分类的平均训练损失的减少量,意味着相应的特征对模型的相对贡献值;特征分裂重要性是指训练样本决策分裂的次数,两者从不同维度度量不同特征在模型训练中的重要性。

独立特征分析:我们通过特征重要度得知某个特征对模型的影响度,以及用SHAP来评估全局特征重要性;但如何评估某个单独的特征,尝试通过PDP来评估独立特征,展示单个特征对于模型预测的边际效益,单个特征是如何影响预测的,通过绘制特征和预测目标之间的一维关系图或二维关系图来了解特征与目标之间的关系。多个特征的复杂性,通过单个特征分析,进一步验证单个特征对模型的影响度。

“黑盒”模型

“黑盒”模型使用复杂的机器学习算法(深度网络学习)训练数据,输入特征经过组合变换,维度变换等特征工程步骤,需要分析及调整数据与模型,确保模型结果与要解决的问题保持一致;然而这些模型的内部机制难以理解,也无法估计每个特征对模型预测结果的重要性以解释模型结果与输入的特征属性潜在的关联关系,更无法直接理解不同特征之间如何相互工作(数据的相关性不等价于因果关系)。

针对“黑盒”模型,我们可以从深度网络结构分析,风评结果命中团伙关联图谱角度去解释模型有效性。

关联图谱提供丰富的图构建、图查询、图分析、图嵌入、图挖掘技术,通过社区检测、关键节点分析、关联分析、异常网络结构发现等场景化算法和模型,提供风控和营销等场景化辅助决策服务。如信用卡养卡套现识别,养卡套现团伙往往都与黑商户沟通,正常养卡阶段,消费的商户相对固定,而通过遍历关联图谱的方式,能够基于上述行为特征建立欺诈关联图谱,识别养卡套现团伙。

风控场景对于数据、模型、特征的可解释性,稳定性要求是重点,可解释性和稳定性仍然需要结合业务和专家经验进行判断。
责任编辑:xj

原文标题:AI加持下的互联网反欺诈 | 反欺诈AI全域治理三部曲(中)

文章出处:【微信公众号:芯盾时代】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 互联网
    +关注

    关注

    54

    文章

    10845

    浏览量

    100520
  • AI
    AI
    +关注

    关注

    87

    文章

    26127

    浏览量

    263709

原文标题:AI加持下的互联网反欺诈 | 反欺诈AI全域治理三部曲(中)

文章出处:【微信号:trusfort,微信公众号:芯盾时代】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    能源互联网平台的功能和应用场景

    能源革命,为建筑楼宇、工业企业、建筑社区、工业园区、城市区域等五大应用场景,包括综合能源、智慧电力、智慧燃气、智慧热力、空调冷热、工艺冷热等20多个项目类型提供可靠的物联网支持。 通过数之能推出的能源互联网云平
    的头像 发表于 03-18 17:27 136次阅读

    NanoEdge AI的技术原理、应用场景及优势

    能耗并提高数据安全。本文将对 NanoEdge AI 的技术原理、应用场景以及优势进行综述。 1、技术原理 NanoEdge AI 的核心技术
    发表于 03-12 08:09

    工业互联网解决方案与应用场景

    ,工业互联网的应用也面临着诸多挑战,数之能提供高效可靠的工业互联网解决方案,帮助企业更好的面对工业互联网应用及其挑战。 1、智能制造 智能制造是工业互联网应用的
    的头像 发表于 01-26 11:00 166次阅读

    AG32VF-MIPI应用场景

    MIPI接口技术在图像和视频传输中的应用越来越广泛,应用场景也在不断拓展,而不仅限于移动设备。MIPI接口在物联网、智能家居、智能监控、智能电视、智能汽车等领域也得到广泛应用。 MIPI还可
    发表于 01-22 08:56

    工业互联网实训是什么?工业互联网实训包括哪些?

    工业互联网实训是一种针对工业互联网领域的培训课程,旨在帮助学员掌握工业互联网的基本概念、技术、应用和发展趋势。通过实训,学员可以了解工业互联网
    的头像 发表于 01-17 17:00 241次阅读

    华秋荣获亿邦动力2023产业互联网千峰奖

    投资人评委独立投票产生。评估产业互联网领域具有市场成长价值的公司。因此,该奖项在业界具有很高的专业和权威。华秋能在众多互联网公司中脱颖而出,荣膺此殊荣,不仅是行业和市场对华秋综合实
    发表于 12-15 09:53

    工业互联网中的标识解析技术

    工业互联网的核心是数据的价值发现问题,但由于历史原因,“信息孤岛”现象在企业内部、企业之间大量存在。标识解析技术是目前可见解决“信息孤岛”、完成工业大数据汇聚以及在此基础上形成信息融合理解的关键技术。分析了标识解析在工业
    发表于 09-19 06:07

    联网ZigBee技术详解③ — 应用场景

    多点信号上传、低功耗工作、高稳定运行是工业物联网通信中迫切需要解决的难题,而ZigBee技术为工业互联网提供了各种经典的解决方案。本文章我们一起来看看ZigBee的典型应用场景。商场应
    的头像 发表于 08-23 15:16 606次阅读
    物<b class='flag-5'>联网</b>ZigBee<b class='flag-5'>技术</b>详解③ — 应<b class='flag-5'>用场景</b>

    浅谈物联网技术在能源互联网平台的应用

    平台是非常有必要建立的。传统的能源已经不能满足人们现代生活的需求,所以建立一个能源互联网数据支撑平台是非常重要的。本文将对基于互联网技术的能源互联网
    发表于 07-10 15:28 0次下载

    电镀对印制PCB电路板的重要性有哪些?

    ,必须使用各种技术来保护铜印制线、导通孔和镀通孔,这些技术包括有机涂漆、氧化膜以及电镀技术。 有机涂漆应用起来非常简单,但由于其浓度、成分和固化周期的改变而不适合长期的使用,它甚至还会导致焊接
    发表于 06-09 14:19

    如何通过ESP8266共享互联网

    我正在尝试通过 OTA 上传代码。但我无法将所有 ESP8266 都连接到互联网,所以我选择 hc12 进行远程传输。但我对如何通过 ESP8266 共享互联网有疑问。 有任何可能通过 hc12 与 esp8266 共享互联网
    发表于 05-31 08:17

    PCB防静电设计的必要性

    将静电保护器件靠近输入端或者连接器,静电保护器件与被保护线之间的线路距离,应该设计得尽量短一些。对于PCB设计来说,在容易发生静电放电的边缘,设置一定的隔离距离非常重要,对于机架类产品,每千伏的静电
    发表于 05-08 18:28

    浅谈物联网技术在能源互联网平台的应用

    是非常有必要建立的。传统的能源已经不能满足人们现代生活的需求,所以建立一个能源互联网数据支撑平台是非常重要的。本文将对基于互联网技术的能源互联网
    的头像 发表于 05-06 15:30 514次阅读
    浅谈物<b class='flag-5'>联网技术</b>在能源<b class='flag-5'>互联网</b>平台的应用

    互联网如何实现上网?

    互联网
    YS YYDS
    发布于 :2023年04月30日 20:51:55

    浅谈华为云CDN在互联网领域的应用场景落地

    伴随着宏观市场的欣欣向荣,CDN行业新一轮的增长如期而至,同时也促进着CDN行业多方位、更深层次的发展。针对CDN的实践应用,小编在本文将为大家分析,华为云CDN在当下互联网领域的应用场景落地:
    的头像 发表于 04-24 00:09 314次阅读