互联网反欺诈问题提出的必要性及重要性、通用技术手段及应用场景

AI加持下的互联网反欺诈
本文将从问题提出的必要性及重要性、通用技术手段及应用场景角度，对专家经验规则自学习机制，风评模型可解释性问题作系统全面的介绍，欢迎大家讨论交流。

01

专家经验规则自学习机制

在大数据时代背景下，金融犯罪和金融欺诈的新手段层出不穷，日渐趋于科技化、专业化、规模化，也更具有隐蔽性，由过去的单兵作战演变成有规模、有组织的团伙欺诈，严重制约了传统的专家知识库、专家经验规则持续有效地发挥作用，亟需解决两方面问题：

基于数据算法驱动，自动化调整的场景规则集中的阈值和权重，以保障规则持续有效性；

从不同维度发掘时效性强的新风控规则，以持续丰富完善反欺诈规则集。

规则阈值、权重

规则阈值、权重学习涉及特征离散化、特征选择、特征降维、权重参数回归等流程。

信息熵：用来评估样本集合的纯度的一个参数，是系统的不确定性、随机性度量指标。

卡方分箱原理：特征离散化算法，根据样本数据推断总体的分布与期望分布是否有显著性差异, 或者推断两个分类变量是否相关或者独立。

最小熵分箱：特征离散化算法，最小熵分箱是典型的自顶向下分箱方法。最小熵分箱将待分箱特征的所有取值都放到一个箱体里，然后依据最小熵原则进行箱体分裂。

基尼(gini)系数：特征离散化算法，总体内部包含越混乱，基尼系数越大；内部纯度越高，基尼系数越小。

特征选择：特征选择在于选取对训练数据具有分类能力的特征，提升模型整体预测能力，常用到技术包括lasso回归、Feature Importance、特征共线性验证等。

Lasso回归：使用少量观测值就能够完全恢复出非零的系数。其中不同的是，样本的数量需要“足够大”，否则L1模型的表现会充满随机性。

新风控规则

新欺诈规则挖掘，根据规则中所处理的值类型分为两类：

如果规则考虑的关联是项的存在与不存在，则它是布尔关联规则；

如果规则描述的是量化的项或属性之间的关联，则它是量化关联规则。

本质是频繁项集挖掘，常用到算法包括Apriori、FpGrowth。

Apriori算法利用频繁集的两个特性，过滤了很多无关的集合，效率提高不少，但是Apriori算法是一个候选消除算法，每一次消除都需要扫描一次所有数据记录，造成整个算法在面临大数据集时显得无能为力。

FpGrowth算法通过构造一个树结构来压缩数据记录，使得挖掘频繁项集只需要扫描两次数据记录，而且该算法不需要生成候选集合，所以效率会比较高。

02

风评模型可解释性问题

人工智能算法模型正在对金融行业产生重大影响，前提是要了解AI算法的优势和局限性，以及适合在金融领域发挥作用的场景。当我们在金融业务中使用AI算法，期望通过可度量的方法对模型结果进行分析、解释，以期对算法进行优化，对业务进行方向性的指导，确保模型与要解决的业务问题保持一致，即模型解释性分析问题。模型的解释性分析可帮助模型开发人员及业务运营人员了解并解释模型中包含和未包含的特征因素，及特征如何影响模型结果。

广义上，模型的解释性分析目的是全局定义特征对模型的影响，同时定义单个特征对模型的个性化影响；更好的理解模型行为，更好的进行相应的业务决策；通常对机器学习模型分为“白盒”模型和“黑盒”模型：

“白盒”模型

“白盒”模型如线性、Logistic回归模型，预测能力较弱，但是简单易理解。线性关系如信贷欺诈与人口统计学特征、经济收入等的相关性。决策树模型（RandomForest vs XGBoost vs LightGBM）是目前业内公认可解释性较好的非线性机器学习算法，模型每作出一个决策都会通过一个决策序列来向我们展示模型的决策依据，决策树模型自带的基于信息理论的筛选变量标准也有助于帮助我们理解在模型决策产生的过程中哪些变量起到了显著的作用；白盒模型特征明确，逻辑简单，本身具备可解释性。

针对“白盒”模型，我们可以从数据分布图、特征重要度、Embedding可视化、独立特征分析（PDP）、全局性分析（SHAP）、局部特征信息（LIME）、特征相关性（相关系数）等维度提供分析技术。

特征重要度：从两个角度分析“特征收益重要性”和“特征分裂重要性”；特征收益重要性指特征分类的平均训练损失的减少量，意味着相应的特征对模型的相对贡献值；特征分裂重要性是指训练样本决策分裂的次数，两者从不同维度度量不同特征在模型训练中的重要性。

独立特征分析：我们通过特征重要度得知某个特征对模型的影响度，以及用SHAP来评估全局特征重要性；但如何评估某个单独的特征，尝试通过PDP来评估独立特征，展示单个特征对于模型预测的边际效益，单个特征是如何影响预测的，通过绘制特征和预测目标之间的一维关系图或二维关系图来了解特征与目标之间的关系。多个特征的复杂性，通过单个特征分析，进一步验证单个特征对模型的影响度。

“黑盒”模型

“黑盒”模型使用复杂的机器学习算法（深度网络学习）训练数据，输入特征经过组合变换，维度变换等特征工程步骤，需要分析及调整数据与模型，确保模型结果与要解决的问题保持一致；然而这些模型的内部机制难以理解，也无法估计每个特征对模型预测结果的重要性以解释模型结果与输入的特征属性潜在的关联关系，更无法直接理解不同特征之间如何相互工作（数据的相关性不等价于因果关系）。

针对“黑盒”模型，我们可以从深度网络结构分析，风评结果命中团伙关联图谱角度去解释模型有效性。

关联图谱提供丰富的图构建、图查询、图分析、图嵌入、图挖掘技术，通过社区检测、关键节点分析、关联分析、异常网络结构发现等场景化算法和模型，提供风控和营销等场景化辅助决策服务。如信用卡养卡套现识别，养卡套现团伙往往都与黑商户沟通，正常养卡阶段，消费的商户相对固定，而通过遍历关联图谱的方式，能够基于上述行为特征建立欺诈关联图谱，识别养卡套现团伙。

风控场景对于数据、模型、特征的可解释性，稳定性要求是重点，可解释性和稳定性仍然需要结合业务和专家经验进行判断。
责任编辑：xj

原文标题：AI加持下的互联网反欺诈 | 反欺诈AI全域治理三部曲（中）

文章出处：【微信公众号：芯盾时代】欢迎添加关注！文章转载请注明出处。