AI加持下的互联网反欺诈

针对互联网乱象纷飞的欺诈行为，芯盾时代一直秉持着零容忍的态度，在虚假交易、薅羊毛、信息泄露、信用欺诈、洗钱等场景的检测防控技术手段一直在不断演进。经过多年在证券、银行、第三方支付、政府、互联网金融等领域大数据机器学习项目的沉淀和积累，芯盾时代形成了一套完整有效的反欺诈解决方案，其中持续自适应机器学习引擎迭代机制是其拥有不断进化能力的关键。

在实时检测场景中，芯盾时代机器学习引擎应用了大数据实时流-批混合特征计算、画像数据分析探索、分布式图挖掘技术、多模型在线实时预测服务等技术手段来鉴别欺诈行为。

图1 机器学习引擎运转机制

芯盾时代机器学习引擎运转体制可以从实时流-批混合机器学习、案件库管理、模型输出可视化三个维度进行说明。

实时流-批混合一站式机器学习引擎

反欺诈领域面对的欺诈模式可分为未知欺诈和已知欺诈。未知欺诈通过流式处理的异常检测算法、实时图谱技术进行小样本发掘，经过差集检测处理后，为批处理模式机器学习模型提供样本标签。批处理模式机器学习则可以通过算法复杂度高的模型系统不断挖掘新的欺诈模式，应对黑色产业链的发展。

而机器学习引擎构建也面临两个方面难题：

1）大数据量并行计算，支撑模型并行和数据并行计算；

2）离线特征和流式特征分离式开发，造成重复开发、维护困难。

图2 实时流-批混合一站式机器学习引擎

芯盾时代实时流-批混合一站式机器学习引擎采用分层架构模式，具体包括模型实时服务组件、消息中间件、实时计算组件、数据缓存组件、离线计算组件、图计算组件等。整体架构具备敏捷开发性、易部署性、可测试性、高伸缩性、易开发性等优点。

数据实时计算组件实时消费来自消息中间件报文数据并实时计算，加工完成的特征指标采用冗余存储方式，即数据缓存和离线拍照，数据缓存为模型在线实时服务提供特征来源。离线拍照数据为离线计算框架数据同步模块从消息中间件提取数据，并按预定拍照方案沉淀数据，为离线机器学习模型、图计算、OLAP等提供数据支撑。此种方式统一了离线和在线模型特征口径，节省特征开发人力资源，方便后续特征版本升级更新。

模型输出可视

IPA模型管理平台为模型输出可视化提供支撑，支持钻取、切块、旋转等OLAP分析功能；

案件库管理

通过流式异常检测算法筛选出的疑似高欺诈风险记录作为进件沉淀到案件库管理平台，评审员参考IPA模型管理之用户画像体系、欺诈关联图谱可视化平台对疑似案件作出专家判断，判断结果作为新进案件沉淀到案件库，为离线机器学习模型训练提供素材。

在大数据和人工智能快速发展的时代背景下，具备智慧的反欺诈系统才能在与欺诈产业链的持续对抗中立于不败之地。芯盾时代本着“知人善认，独具匠芯” 的发展理念，臻于至善，让欺诈无所遁形。