0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用AI对抗AI——基于视频人脸篡改的检测

Hf1h_BigDataDig 来源:YXQ 2019-07-16 10:10 次阅读

还记得权力的游戏第八季么? Jon Snow也加入了千万骂编剧的粉丝的阵营,并且因此向粉丝道歉。

这个视频当然是假的,他嘴巴的移动方式看起来就很奇怪。

这是一个DeepFake生成的视频,一个用来娱乐或欺骗大众人工智能产物。

之前文摘菌也报道过,这项技术的上线后就广受诟病,后来又有一个小团队开发出一款新的应用DeepNude,可以一键实现脱衣,之后也因为反响恶劣而被迫下架。

人们对于无法分辨真假的恐惧是合理的,毕竟这种技术的出现将会滋生出许多想象不到的新的犯罪手段的诞生。

最近,南加州大学信息科学研究所计算机的研究人员发表一篇论文,研究通过训练AI寻找视频画面中的不一致性来检测AI生成的假视频,论文同时也被提交到CVPR 2019。

用AI对抗AI,来看看如何实现

对于伪造生成的假视频,研究人员发现,用于生成虚假视频的主流AI模型(以及其他方法,如2016年的Face2Face程序),都是通过逐帧修改视频且并不注意时间的连贯性。这会使得生成视频中的人物移动看起来非常笨拙,人们通常会注意到这类奇怪的动作。

为了实现找出奇怪动作这一过程的自动化,研究人员首先要训练一个神经网络—这种人工智能程序以个人的海量视频为基础,可以用来“学习”人类在说话时如何移动的重要特征。

然后,研究人员使用这些参数将伪造视频的堆叠帧输入AI模型,以检测视频随时间的不一致性。根据该论文,这种方法可以判断“AI伪造视频”,准确率超过90%。

研究人员使用的模型是一个递归卷积模型(Recurrent convolutional model),这个深度学习模型能够很好的提取到视频中的信息。

整个过程分为两步:

将视频中的人脸进行裁剪对齐

对于获取人脸区域,研究人员使用由FaceForensics++提供的模型。

论文链接:

https://arxiv.org/abs/1901.08971

研究人员尝试了两种人脸对齐技术的结合:

显式使用面部坐标对齐,在参考坐标系中,人的面部是先天决定的,所有的面孔是使用同一个参考坐标系;

隐式排列对齐,使用STN。

在后一种情况下,网络根据输入图像预测对齐参数,因此可能学会缩放人脸的特定部分,必要时可将训练集中的预期损失最小化。

在这两种情况下,核心思想都是我们希望循环卷积模型将人脸“tubelet”作为输入,这是一个跨越视频帧的时空紧密对齐的人脸序列。

所有篡改类型的检测精度。结果表明,采用线性和双向递归网络的DenseNet性能最好

基于视频人脸篡改的检测

对于人脸篡改的检测,我们使用一个类似于用于视觉识别的Long-term循环卷积网络。

论文链接:

https://arxiv.org/abs/1411.4389

其中输入是来自查询视频的帧序列,这个模型背后是在利用跨帧的时间差异。由于篡改是在逐帧的基础上进行的,研究人员认为图像中会存在时间差异。因此,由对人脸的篡改引起的低层次的差别则有可能表现为跨帧不一致特性的时间差异。

骨干网络(Backbone encoding network)

在实验中,研究人员探索了ResNet和DenseNet两种架构作为模型的CNN分量。

无论采用何种架构,首先对主干网络进行FF++训练分割,使交叉熵损失最小化,进行二值分类,形成特征,从合成人脸中识别真实人脸。然后用RNN对Backbone进行扩展,最后在多种策略下形成端到端训练。

RNN的训练策略

研究人员使用放置在骨干网络不同位置的多个循环模型进行实验:用它将骨干网络连接在一起,用来进行特征学习,将特征传递给随时间推移聚合输入的RNN。

在这里研究人员也尝试了两种策略:一是在骨干网的最终特性基础上,简单地使用单一的递归网络;二是尝试在骨干网结构的不同层次上训练多个递归神经网络。

所有篡改类型的ROC曲线。每一行对应一个不同的篡改类型。左列为线性图,右列为线性对数图

希望能从源头阻止deepfake假视频

研究的共同作者Wael AbdAlmageed表示,这种模式可以被社交网站和视频网站用于大规模识别deepfake假视频,因为它不需要通过“学习”特定个体的关键特征来进行识别,而是通用的。

“我们的模型对于任何人来说都是通用的,因为我们不关注某个人的身份,而是关注面部运动的一致性,”AbdAlmageed说,“我们将发布自己的模型,所以社交网络无需训练新的模型。网站只需要在其平台中加上该检测软件,以检查上传到平台的视频是否为deepfake生成的假视频。”

机器学习的出现让造假的成本逐渐变低,很多玩火不嫌事大的开发者还开发出许多不需要写代码直接可以造假的小软件,尽管他们不一定是出于恶意,但是不排除软件最后被用到“作恶”的地方。

虽然还有许多方法可以反“AI造假”(例如在拍摄图片时生成"噪声水印"),但利用AI来识别AI造假,并且将这项技术加载到视频网站的审查过程中,那么从源头大规模地阻止假视频流向公众,或许可以成为现实。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26153

    浏览量

    263716
  • DeepFake
    +关注

    关注

    0

    文章

    13

    浏览量

    6518

原文标题:解铃还须系铃人!南加大训练AI检测Deepfake“假视频”,准确率超90%

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NanoEdge AI的技术原理、应用场景及优势

    ,可以减少数据在传输过程中被窃取或篡改的风险,提高数据安全性。 - 低能耗:通过优化神经网络模型和硬件设计,NanoEdge AI 可以在有限的资源下实现高效的计算,降低设备的能耗。
    发表于 03-12 08:09

    什么是AI视频识别分析

    视频AI识别分析是指利用人工智能技术对视频数据进行智能化检测、分析和提取有用信息的过程。通过视频AI
    的头像 发表于 12-02 08:26 811次阅读
    什么是<b class='flag-5'>AI</b><b class='flag-5'>视频</b>识别分析

    AI视觉识别有哪些工业应用

    AI视觉识别涵盖多种应用,如人脸识别、目标检测和识别、图像分割、行为识别、视频分析等。本篇就简单介绍一下AI视觉识别的应用场景。
    的头像 发表于 11-27 18:05 403次阅读
    <b class='flag-5'>AI</b>视觉识别有哪些工业应用

    成都华江信息AI人脸识别原理浅析# 人脸识别

    AI边缘计算
    成都华江信息
    发布于 :2023年11月24日 16:35:54

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统#2023集创赛#紫光同创#小眼睛科技助力紫光同创高校生态建设@小眼睛科技 获奖作品展示:华南理工大学+CR8_Pro队
    发表于 11-02 17:51

    【KV260视觉入门套件试用体验】Vitis-AI加速的YOLOX视频目标检测示例体验和原理解析

    本文将介绍如何使用Vitis-AI加速YOLOX模型实现视频中的目标检测,并对相关源码进行解读。由于演示的示例程序源码是Vitis-AI开源项目提供的,本文演示之前会介绍所需要的准备工
    发表于 10-06 23:32

    【KV260视觉入门套件试用体验】六、VITis AI车牌检测&amp;车牌识别

    , [model] { return vitis::ai::PlateNum::create(model); }, process_result, 2); } 四、实践效果 4.1、车牌检测 使用命令运行
    发表于 09-26 16:28

    【KV260视觉入门套件试用体验】五、VITis AI (人脸检测和人体检测)

    --clean 二、Vitis AI 人脸检测 在边缘平台或数据中心平台上运行Vitis AI Library 示例之前,请下载vitis_a
    发表于 09-26 16:22

    【KV260视觉入门套件试用体验】3.PL端视频采集与AI识别测试测试

    上PL端的视频采集与AI人脸处理。从测试视频编效果干,MIPI视频缺少ISA图像色差纠偏,图像色彩明显失真,MIPI
    发表于 09-18 01:51

    请问在E203内核如何执行AI程序?

    我想问一下去年参赛的同学或者知道的大佬,在蜂鸟平台上执行诸如人脸检测AI应用是需要自己实现一个C语言版本的代码吗?我看大部分的程序都是基于python实现的。
    发表于 08-12 06:44

    AI如何对抗Dota人类游戏高手

    AI如何对抗Dota人类游戏高手?OpenAI这样回答
    的头像 发表于 08-01 15:01 352次阅读

    图灵慧眼AI视觉检测 酸奶盒子黑点检测# 视觉检测# #AI

    AI
    jf_06850557
    发布于 :2023年06月15日 16:40:17

    AI视觉检测在工业领域的应用

    随着制造业的智能化、自动化程度越来越高,AI视觉检测系统已经成为一种重要的智能制造设备,它能够大幅提高生产线上的检测能力和效率。 一、AI视觉检测
    发表于 06-15 16:21

    Xilinx KV260 Vitis-AI 1.4人脸检测

    电子发烧友网站提供《Xilinx KV260 Vitis-AI 1.4人脸检测.zip》资料免费下载
    发表于 06-14 10:34 0次下载
    Xilinx KV260 Vitis-<b class='flag-5'>AI</b> 1.4<b class='flag-5'>人脸</b><b class='flag-5'>检测</b>

    #物联网 如何用AI做一条视频#物联网 #电子技术 #人工智能 #AI技术

    AI
    轻生活科技语音模块
    发布于 :2023年05月26日 15:31:52