0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

三种卷积神经网络模型:Light-CNN,双分支CNN和预先训练的CNN

倩倩 来源:老胡说科学 2020-04-17 10:55 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

上海电力大学的两位研究人员最近开发并评估了野生人脸表情识别(FER)的新神经网络模型。他们的研究发表在Elsevier的Neurocomputing期刊上,提出了三种卷积神经网络(CNN)模型:Light-CNN,双分支CNN和预先训练的CNN。

“由于缺乏关于非正面的信息,野外的FER是计算机视觉中的一个难点,”进行这项研究的研究人员之一钱永生告诉TechXplore。“基于深度卷积神经网络(CNN)的现有自然面部表情识别方法存在一些问题,包括过拟合,高计算复杂度,单一特征和有限样本。”

尽管许多研究人员已经开发了用于FER的CNN方法,但到目前为止,他们中很少有人试图确定哪种类型的网络最适合这一特定任务。意识到文献中的这种差距,永胜和他的同事邵杰为FER开发了三种不同的CNN,并进行了一系列的评估,以确定他们的优势和劣势。

“我们的第一个模型是浅光CNN,它引入了一个深度可分离的模块和剩余的网络模块,通过改变卷积方法来减少网络参数,”永胜说。“第二个是双分支CNN,它结合了全局特征和局部纹理特征,试图获得更丰富的特征并补偿卷积旋转不变性的缺乏。第三个预训练的CNN使用在同一个分布式大型数据库中训练的权重重新培训自己的小型数据库,缩短培训时间,提高识别率。“

研究人员对三种常用于FER的数据集进行了CNN模型的广泛评估:公共CK +,多视图BU-3DEF和FER2013数据集。尽管三种CNN模型在性能上存在差异,但它们都取得了可喜的成果,优于几种最先进的FER方法。

“目前,这三种CNN型号是分开使用的,”永胜解释说。“浅网络更适合嵌入式硬件。预训练的CNN可以获得更好的效果,但需要预先训练的权重。双分支网络不是很有效。当然,也可以尝试使用这三种模式一起。”

在他们的评估中,研究人员观察到,通过组合剩余网络模块和深度可分离模块,就像他们为第一个CNN模型所做的那样,可以减少网络参数。这最终可以解决计算硬件的一些缺点。此外,他们发现预先训练的CNN 模型将大型数据库转移到自己的数据库,因此可以用有限的样本进行训练。

永胜和杰提出的三个针对FER的CNN可以有许多应用,例如,帮助开发能够识别他们正在与之交互的人的面部表情的机器人。研究人员现在计划对他们的模型进行额外调整,以进一步提高他们的表现。

“在我们未来的工作中,我们将尝试添加不同的传统手动功能,加入双分支CNN并改变融合模式,”永胜说。“我们还将使用跨数据库培训网络参数来获得更好的泛化能力,并采用更有效的深度传输学习方法。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4827

    浏览量

    106796
  • 网络模块
    +关注

    关注

    0

    文章

    28

    浏览量

    9938
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    自动驾驶中常提的卷积神经网络是个啥?

    在自动驾驶领域,经常会听到卷积神经网络技术。卷积神经网络,简称为CNN,是一专门用来处理网格状
    的头像 发表于 11-19 18:15 1830次阅读
    自动驾驶中常提的<b class='flag-5'>卷积</b><b class='flag-5'>神经网络</b>是个啥?

    一些神经网络加速器的设计优化方案

    特征图保留不变,完成和所有相关卷积核点积以后再加载,最多复用 R*R*M 次。 3.不同网络模型的效果 如图所示,后者相对于前者,减少了连线资源和复杂度。 4.DNN加速器空间架构片上存储
    发表于 10-31 07:14

    CNN卷积神经网络设计原理及在MCU200T上仿真测试

    CNN算法简介 我们硬件加速器的模型为Lenet-5的变型,网络粗略分共有7层,细分共有13层。包括卷积,最大池化层,激活层,扁平层,全连接层。下面是各层作用介绍:
    发表于 10-29 07:49

    NMSISI库的使用

    (q7_t) 和 16 位整数 (q15_t)。 卷积神经网络示例: 本示例中使用的 CNN 基于来自 Caffe 的 CIFAR-10 示例。神经网络由 3 个
    发表于 10-29 07:07

    NMSIS神经网络库使用介绍

    (q7_t) 和 16 位整数 (q15_t)。 卷积神经网络示例: 本示例中使用的 CNN 基于来自 Caffe 的 CIFAR-10 示例。神经网络由 3 个
    发表于 10-29 06:08

    构建CNN网络模型并优化的一般化建议

    整个模型非常巨大。所以要想实现轻量级的CNN神经网络模型,首先应该避免尝试单层神经网络。 2)减少卷积
    发表于 10-28 08:02

    卷积运算分析

    的数据,故设计了ConvUnit模块实现单个感受域规模的卷积运算. 卷积运算:不同于数学当中提及到的卷积概念,CNN神经网络中的
    发表于 10-28 07:31

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    模型。 我们使用MNIST数据集,训练一个卷积神经网络CNN模型,用于手写数字识别。一旦
    发表于 10-22 07:03

    使用OpenVINO将PP-OCRv5模型部署在Intel显卡上

    是一个用于优化和部署人工智能(AI)模型,提升AI推理性能的开源工具集合,不仅支持以卷积神经网络(CNN)为核心组件的预测式AI模型(Pre
    的头像 发表于 09-20 11:17 844次阅读
    使用OpenVINO将PP-OCRv5<b class='flag-5'>模型</b>部署在Intel显卡上

    MAX78000采用超低功耗卷积神经网络加速度计的人工智能微控制器技术手册

    的Maxim超低功耗微控制器相结合。通过这款基于硬件的卷积神经网络(CNN)加速器,即使是电池供电的应用也可执行AI推理,同时功耗仅为微焦耳级。
    的头像 发表于 05-08 11:42 714次阅读
    MAX78000采用超低功耗<b class='flag-5'>卷积</b><b class='flag-5'>神经网络</b>加速度计的人工智能微控制器技术手册

    自动驾驶感知系统中卷积神经网络原理的疑点分析

    背景 卷积神经网络(Convolutional Neural Networks, CNN)的核心技术主要包括以下几个方面:局部连接、权值共享、多卷积核以及池化。这些技术共同作用,使得
    的头像 发表于 04-07 09:15 641次阅读
    自动驾驶感知系统中<b class='flag-5'>卷积</b><b class='flag-5'>神经网络</b>原理的疑点分析

    BP神经网络卷积神经网络的比较

    BP神经网络卷积神经网络在多个方面存在显著差异,以下是对两者的比较: 一、结构特点 BP神经网络 : BP神经网络是一
    的头像 发表于 02-12 15:53 1307次阅读

    如何训练BP神经网络模型

    BP(Back Propagation)神经网络是一经典的人工神经网络模型,其训练过程主要分为两个阶段:前向传播和反向传播。以下是
    的头像 发表于 02-12 15:10 1463次阅读

    知行科技大模型研发体系初见效果

    Transformer)模型作为教师,CNN网络作为学生进行学习。推进异构神经网络间知识蒸馏研究的具体范式/方法,被收录于NeurIPS 2024(第38届
    的头像 发表于 12-27 09:38 904次阅读
    知行科技大<b class='flag-5'>模型</b>研发体系初见效果

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    通道数时表现更好。 2.3 神经网络的相关知识点 2.3.1 卷积的基本概念 卷积是一数学运算,在计算机视觉中被广泛应用于特征提取。它通过一个小型矩阵(称为
    发表于 12-19 14:33