0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

没有大量训练数据时怎么生成更多的数据

汽车玩家 来源:人工智能遇见磐创 作者:人工智能遇见磐创 2020-05-04 08:59 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在图像和物体识别方面,计算机表现优于人类。

像Google和Microsoft这样的大公司在图像识别方面已经超越了人类基准[1,2]。平均而言,人类大约有5%的时间在图像识别任务上犯了错误。截至2015年,微软的图像识别软件的错误率达到4.94%,与此同时,谷歌宣布其软件的错误率降低到4.8%[3]

这是怎么做到的?

这可以通过在包含数百个对象类别、数百万个训练样本的ImageNet数据集上训练深度卷积神经网络来实现[1]。

百万训练数据!

例如,要教计算机从多个角度识别出一只猫猫,可能需要成千上万张涵盖不同角度的照片。

成功训练计算机视觉任务的深层卷积神经网络需要大量数据。这是因为这些神经网络具有多个隐藏的处理层,并且随着层数的增加,需要学习的样本数也随之增加。如果没有足够的训练数据,则该模型往往会很好地学习训练数据,这称为过度拟合。如果模型过拟合,则其泛化能力很差,因此对未见的数据的表现很差。

但是,如果没有大量的训练数据怎么办?

对于我们手头的所有图像识别任务,并不是都会拥有数百万个训练样本。对于某些任务,收集成千上万个样本图像甚至是一个挑战。对于医学图像而言通常是这种情况,例如用于乳房癌检测和定位的乳房X线照相术,用于肺癌检测的胸部X射线或用于定位脑肿瘤的MRI扫描。

这可以归结为一个问题:当我们只有有限的数据时,我们如何训练能够很好地完成这些任务的模型?

使用数据增强(data augmentation)生成更多训练数据

当我们只有少量图像数据用于训练深度卷积神经网络时,我们可以使用数据增强技术从已经拥有的图像数据中生成更多训练数据。

数据增强是一种为原始图像生成多个图像的技术。有几种不同的数据增强技术,Mikolajczyk和Grochowski在他们的论文中[4]将这些技术分为两个子类别:使用基本图像处理的数据增强和使用深度学习方法的数据增强。

几何变换

诸如翻转(Flip),裁剪(Crop),旋转(Rotation)和移位(Translation)之类的几何变换是一些常用的数据增强技术。我们将在本文中简要讨论它们。

翻转

翻转是取任意给定图像的镜像。它是最简单的增强技术之一。图像可以水平或垂直翻转。但是,水平翻转在这两者之间更为常见。

裁剪

裁剪是一种数据增强技术,用于通过裁剪边界像素来减小原始图像的大小。裁剪时不会保留空间尺寸。在这种类型的数据增强中,不能保证转换后的图像与原始图像属于相同的输出标签

在上面的图像中,通过从左右方向裁剪像素,从原始图像生成了四个图像。裁剪图像的尺寸从256x256减小到227x277。

旋转

图像可以在轴上向左或向右旋转1到359度。1到20度之间的旋转称为轻微旋转,并且是用于增强原始图像的有用技术。随着旋转度的增加,转换后的数据可能无法保留其原始标签。

移位

翻译是一种将图像向左,向右,向上或向下平移的技术。这是一种非常有用的转换技术,可以避免数据中的位置偏差。移位图像时,剩余空间将被填充为0,255或被随机噪声填充,从而保留了图像的原始大小。

基于GAN的数据增强

生成对抗网络(GAN)也称为GAN,是一种生成建模技术,其中可以从数据集中创建人工实例,从而保留原始集的相似特征[9]。

GAN由两个相互竞争的人工神经网络(ANN)组成,即生成器 generator 与判别器 discriminator。生成器创建新的数据实例,而判别器则评估它们的真实性[10]。

这是由GAN生成的人脸图像,这是在人脸上训练出来的。请注意,这些是合成的面孔,而不是真实的人。

这些是一些数据增强技术,通常用于从有限的数据集中生成更多数据,从而可以训练出更有效的卷积神经网络。

Olaf和他的团队在训练数据有限的情况下,利用在图像上的平移、旋转和随机弹性变换等数据增强技术训练U-net体系结构模型,并在2015年ISBI细胞追踪挑战中以较大优势获得这些类别的冠军。

因此,下次在训练卷积神经网络时,请使用这些技术来创建更多数据。

你平时使用了哪些数据增强技术?在下面评论分享的想法。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7764

    浏览量

    92692
  • 图像识别
    +关注

    关注

    9

    文章

    529

    浏览量

    39846
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA助力汤元科技突破智能驾驶数据获取与生成瓶颈

    苏州汤元科技有限公司(以下简称“汤元科技”)是一家专注于三维重建与世界模型的科技公司,为自动驾驶与具身智能提供高质量、多样化的训练数据。通过将自研的世界模型技术与 NVIDIA Cosmos 结合,实现真实物理世界的三维重建、场景泛化,并提升
    的头像 发表于 09-06 15:16 1271次阅读

    基于大规模人类操作数据训练的VLA模型H-RDT

    近年来,机器人操作领域的VLA模型普遍基于跨本体机器人数据集预训练,这类方法存在两大局限:不同机器人本体和动作空间的差异导致统一训练困难;现有大规模机器人演示数据稀缺且质量参差不齐。得
    的头像 发表于 08-21 09:56 784次阅读
    基于大规模人类操作<b class='flag-5'>数据</b>预<b class='flag-5'>训练</b>的VLA模型H-RDT

    训练平台数据集过大无法下载数据集至本地怎么解决?

    起因是现在平台限制了图片数量,想要本地训练下载数据集时发现只会跳出网络异常的错误,请问这有什么解决办法?
    发表于 07-22 06:03

    数据集下载失败的原因?

    数据集下载失败什么原因太大了吗,小的可以下载,想把大的下载去本地训练报错网络错误 大的数据集多大?数据量有多少?
    发表于 06-18 07:04

    ez-usb3.0如何更改slfifosync中的数据,可以生成8bit数据位的usb固件?

    使用gpif ii生成.h文件后,ez usb suite中载入slfifosync文件夹,并将.h文件放进去。由于原slfifosync中好像只能选择16或者32bit数据位的,生成的.img烧录
    发表于 05-14 07:53

    技术分享 | 高逼真合成数据助力智驾“看得更准、学得更快”

    自动驾驶研发如何高效获取海量训练数据?高逼真合成数据技术正在提供新解法。通过仿真平台可生成多场景、多传感器的精准标注数据。文章详解如何构建符
    的头像 发表于 04-29 10:47 3299次阅读
    技术分享 | 高逼真合成<b class='flag-5'>数据</b>助力智驾“看得更准、学得更快”

    海思SD3403边缘计算AI数据训练概述

    AI数据训练:基于用户特定应用场景,用户采集照片或视频,通过AI数据训练工程师**(用户公司****员工)** ,进行特征标定后,将标定好的训练
    发表于 04-28 11:11

    借助OpenUSD与合成数据推动人形机器人发展

    适用于合成运动数据的 NVIDIA Isaac GR00T Blueprint 大幅加快人形机器人的数据生成训练速度。
    的头像 发表于 04-25 10:04 752次阅读

    用PaddleNLP为GPT-2模型制作FineWeb二进制预训练数据

    作者:算力魔方创始人/英特尔创新大使刘力 《用PaddleNLP在4060单卡上实践大模型预训练技术》发布后收到读者热烈反响,很多读者要求进一步讲解更多的技术细节。本文主要针对大语言模型的预训练流程
    的头像 发表于 03-21 18:24 3846次阅读
    用PaddleNLP为GPT-2模型制作FineWeb二进制预<b class='flag-5'>训练</b><b class='flag-5'>数据</b>集

    数据标注服务—奠定大模型训练数据基石

    数据标注是大模型训练过程中不可或缺的基础环节,其质量直接影响着模型的性能表现。在大模型训练中,数据标注承担着将原始数据转化为机器可理解、可学
    的头像 发表于 03-21 10:30 2309次阅读

    标贝数据标注服务:奠定大模型训练数据基石

    数据标注是大模型训练过程中不可或缺的基础环节,其质量直接影响着模型的性能表现。在大模型训练中,数据标注承担着将原始数据转化为机器可理解、可学
    的头像 发表于 03-21 10:27 881次阅读
    标贝<b class='flag-5'>数据</b>标注服务:奠定大模型<b class='flag-5'>训练</b>的<b class='flag-5'>数据</b>基石

    自动化标注技术推动AI数据训练革新

    结果的高准确率,相对纯人工标注效率可提升70%以上,为用户提供更性价比的数据方案和服务。本文将就自动化标注平台是什么以及为AI数据训练带来哪些改变为核心进行讨论。
    的头像 发表于 03-14 16:46 1099次阅读

    是否可以输入随机数据集来生成INT8训练后量化模型?

    无法确定是否可以输入随机数据集来生成 INT8 训练后量化模型。
    发表于 03-06 06:45

    英伟达推出基石世界模型Cosmos,解决智驾与机器人具身智能训练数据问题

    。Cosmos 世界基础模型(WFM)使开发者能够轻松生成大量基于物理学的逼真合成数据,以用于训练和评估其现有的模型。开发者还可以通过微调 Cosmos WFM 构建自定义模型。 为加速机器人和自动驾驶
    的头像 发表于 01-14 11:04 2106次阅读
    英伟达推出基石世界模型Cosmos,解决智驾与机器人具身智能<b class='flag-5'>训练</b><b class='flag-5'>数据</b>问题

    【「具身智能机器人系统」阅读体验】+数据在具身人工智能中的价值

    熟练程度,但由于其多模态性质,训练 EAI 模型需要更多的机器人数据。这些机器人数据包括各种传感输入和交互类型,不仅极具挑战性,而且收集成本高昂。
    发表于 12-24 00:33