0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

没有大量训练数据时怎么生成更多的数据

汽车玩家 来源:人工智能遇见磐创 作者:人工智能遇见磐创 2020-05-04 08:59 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在图像和物体识别方面,计算机表现优于人类。

像Google和Microsoft这样的大公司在图像识别方面已经超越了人类基准[1,2]。平均而言,人类大约有5%的时间在图像识别任务上犯了错误。截至2015年,微软的图像识别软件的错误率达到4.94%,与此同时,谷歌宣布其软件的错误率降低到4.8%[3]

这是怎么做到的?

这可以通过在包含数百个对象类别、数百万个训练样本的ImageNet数据集上训练深度卷积神经网络来实现[1]。

百万训练数据!

例如,要教计算机从多个角度识别出一只猫猫,可能需要成千上万张涵盖不同角度的照片。

成功训练计算机视觉任务的深层卷积神经网络需要大量数据。这是因为这些神经网络具有多个隐藏的处理层,并且随着层数的增加,需要学习的样本数也随之增加。如果没有足够的训练数据,则该模型往往会很好地学习训练数据,这称为过度拟合。如果模型过拟合,则其泛化能力很差,因此对未见的数据的表现很差。

但是,如果没有大量的训练数据怎么办?

对于我们手头的所有图像识别任务,并不是都会拥有数百万个训练样本。对于某些任务,收集成千上万个样本图像甚至是一个挑战。对于医学图像而言通常是这种情况,例如用于乳房癌检测和定位的乳房X线照相术,用于肺癌检测的胸部X射线或用于定位脑肿瘤的MRI扫描。

这可以归结为一个问题:当我们只有有限的数据时,我们如何训练能够很好地完成这些任务的模型?

使用数据增强(data augmentation)生成更多训练数据

当我们只有少量图像数据用于训练深度卷积神经网络时,我们可以使用数据增强技术从已经拥有的图像数据中生成更多训练数据。

数据增强是一种为原始图像生成多个图像的技术。有几种不同的数据增强技术,Mikolajczyk和Grochowski在他们的论文中[4]将这些技术分为两个子类别:使用基本图像处理的数据增强和使用深度学习方法的数据增强。

几何变换

诸如翻转(Flip),裁剪(Crop),旋转(Rotation)和移位(Translation)之类的几何变换是一些常用的数据增强技术。我们将在本文中简要讨论它们。

翻转

翻转是取任意给定图像的镜像。它是最简单的增强技术之一。图像可以水平或垂直翻转。但是,水平翻转在这两者之间更为常见。

裁剪

裁剪是一种数据增强技术,用于通过裁剪边界像素来减小原始图像的大小。裁剪时不会保留空间尺寸。在这种类型的数据增强中,不能保证转换后的图像与原始图像属于相同的输出标签

在上面的图像中,通过从左右方向裁剪像素,从原始图像生成了四个图像。裁剪图像的尺寸从256x256减小到227x277。

旋转

图像可以在轴上向左或向右旋转1到359度。1到20度之间的旋转称为轻微旋转,并且是用于增强原始图像的有用技术。随着旋转度的增加,转换后的数据可能无法保留其原始标签。

移位

翻译是一种将图像向左,向右,向上或向下平移的技术。这是一种非常有用的转换技术,可以避免数据中的位置偏差。移位图像时,剩余空间将被填充为0,255或被随机噪声填充,从而保留了图像的原始大小。

基于GAN的数据增强

生成对抗网络(GAN)也称为GAN,是一种生成建模技术,其中可以从数据集中创建人工实例,从而保留原始集的相似特征[9]。

GAN由两个相互竞争的人工神经网络(ANN)组成,即生成器 generator 与判别器 discriminator。生成器创建新的数据实例,而判别器则评估它们的真实性[10]。

这是由GAN生成的人脸图像,这是在人脸上训练出来的。请注意,这些是合成的面孔,而不是真实的人。

这些是一些数据增强技术,通常用于从有限的数据集中生成更多数据,从而可以训练出更有效的卷积神经网络。

Olaf和他的团队在训练数据有限的情况下,利用在图像上的平移、旋转和随机弹性变换等数据增强技术训练U-net体系结构模型,并在2015年ISBI细胞追踪挑战中以较大优势获得这些类别的冠军。

因此,下次在训练卷积神经网络时,请使用这些技术来创建更多数据。

你平时使用了哪些数据增强技术?在下面评论分享的想法。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7840

    浏览量

    93459
  • 图像识别
    +关注

    关注

    9

    文章

    534

    浏览量

    40178
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    数据传输拖慢训练?三维一体调度让AI任务提速40%

    作为AI开发者,你是否无数次陷入这样的困境:训练千亿参数大模型,数据传输占了总耗时的60%,GPU空转等待如同“带薪摸鱼”;跨地域调用算力,公网带宽瓶颈让TB级数据集传输动辄耗时数天;算力、
    的头像 发表于 01-26 14:20 251次阅读

    芯盾时代揭秘训练数据投毒攻击

    的暗流正在威胁这艘方舟能否驶向未来——这就是被OWASP列为LLM十大安全威胁之四的“训练数据投毒”(Data and Model Poisoning)。
    的头像 发表于 01-23 10:25 723次阅读

    自动驾驶大模型的训练数据有什么具体要求?

    及环境的变化。 图片源自:网络 大模型能不能在真实交通环境中看懂路、判断状况、做出正确决定,关键在于它训练时看到的东西有没有覆盖足够多、够真实、够准确。若训练数据有缺陷、种类单一、环境
    的头像 发表于 12-26 09:32 358次阅读
    自动驾驶大模型的<b class='flag-5'>训练</b><b class='flag-5'>数据</b>有什么具体要求?

    NVIDIA发布Isaac GR00T-Dreams合成数据生成与神经仿真框架

    机器人需要借助大规模、高物理精度且多样化的数据集进行训练,才能在复杂环境中进行推理并完成多种任务,而目前这些数据难以公开获取。
    的头像 发表于 11-03 15:12 1066次阅读

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    模型。 我们使用MNIST数据集,训练一个卷积神经网络(CNN)模型,用于手写数字识别。一旦模型被训练并保存,就可以用于对新图像进行推理和预测。要使用生成的模型进行推理,可以按照以下步
    发表于 10-22 07:03

    NVIDIA助力汤元科技突破智能驾驶数据获取与生成瓶颈

    苏州汤元科技有限公司(以下简称“汤元科技”)是一家专注于三维重建与世界模型的科技公司,为自动驾驶与具身智能提供高质量、多样化的训练数据。通过将自研的世界模型技术与 NVIDIA Cosmos 结合,实现真实物理世界的三维重建、场景泛化,并提升
    的头像 发表于 09-06 15:16 1612次阅读

    基于大规模人类操作数据训练的VLA模型H-RDT

    近年来,机器人操作领域的VLA模型普遍基于跨本体机器人数据集预训练,这类方法存在两大局限:不同机器人本体和动作空间的差异导致统一训练困难;现有大规模机器人演示数据稀缺且质量参差不齐。得
    的头像 发表于 08-21 09:56 1221次阅读
    基于大规模人类操作<b class='flag-5'>数据</b>预<b class='flag-5'>训练</b>的VLA模型H-RDT

    训练平台数据集过大无法下载数据集至本地怎么解决?

    起因是现在平台限制了图片数量,想要本地训练下载数据集时发现只会跳出网络异常的错误,请问这有什么解决办法?
    发表于 07-22 06:03

    使用AICube导入数据集点创建后提示数据集不合法怎么处理?

    重现步骤 data目录下 labels.txt只有英文 **错误日志** 但是使用示例的数据集可以完成训练并部署
    发表于 06-24 06:07

    数据集下载失败的原因?

    数据集下载失败什么原因太大了吗,小的可以下载,想把大的下载去本地训练报错网络错误 大的数据集多大?数据量有多少?
    发表于 06-18 07:04

    OCR识别训练完成后给的是空压缩包,为什么?

    OCR识别 一共弄了26张图片,都标注好了,点击开始训练,显示训练成功了,也将压缩包发到邮箱了,下载下来后,压缩包里面是空的 OCR图片20几张图太少了。麻烦您多添加点,参考我们的ocr识别训练
    发表于 05-28 06:46

    ez-usb3.0如何更改slfifosync中的数据,可以生成8bit数据位的usb固件?

    使用gpif ii生成.h文件后,ez usb suite中载入slfifosync文件夹,并将.h文件放进去。由于原slfifosync中好像只能选择16或者32bit数据位的,生成的.img烧录
    发表于 05-14 07:53

    技术分享 | 高逼真合成数据助力智驾“看得更准、学得更快”

    自动驾驶研发如何高效获取海量训练数据?高逼真合成数据技术正在提供新解法。通过仿真平台可生成多场景、多传感器的精准标注数据。文章详解如何构建符
    的头像 发表于 04-29 10:47 3646次阅读
    技术分享 | 高逼真合成<b class='flag-5'>数据</b>助力智驾“看得更准、学得更快”

    海思SD3403边缘计算AI数据训练概述

    AI数据训练:基于用户特定应用场景,用户采集照片或视频,通过AI数据训练工程师**(用户公司****员工)** ,进行特征标定后,将标定好的训练
    发表于 04-28 11:11

    借助OpenUSD与合成数据推动人形机器人发展

    适用于合成运动数据的 NVIDIA Isaac GR00T Blueprint 大幅加快人形机器人的数据生成训练速度。
    的头像 发表于 04-25 10:04 1174次阅读