0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

渲染结果与原始图像匹配 视觉系统精准地提取场景参数

Tensorflowers 来源:yxw 2019-05-21 09:01 次阅读

近几年,可嵌入到神经网络架构中的新型可微图形层开始兴起。从空间变换器到可微图形渲染器,这些新型网络层利用多年积累的计算机视觉和图形学研究知识来构建更高效的新型网络架构。通过将几何先验和约束显式建模到神经网络中,我们为能够高效稳健地以自监督方式(这点更为重要)接受训练的架构打开了大门。

总体来看,计算机图形管道需要 3D 物体及其在场景中的绝对位置、对物体材质的描述、光和摄像头。然后,渲染器会解译该场景描述,进而生成合成渲染。

与之相比,计算机视觉系统会从图像入手,试图推断场景的参数。这可以实现对场景中的物体,以及对其材质、三维位置和方向的预测。

训练能够解决这些复杂 3D 视觉任务的机器学习系统通常需要大量数据。由于标记数据是一个成本高昂且复杂的过程,所以我们必须配备设计机器学习模型的机制,以设计出既能理解三维世界,又在训练时无需太多监督的机器学习模型。通过将计算机视觉和计算机图形学技术相结合,我们可以随时利用大量无标记数据,这是绝无仅有的好机会。举例而言,下图所示的流程可以通过合成分析实现,即视觉系统提取场景函数,然后图形系统根据这些函数返回渲染后的图像。如果渲染结果与原始图像匹配,则说明视觉系统精准地提取了场景参数。在该设置中,计算机视觉和计算机图形学携手合作,形成了一个类似自编码器的机器学习系统,该系统能够以自监督方式进行训练。

可微图形层

接下来,我们将探索 TensorFlow Graphics 的一些可用功能。本次探索之旅并未涵盖所有内容;如需更多信息,请访问我们的GitHub,探索 TensorFlow Graphics 推出的新功能。

变换

物体变换可控制物体的空间位置。如下图所示,利用轴线角形式旋转立方体。旋转轴指向上方,旋转方向为逆时针,因此立方体以逆时针方向旋转。在此Colab 示例中,我们展示了如何在神经网络中训练旋转形式,该神经网络在经过训练后用于预测观测物体的旋转和平移。这项任务是很多应用的核心,包括专注于与所处环境进行交互的机器人。在这些场景中,用机械臂(例如,通过其手柄)抓取物体需要精确估测这些物体相对于机械臂的位置。

对摄像头进行建模

摄像头模型在计算机视觉领域占据至关重要的地位,因为其对三维物体投影到图像平面的外观影响极大。如下图所示,此立方体似乎正在放大和缩小,但事实上这只是焦距改变带来的变化。

材质

材质模型定义光线与物体的交互过程,从而赋予物体独特的外观。例如,某些材质(如石膏)会均匀地向各个方向反射光线,而镜面等其他材质只会产生镜面反射。在此交互式Colab 笔记本中,您将了解如何使用 Tensorflow Graphics 生成以下渲染。您还将有机会试验材质和光线的参数,充分了解其交互过程。准确预测材质属性是许多任务的基础。例如,它可以让用户在所处环境中放置虚拟家具,打造室内环境与家具搭配的逼真场景,使用户能够准确感知这件家具的外观。

几何学 — 3D 卷积和池化

近年来,以点云或网格形式输出三维数据的传感器正在逐渐融入我们的日常生活,包括智能手机深度传感器、自动驾驶汽车雷达等等。由于其结构不规则,在这些表征上执行卷积要比在规则网格结构上困难得多。TensorFlow Graphics 提供两个 3D 卷积层和一个 3D 池化层,方便开展训练,例如训练网络在网格上执行对语义部分的分类(如下图所示)

TensorBoard 3D

可视化调试是评估实验是否按正确方向开展的重要方法。为此,TensorFlow Graphics 配备了 TensorBoard 插件,支持以交互方式显示 3D 网格和点云。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 变换器
    +关注

    关注

    17

    文章

    2008

    浏览量

    108189
  • tensorflow
    +关注

    关注

    13

    文章

    313

    浏览量

    60232
  • 渲染器
    +关注

    关注

    0

    文章

    17

    浏览量

    3201
  • Graphics
    +关注

    关注

    0

    文章

    11

    浏览量

    5091

原文标题:TensorFlow Graphics 简介:当计算机图形学遇上深度学习

文章出处:【微信号:tensorflowers,微信公众号:Tensorflowers】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    机器人视觉系统深度解析

    从功能上来看,典型的机器视觉系统可以分为:图像采集部分、图像处理部分和运动控制部分。
    发表于 03-05 11:39 135次阅读
    机器人<b class='flag-5'>视觉系统</b>深度解析

    机器视觉系统图像采集卡的选择

    机器视觉技术是目前工业生产检测实现自动化、智能化的重要应用。机器视觉系统分为图像采集与图像处理两大板块,图像采集卡就是连接这两大板块的重要组
    的头像 发表于 12-21 10:20 257次阅读

    工业机器视觉系统中光源设计应用

    机器视觉系统主要由三部分组成:图像的获取、图像的处理和分析、输出或显示。而图像的获取是机器视觉的核心,
    发表于 11-03 12:34 265次阅读
    工业机器<b class='flag-5'>视觉系统</b>中光源设计应用

    机器视觉图像增强和图像处理

    原始获取图像进行一系列的运算处理,称为图像处理。图像处理是机器视觉技术的方法基础,包括图像增强
    发表于 10-23 10:43 199次阅读
    机器<b class='flag-5'>视觉</b>之<b class='flag-5'>图像</b>增强和<b class='flag-5'>图像</b>处理

    机器视觉图像处理技术、图像增强技术

    原始获取图像进行一系列的运算处理,称为图像处理。图像处理是机器视觉技术的方法基础,包括图像增强
    发表于 10-20 10:17 313次阅读
    机器<b class='flag-5'>视觉</b>:<b class='flag-5'>图像</b>处理技术、<b class='flag-5'>图像</b>增强技术

    完整的机器视觉系统包括哪些?机器视觉的工作原理

    机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像
    发表于 10-19 14:16 390次阅读
    完整的机器<b class='flag-5'>视觉系统</b>包括哪些?机器<b class='flag-5'>视觉</b>的工作原理

    机器视觉系统基本原理及应用分类

    机器视觉(machine vision)是由计算机或图像处理器以及相关设备来模拟人的视觉行为,完成得到人的视觉系统所得到的信息。 简单说来,机器
    发表于 10-08 10:40 343次阅读
    机器<b class='flag-5'>视觉系统</b>基本原理及应用分类

    贴片机视觉系统组成

    由于目前大部分贴片机采用的都是数字化的视觉系统,故在这里我们介绍的主要是数字视觉系统。数字图像处理是一门跨学科的前沿高科技,简单地说,数字图像就是把需处理的模拟
    发表于 09-07 15:30 241次阅读
    贴片机<b class='flag-5'>视觉系统</b>组成

    一套简单的机器视觉系统包括哪些部分?

    一套最简单的机器视觉系统包括:视觉成像部分、图像处理部分、运动控制部分。
    发表于 08-20 09:39 393次阅读

    机器视觉系统包括哪些

    机器视觉系统包括哪些 机器视觉系统就是利用机器代替人眼来作各种测量和判断。它是计算机学科的一个重要分支,它综合了光学、机械、电子、计算机软硬件等方面的技术,涉及到计算机、图像处理、模式识别、人工智能
    发表于 06-29 11:33 529次阅读

    AI视觉检测在工业领域的应用

    匹配系统提取出来的特征向量与产品样本库进行比对匹配,以判断产品是否符合标准要求。 5.结果输出:系统
    发表于 06-15 16:21

    如何在机器视觉系统中选择合适的照明系统呢?

    机器视觉系统在工作过程中,依赖于图像质量,高质量的图像可以使系统能够更加精准地从检测物体中提取
    发表于 05-17 15:00 149次阅读
    如何在机器<b class='flag-5'>视觉系统</b>中选择合适的照明<b class='flag-5'>系统</b>呢?

    浅谈机器视觉系统集成时所涉及的各种技术

    准确地描述机器视觉系统需要完成的功能和工作环境,对于整个机器视觉系统的成功集成是至关重要的。对于需求的描述,实际定义了视觉系统工作的场景,而围绕这个
    发表于 05-09 09:57 208次阅读
    浅谈机器<b class='flag-5'>视觉系统</b>集成时所涉及的各种技术

    启动视觉系统算法开发工作需要考虑的因素

    视觉系统开始很重要,原因有两个。首先,算法性能受限于视觉系统生成的图像质量。虽然可以提升算法的能力,但在某些时候,算法的性能受到图像质量的限制。其次,
    的头像 发表于 05-06 10:46 417次阅读
    启动<b class='flag-5'>视觉系统</b>算法开发工作需要考虑的因素

    机器视觉系统图像采集卡是什么?

    一般来说,机器视觉系统包括了照明系统、镜头、摄像系统、采集卡、图像处理卡和图像处理系统。对于每一
    的头像 发表于 04-06 17:00 610次阅读
    机器<b class='flag-5'>视觉系统</b><b class='flag-5'>图像</b>采集卡是什么?