机器学习模型重要特征值可视化相关知识

TensorFlow 2018-06-01 10:09 次阅读

AIA (AI Adventures)系列现在已经进入第五期了。前三期分享当中,Yufeng 介绍了机器学习的核心概念、基本逻辑,也介绍了要进行机器学习需要经过哪些步骤,并根据这些基本知识尝试使用线性评估器 API 打造了鸢尾花分类模型。今天的分享中,他会与我们分享一个非常有力的工具:TensorBoard,让你能“看穿”模型,监测训练过程。

为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow 团队发布了一套名为 TensorBoard 的可视化工具。开发者们可以用 TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据(如其中传递的图像),请看 Yufeng 为大家带来的分享:

当你能「看清」问题所在时,调试起来是最简单的。但是当大量的训练数据如潮水般涌入复杂模型的时候,调试的过程往往会变得无比复杂。不过别怕,幸亏有 TensorBoard,一切变得简单起来。

机器学习可不像传统的编程,它往往变幻莫测。模型间的细小差别以及数据的质量、参数微调中的小小改变都可能对最终成功与否造成巨大的影响。

用 TensorBoard 发现问题所在

只有当我们纵览模型整体结构,并跟踪某些特征数据在整个训练过程当中的变化时,才能有效调校模型并调试所「看到」的问题。

这一抽象的流程往往难以通过可视化的方式呈现,不过现在 TensorFlow 内置了解决方案将会带来改变。

现在一起来看看内置于 TensorFlow 的可视化方案 — TensorBoard,一个让你更能把控大量操作的工具。不论是观察模型整体结构还是监视整个模型训练过程。

TensorFlow 在内部使用了计算机图形理论的思想。

也就是说,为了取缔传统意义上两数相加的思维,TensorFlow 构造了新的加法运算,并将之作为参数传入,随后数值将会被这一运算加在一起。

所以我们回头思考 TensorFlow 训练过程,其实就是将所有操作当成图的一部分来执行的过程。TensorBoard 可以将这些模型可视化,所以你能看到模型抽象出来是什么样子,更让你得以检查是否所有部分都按要求组合在了一起。

下面来个更复杂点的例子,同样是用 TensorFlow 将模型可视化的例子。注意看上图,TensorFlow 让我们可以缩放、扫视、展开模型的各个元素以得到更多细节。这就是说,我们可以从不同的抽象层次观察模型,从而降低了视觉复杂度。

并且,TensorBoard 除了向我们展示模型的结构,还会将各项特征值的变化很好布局在图上。我们会将精确度、失真、跨熵等拿来布局观测,且另一方面,依赖于模型的众多特征值往往都非常重要。至于 TensorFlow 的预置发射器,它们自带了一套预设值用于在 TensorBoard 中使用。这一特性为后续使用做好了铺垫。

TensorBoard 除了上述功能,还能展示包括条形图、分布图以及诸如声音、图像、文字等与模型共生的数据等等大量的信息。不过关于那部分的详细介绍要等到后面的视频。

回归正题,我们来看看之前一直使用的线性模型在 TensorBoard 当中的表现。首先需要启动 TensorBoard 并将之指向目标模型层次结构及重要中间文件所在的目录:

tensorboard --logdir=」/tmp/iris_model/」

此项操作会启动一个侦听 6006 端口的本地服务器。

6006 看起来是不是非常像「GOOG」呢?

我们可以看到一些线性 classifier 默认提供的标量特征值。稍后可以通过缩放和展开来研究这些图像。

双击能够回退到更高的缩放级别。可见,我们的模型训练随着时间推移正以逐渐降低的失真井然有序进行。并且我们能清晰看到模型训练尚未完成,原因是当前的失真下降率仍然较高。它提示我们,也许应当再多训练一会儿,进而从训练过程中获得更多收益。

接下来看看 Graph 小分页。注意看,此时图还是非常简单的。

我们能通过点击小块儿上面的加号展开查看更详细的内容。比如,我现在展开了「linear」这个模块,可以看到它由不少子模块组成。我们可以通过滚轮来缩放视野,也可以通过点按拖拽来查看其他部分。

注意我们给特征列的名字,比如此处的 flower_features 在图中以模块形式呈现。

这种方式将有助于调试并了解上面展示的图中各部分是怎样联结起来的。大多数 TensorFlow 的操作是可以命名的,所以这是一个将模型阐述清楚和观察当前训练进展的好机会。

今天,我们学到了简单有趣的机器学习模型重要特征值可视化相关知识。TensorBoard 将让你轻松体验到这种乐趣,并且最妙之处是它已经完全内置在 TensorFlow 当中了。

记住下一次你想要把机器学习过程可视化时,TensorBoard 是你的不二选择。

原文标题:AIA 系列 | 通过 TensorBoard 将模型可视化

文章出处:【微信号:tensorflowers,微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

纳米结构如何提高光学传感器的灵敏度?

该团队研究的光子纳米结构由具有规则孔状图案的硅层组成,其上覆有由硫化物制成的量子点涂层。激光激发后,....

发表于 10-15 16:20 24次 阅读
纳米结构如何提高光学传感器的灵敏度?

如何利用机器学习提高光学传感器灵敏度?

纳米结构的几何形状只要满足特定条件,并匹配入射光的波长,就能够大幅提高光学传感器的灵敏度。

的头像 MEMS 发表于 10-15 16:17 106次 阅读
如何利用机器学习提高光学传感器灵敏度?

回归预测之入门

最近一段时间再看斯坦福大学几期学习的教学视频,有百度首席工程师、百度大脑以及百度研究院的负责人吴恩达教授讲述,内容深入浅...

发表于 10-15 10:19 58次 阅读
回归预测之入门

如何利用机器学习提高光学传感器灵敏度?

        纳米结构的几何形状只要满足特定条件,并匹配入射光的波长,就能够大幅提高光学传感器的...

发表于 10-15 09:51 29次 阅读
如何利用机器学习提高光学传感器灵敏度?

如何通过机器学习和人工智能实现SDN?

服务提供商眼中的SDN现状凭借其对网络简化和新收入流的优势,软件定义网络无疑已经引起了服务提供商的强....

的头像 机器人博览 发表于 10-14 11:10 426次 阅读
如何通过机器学习和人工智能实现SDN?

微软新的机器学习框架核心产品机器学习引擎infer.NET的概述

感觉微软对开源上瘾了。在开源了跨平台机器学习框架ML.NET之后,微软又开源了一个非常重要的机器学习....

的头像 人工智能 发表于 10-14 11:01 232次 阅读
微软新的机器学习框架核心产品机器学习引擎infer.NET的概述

Xilinx Alveo U200数据中心加速器卡的主要性能和优势

启用 Alveo 加速器卡是 Xilinx 及合作伙伴应用的一个生态系统,主要面向数据中心的工作负载....

发表于 10-14 08:48 48次 阅读
Xilinx Alveo U200数据中心加速器卡的主要性能和优势

2018年全球物联网将呈现那四大趋势

Statista 2018还显示,2015年至2025年全球连接设备的数量将从15亿将增加750亿。....

发表于 10-14 07:52 137次 阅读
2018年全球物联网将呈现那四大趋势

讨论游戏Emoji Scavenger Hunt的内部运作方式

Emoji Scavenger Hunt 游戏的核心功能是识别您的相机所看到的物体,并将其与游戏要求....

的头像 TensorFlow 发表于 10-13 10:41 314次 阅读
讨论游戏Emoji Scavenger Hunt的内部运作方式

亚马逊机器学习专家发现,他们的新型招聘工具并不欢迎女性

高盛公司也创建了自己的简历分析工具,目的是选出最契合公司的候选人。而世界最大的职业招聘网站Linke....

的头像 论智 发表于 10-13 09:15 502次 阅读
亚马逊机器学习专家发现,他们的新型招聘工具并不欢迎女性

GAN之父Goodfellow回顾自己当年的科研经历

近日,NeuroAscent联合创始人、数据科学家Sanyam Bhutani对Ian Goodfe....

的头像 论智 发表于 10-13 09:11 269次 阅读
GAN之父Goodfellow回顾自己当年的科研经历

自动图片文本辨认是计算机视觉和机器学习处理大型数据的重要案例

从计算机视觉的角度来看,虽然对人类来说,看真实的文件和影印版的没有太大差别,但对计算机就大不一样了:....

的头像 论智 发表于 10-13 08:54 274次 阅读
自动图片文本辨认是计算机视觉和机器学习处理大型数据的重要案例

如何发展物联网战略

亚马逊公司前高管约翰·罗斯曼分享他的清单,可以为组织开发物联网战略提供一定的参考。 物联网(IoT)可能是互联网时代曙光之...

发表于 10-12 10:03 106次 阅读
如何发展物联网战略

物联网时代企业需要什么样的人才?

物联网(IoT)技术的大爆发时代即将到来,世界将进入真正的万物互联。据记者 了解,某科技公司高管明确表示,现在与客户所谈的项...

发表于 10-12 10:00 59次 阅读
物联网时代企业需要什么样的人才?

黄仁勋在刚刚结束的GTC Europe主题演讲都有哪些内容?

据分析师估计,面向数据科学和机器学习的服务器市场每年价值约为200亿美元,加上科学分析和深度学习市场....

的头像 英伟达NVIDIA中国 发表于 10-12 09:14 666次 阅读
黄仁勋在刚刚结束的GTC Europe主题演讲都有哪些内容?

苹果公司悄然花费大约3000万美元购买Spektral

本次收购可能会对Apple的AR计划产生重大影响。能够正确隔离实时视频中的特定元素可以实现ARKit....

的头像 AR联盟 发表于 10-12 09:13 698次 阅读
苹果公司悄然花费大约3000万美元购买Spektral

重温多种增强循环神经网络的方式

一提起 RNN,我们最容易想到的实现就是 LSTM + attention。LSTM 作为经典的网络....

的头像 人工智能 发表于 10-11 15:10 231次 阅读
重温多种增强循环神经网络的方式

AI系统存在巨大缺陷 看图识物比不上人类幼儿

上个月,来自约克大学和多伦多大学的两名研究人员合作发表了一篇论文:The Elephant in t....

的头像 罗欣 发表于 10-11 14:25 324次 阅读
AI系统存在巨大缺陷 看图识物比不上人类幼儿

探索“What-If”场景通常意味着编写一次性的自定义代码来分析特定模型

What-If 工具拥有各种功能,包括使用 Facets 自动可视化数据集、手动编辑数据集示例并查看....

的头像 TensorFlow 发表于 10-11 11:31 251次 阅读
探索“What-If”场景通常意味着编写一次性的自定义代码来分析特定模型

利用面向Google Cloud的Microchip AVR® MCU开发板,轻松一点即可创建安全的连网应用

新解决方案让设计人员能够在Google Cloud IoT Core的人工智能和机器学习架构中轻松。

的头像 人间烟火123 发表于 10-11 10:45 913次 阅读
利用面向Google Cloud的Microchip AVR® MCU开发板,轻松一点即可创建安全的连网应用

机器学习笔试题精选

机器学习是一门理论性和实战性都比较强的技术学科。在应聘机器学习相关工作岗位时,我们常常会遇到各种各样的机器学习问题和知识...

发表于 10-11 10:03 94次 阅读
机器学习笔试题精选

LinkedIn宣布收购旨在提高企业和其他组织员工参与度的初创公司Glint

Glint公司的现有产品包括员工参与度、员工生命周期、管理有效性和团队有效性。该公司往往会对员工进行....

的头像 企业通信D1net 发表于 10-10 17:35 585次 阅读
LinkedIn宣布收购旨在提高企业和其他组织员工参与度的初创公司Glint

JavaScript也能玩机器学习—— 5个开源 JavaScript 机器学习框架

作者 | 极链科技Video++技术中心前端Team整理 | 包包3个月前,公司AI团队给我们分享了....

的头像 张康康 发表于 10-10 13:43 196次 阅读
JavaScript也能玩机器学习—— 5个开源 JavaScript 机器学习框架

9月份最热门的机器学习开源项目TOP 5

论文和代码 相信大家都曾为如何自己实现论文中的代码而苦恼过,在互联网上搜索相关的代码可以说是非常的令人煎熬。在这个 rep...

发表于 10-10 13:39 80次 阅读
9月份最热门的机器学习开源项目TOP 5

Tensorflow量化缺少脚本/工具/文档AWS Xilinx ML Suite(f1.2xlarge)

你好, 我最近推出了AWS Xilinx ML Suite(f1.2xlarge)并尝试使用thetensorflowframework在你的webminardemowithbvlc_g...

发表于 10-10 11:52 12次 阅读
Tensorflow量化缺少脚本/工具/文档AWS Xilinx ML Suite(f1.2xlarge)

干货 | TensorFlow的55个经典案例

导语:本文是TensorFlow实现流行机器学习算法的教程汇集,目标是让读者可以轻松通过清晰简明的案例深入了解 TensorFlow。这些...

发表于 10-09 11:28 115次 阅读
干货 | TensorFlow的55个经典案例

干货 | TensorFlow的55个经典案例

导语:本文是TensorFlow实现流行机器学习算法的教程汇集,目标是让读者可以轻松通过清晰简明的案例深入了解 TensorFlow。这些...

发表于 10-09 11:28 115次 阅读
干货 | TensorFlow的55个经典案例

中国AI超越美国了——在投资上

同时,虽然美国继续创造最大规模的创业和风险资本活动,但其占全球总量的份额已大幅下降,从20世纪90年....

的头像 新智元 发表于 10-09 09:09 505次 阅读
中国AI超越美国了——在投资上

浅析Uber的一键式聊天架构

通过机器学习和自然语言理解结束,Uber实现了一套智能的聊天系统,从而有效的提升司机和乘客之间的沟通....

的头像 LiveVideoStack 发表于 10-08 16:55 632次 阅读
浅析Uber的一键式聊天架构

开发者应该学习哪种编程语言才能获得机器学习或数据科学这类工作呢?

这时,Python仍然是领导者,但C++现在是第二,然后是Java,而C在第四,R只在第5。这里显然....

的头像 电子发烧友网 发表于 10-08 15:53 386次 阅读
开发者应该学习哪种编程语言才能获得机器学习或数据科学这类工作呢?

借助强大的机器学习算法,科学家们提高了新物质探索开发的效率

研究人员利用Hartree-Fock作为输入来预测电子结构的相关能量。整体的相关能量通过来自占据分子....

的头像 将门创投 发表于 10-08 15:17 298次 阅读
借助强大的机器学习算法,科学家们提高了新物质探索开发的效率

关于LSTM和GRU的详细图解指南

当你浏览评论时,你的大脑下意识地只会记住重要的关键词,比如“amazing”和“awsome”这样的....

的头像 电子发烧友网工程师 发表于 10-08 14:52 224次 阅读
关于LSTM和GRU的详细图解指南

9月最受欢迎的机器学习开源项目Top10!

YOLOv3 是当前最先进的实时检测目标的系统,相比于前两个版本,第三版针对小目标的精度有显著提升。....

的头像 电子发烧友网工程师 发表于 10-08 14:39 264次 阅读
9月最受欢迎的机器学习开源项目Top10!

决策树的原理和决策树构建的准备工作,机器学习决策树的原理

希望通过所给的训练数据学习一个贷款申请的决策树,用于对未来的贷款申请进行分类,即当新的客户提出贷款申....

的头像 电子发烧友网工程师 发表于 10-08 14:26 433次 阅读
决策树的原理和决策树构建的准备工作,机器学习决策树的原理

【连载】深度学习笔记9:卷积神经网络(CNN)入门

      前面的八篇学习笔记,基本上都是围绕着深度神经网络(DNN)和全连接网络(FCN)在学习。....

的头像 人工智能实训营 发表于 10-08 12:56 134次 阅读
【连载】深度学习笔记9:卷积神经网络(CNN)入门

将Python数据处理速度提升2~6倍的简单方法

让我们举一个简单的例子,我们在一个文件夹中有一个图像数据集; 或者我们甚至有成千上万的图像!为了节省....

的头像 新智元 发表于 10-08 10:56 315次 阅读
将Python数据处理速度提升2~6倍的简单方法

千呼万唤始出来,PyTorch1.0预览版终于问世!

Azure机器学习服务现在允许开发人员无缝地从在本地机器上训练PyTorch模型,并转移到Azure....

的头像 新智元 发表于 10-08 10:49 485次 阅读
千呼万唤始出来,PyTorch1.0预览版终于问世!

物联网是什么?

如果我们进入物联网(IoT)的定义,我们发现他是物理设备、连网设备、智能设备和其他嵌入电子设备、软件....

的头像 物联之家网 发表于 10-08 10:31 380次 阅读
物联网是什么?

Github热门:国内互联网名企AI算法工程师笔试面经总结

最近,在GitHub上有位id为imhuay的热心人带头建立了一个关于国内知名互联网企业笔试和面试经....

的头像 新智元 发表于 10-08 09:41 491次 阅读
Github热门:国内互联网名企AI算法工程师笔试面经总结

谷歌突然“撤军”引起美国国防部、国会议员强烈不满

谷歌今年因参与Maven项目而遭到广泛的强烈反对,其中包括3000多名该公司的工作人员。他们向皮查伊....

的头像 新智元 发表于 10-08 09:28 456次 阅读
谷歌突然“撤军”引起美国国防部、国会议员强烈不满

树莓派自动驾驶:使用 Keras 与 Tensorflow 构建车道跟踪自动汽车

无人驾驶虽然入门门槛很高,但是还是可以通过一些简化的模型迅速上手。例如比较有名的DonkeyCar,....

的头像 基于树莓派的自动驾驶 发表于 10-07 17:59 330次 阅读
树莓派自动驾驶:使用 Keras 与 Tensorflow 构建车道跟踪自动汽车

苹果AI软件要发力资源整合开始 已利用AI让预测键盘学会思考

苹果公司名下的博客《机器学习杂志》的最近更新内容暗示了苹果QuickType预测键盘在未来可能会有进....

的头像 工控头条 发表于 10-03 07:55 1087次 阅读
苹果AI软件要发力资源整合开始 已利用AI让预测键盘学会思考

分享一个自己写的机器学习线性回归梯度下降算法

单变量线性回归算法,利用Batch梯度梯度下降算法迭代计算得到误差最小的代价函数theta0,theta1。调节学习率a可以观察拟合得到的...

发表于 10-02 21:48 186次 阅读
分享一个自己写的机器学习线性回归梯度下降算法

十个最受欢迎的Python机器学习库盘点

Python已成为机器学习领域最热门的编程语言之一。

的头像 智车科技 发表于 10-02 08:47 980次 阅读
十个最受欢迎的Python机器学习库盘点

苹果给预测键盘装入AI,让预测键盘可以“猜测”用户的想法

苹果公司名下的博客《机器学习期刊》的最近更新内容暗示了苹果QuickType预测键盘在未来可能会有进....

发表于 09-30 14:58 137次 阅读
苹果给预测键盘装入AI,让预测键盘可以“猜测”用户的想法

聪明的智能家居创新作品

如果形容一个人聪明,我们通常会说他的“脑子好使”。对于各类产品而言如果很聪明,那就意味着它的芯片很智....

的头像 芯智讯 发表于 09-30 14:23 455次 阅读
聪明的智能家居创新作品

三大基础是如何运作和实现人工智能的?

人工智能如今已经成为科技产业所讨论的普遍话题。这项技术已经被应用在了Gmail、自动驾驶汽车和照片整....

的头像 工业机器人 发表于 09-30 10:46 1961次 阅读
三大基础是如何运作和实现人工智能的?

机器学习不需要数学,调包就行?

大部分机器学习从业者不需要过度的把时间精力放在数学上,而该用于熟悉不同算法的应用场景和掌握一些调参技....

的头像 人工智能 发表于 09-30 10:38 490次 阅读
机器学习不需要数学,调包就行?

如何让零售商对价格进行优化的问题,机器学习能为零售价格优化做些什么?

价格优化和动态定价常被看作是近义词,但实际上二者是不同的,主要在于动态定价是定价策略的一种特殊形式,....

的头像 论智 发表于 09-30 08:53 312次 阅读
如何让零售商对价格进行优化的问题,机器学习能为零售价格优化做些什么?

Unity在几位“游戏设计师”的帮助下彻底火了

另一个“游戏设计师”是DeepMind的哈萨比斯。26日,DeepMind宣布和Unity达成合作,....

的头像 论智 发表于 09-30 08:42 478次 阅读
Unity在几位“游戏设计师”的帮助下彻底火了

智库专家分析中美之外各国发展人工智能的情况

美国宾夕法尼亚大学佩里全球中心(Perry World House)的智库专家撰文分析了中国和美国之....

的头像 人工智能快报 发表于 09-29 15:56 938次 阅读
智库专家分析中美之外各国发展人工智能的情况

人工智能技术如何赋能行业,拓展人类生活与想象的边界

他表示:“每个学生都要知道一些基础的认知科学、神经科学、计算机科学以及大脑是怎么运作的。另外,应该知....

的头像 商汤科技 发表于 09-29 14:11 1016次 阅读
人工智能技术如何赋能行业,拓展人类生活与想象的边界

汉斯·乌思克尔特:结合不同类型机器学习进行的信息和知识提取

在让我们再看一下历史,看一下这两种系统,一个系统是做窄面的事情,可以反映有很长的历史,还有其他的系统....

的头像 中国人工智能学会 发表于 09-29 11:49 646次 阅读
汉斯·乌思克尔特:结合不同类型机器学习进行的信息和知识提取

盘点TensorFlow在智能终端中的应用

深度学习在图像处理、语音识别、自然语言处理领域的应用取得了巨大成功,但是它通常在功能强

的头像 人工智能 发表于 09-29 11:33 291次 阅读
盘点TensorFlow在智能终端中的应用

数据科学家Jeremy Howard发布了fast.ai最新的课程

第一课将向同学们展示如何创建一个随机森林,随机森林也许是应用最广泛的机器学习模型了,其中会以Kagg....

的头像 论智 发表于 09-29 09:11 286次 阅读
数据科学家Jeremy Howard发布了fast.ai最新的课程

训练一个机器学习系统,让它学会检测和分类图像中的对象

相比之下,机器在生成“视觉”上更费力。它们看待事物的方式类似用盲文阅读,其中图像的像素就是“文字”,....

的头像 论智 发表于 09-29 09:06 456次 阅读
训练一个机器学习系统,让它学会检测和分类图像中的对象

如何构建人脸识别器的一则指南

因此这张人脸可以用(23.1, 15.8, 255, 224, 189, 5.2, 4.4)这个向量....

的头像 论智 发表于 09-29 09:01 403次 阅读
如何构建人脸识别器的一则指南

Python基础教程之《Python机器学习—预测分析核心算法》免费下载

 在学习和研究机器学习的时候,面临令人眼花缭乱的算法,机器学习新手往往会不知所措。本书从算法和 Py....

发表于 09-29 08:00 48次 阅读
Python基础教程之《Python机器学习—预测分析核心算法》免费下载