机器学习模型重要特征值可视化相关知识

TensorFlow 2018-06-01 10:09 次阅读

AIA (AI Adventures)系列现在已经进入第五期了。前三期分享当中,Yufeng 介绍了机器学习的核心概念、基本逻辑,也介绍了要进行机器学习需要经过哪些步骤,并根据这些基本知识尝试使用线性评估器 API 打造了鸢尾花分类模型。今天的分享中,他会与我们分享一个非常有力的工具:TensorBoard,让你能“看穿”模型,监测训练过程。

为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow 团队发布了一套名为 TensorBoard 的可视化工具。开发者们可以用 TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据(如其中传递的图像),请看 Yufeng 为大家带来的分享:

当你能「看清」问题所在时,调试起来是最简单的。但是当大量的训练数据如潮水般涌入复杂模型的时候,调试的过程往往会变得无比复杂。不过别怕,幸亏有 TensorBoard,一切变得简单起来。

机器学习可不像传统的编程,它往往变幻莫测。模型间的细小差别以及数据的质量、参数微调中的小小改变都可能对最终成功与否造成巨大的影响。

用 TensorBoard 发现问题所在

只有当我们纵览模型整体结构,并跟踪某些特征数据在整个训练过程当中的变化时,才能有效调校模型并调试所「看到」的问题。

这一抽象的流程往往难以通过可视化的方式呈现,不过现在 TensorFlow 内置了解决方案将会带来改变。

现在一起来看看内置于 TensorFlow 的可视化方案 — TensorBoard,一个让你更能把控大量操作的工具。不论是观察模型整体结构还是监视整个模型训练过程。

TensorFlow 在内部使用了计算机图形理论的思想。

也就是说,为了取缔传统意义上两数相加的思维,TensorFlow 构造了新的加法运算,并将之作为参数传入,随后数值将会被这一运算加在一起。

所以我们回头思考 TensorFlow 训练过程,其实就是将所有操作当成图的一部分来执行的过程。TensorBoard 可以将这些模型可视化,所以你能看到模型抽象出来是什么样子,更让你得以检查是否所有部分都按要求组合在了一起。

下面来个更复杂点的例子,同样是用 TensorFlow 将模型可视化的例子。注意看上图,TensorFlow 让我们可以缩放、扫视、展开模型的各个元素以得到更多细节。这就是说,我们可以从不同的抽象层次观察模型,从而降低了视觉复杂度。

并且,TensorBoard 除了向我们展示模型的结构,还会将各项特征值的变化很好布局在图上。我们会将精确度、失真、跨熵等拿来布局观测,且另一方面,依赖于模型的众多特征值往往都非常重要。至于 TensorFlow 的预置发射器,它们自带了一套预设值用于在 TensorBoard 中使用。这一特性为后续使用做好了铺垫。

TensorBoard 除了上述功能,还能展示包括条形图、分布图以及诸如声音、图像、文字等与模型共生的数据等等大量的信息。不过关于那部分的详细介绍要等到后面的视频。

回归正题,我们来看看之前一直使用的线性模型在 TensorBoard 当中的表现。首先需要启动 TensorBoard 并将之指向目标模型层次结构及重要中间文件所在的目录:

tensorboard --logdir=」/tmp/iris_model/」

此项操作会启动一个侦听 6006 端口的本地服务器。

6006 看起来是不是非常像「GOOG」呢?

我们可以看到一些线性 classifier 默认提供的标量特征值。稍后可以通过缩放和展开来研究这些图像。

双击能够回退到更高的缩放级别。可见,我们的模型训练随着时间推移正以逐渐降低的失真井然有序进行。并且我们能清晰看到模型训练尚未完成,原因是当前的失真下降率仍然较高。它提示我们,也许应当再多训练一会儿,进而从训练过程中获得更多收益。

接下来看看 Graph 小分页。注意看,此时图还是非常简单的。

我们能通过点击小块儿上面的加号展开查看更详细的内容。比如,我现在展开了「linear」这个模块,可以看到它由不少子模块组成。我们可以通过滚轮来缩放视野,也可以通过点按拖拽来查看其他部分。

注意我们给特征列的名字,比如此处的 flower_features 在图中以模块形式呈现。

这种方式将有助于调试并了解上面展示的图中各部分是怎样联结起来的。大多数 TensorFlow 的操作是可以命名的,所以这是一个将模型阐述清楚和观察当前训练进展的好机会。

今天,我们学到了简单有趣的机器学习模型重要特征值可视化相关知识。TensorBoard 将让你轻松体验到这种乐趣,并且最妙之处是它已经完全内置在 TensorFlow 当中了。

记住下一次你想要把机器学习过程可视化时,TensorBoard 是你的不二选择。

原文标题:AIA 系列 | 通过 TensorBoard 将模型可视化

文章出处:【微信号:tensorflowers,微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

如何将数据驱动下的机器学习应用于算法交易

如果你对银行与金融领域的 AI 应用有兴趣的话,你肯定了解 JPM(摩根大通)最近十年对大数据和人工....

的头像 人工智能学家 发表于 12-10 14:24 14次 阅读
如何将数据驱动下的机器学习应用于算法交易

开发集和测试集应该有多大?

开发集的规模应该尽可能的大,至少要能够区分出你所尝试的不同算法之间的性能差异。例如,如果分类器 A 的准确率为 90.0% ,而分...

发表于 12-10 10:23 67次 阅读
开发集和测试集应该有多大?

21世纪机场安全物联网预测分析

9/11袭击是最著名的安全威胁之一,它改变了我们出行的方式。为了保护乘客和机组人员,机场已经将寻找危....

的头像 物联之家网 发表于 12-10 10:21 89次 阅读
21世纪机场安全物联网预测分析

开发集和测试集应该服从同一分布

根据公司的核心市场分布情况,你将猫咪app的图像数据划分为“美国”、“中国”、“印度”和“其它地区”四个区域。在设立开发集和...

发表于 12-10 10:15 65次 阅读
开发集和测试集应该服从同一分布

精选10本机器学习畅销书,玩转机器学习

人工智能和大数据时代,分布式机器学习解决了大量最具挑战性的问题,《分布式机器学习:算法、理论与实践》....

的头像 新智元 发表于 12-10 09:36 87次 阅读
精选10本机器学习畅销书,玩转机器学习

中美本科AI,区别和差距有多大?

学院目前设置“机器学习与数据挖掘”、“智能系统与应用”这两个专业方向,目标是培养具有坚实的数学基础和....

的头像 新智元 发表于 12-10 09:05 141次 阅读
中美本科AI,区别和差距有多大?

2019将这10项人工智能技术值得关注

自然语言生成是一个AI子学科,它将数据转换为文本,使计算机能够以完美的准确度交流思想。

的头像 人间烟火123 发表于 12-09 11:34 500次 阅读
2019将这10项人工智能技术值得关注

近两年人工智能和机器学习领域的部分收购案大盘点

随着全球科技巨头纷纷加入对顶尖人工智能人才和技术的争夺战,该市场正在蓬勃发展。据统计,仅在2018年....

发表于 12-09 11:18 196次 阅读
近两年人工智能和机器学习领域的部分收购案大盘点

中国AI人才流失事出有因 5大名校62%毕业生选择赴美

据AI初创公司Diffbot近日数据显示,在中国产出机器学习人才最多的四所一流高校中,62%的学生毕....

的头像 全球技术地图 发表于 12-09 11:02 580次 阅读
中国AI人才流失事出有因 5大名校62%毕业生选择赴美

机器学习教程之机器学习概念的深度解析

机器学习这个词是让人疑惑的,首先它是英文名称Machine Learning(简称ML)的直译,在计....

的头像 人工智能爱好者社区 发表于 12-08 11:51 409次 阅读
机器学习教程之机器学习概念的深度解析

PolarFire SoC的硬件CPU子系统和可编程逻辑相结合实现的尺寸、功耗和性能优势

Microchip可编程解决方案业务部副总裁Bruce Weyer表示:“PolarFire SoC....

的头像 电子发烧友网工程师 发表于 12-08 10:43 372次 阅读
PolarFire SoC的硬件CPU子系统和可编程逻辑相结合实现的尺寸、功耗和性能优势

人工智能明年的五个重要发展方向的预测概述

今年,人工智能这个话题依旧火热,尤其是机器学习和深度学习,并且在接下来的一年我们相信这种关注度依旧不....

的头像 高工智能未来 发表于 12-08 10:34 455次 阅读
人工智能明年的五个重要发展方向的预测概述

谷歌AI发布新成果TF-Ranking:基于TensorFlow的可扩展库

多项目评分的一个挑战是很难推断哪些项目必须分组并在子组中评分。然后,每个项目的分数被累积起来,用于排....

的头像 新智元 发表于 12-08 09:28 258次 阅读
谷歌AI发布新成果TF-Ranking:基于TensorFlow的可扩展库

谷歌公司最重要的两位程序员不为人知的友情故事

在Sanjay的显示器上,出现了由1和0组成的长列,每一行代表一个索引词。Sanjay指出:一个本该....

的头像 新智元 发表于 12-08 09:20 958次 阅读
谷歌公司最重要的两位程序员不为人知的友情故事

机器学习的本质

机器学习方法本质上是人类认知方式的新世界,是人类的未来。工业革命解放了人类的体力,以机器学习技术逐步....

的头像 发烧友学院 发表于 12-07 16:50 378次 阅读
机器学习的本质

用于自步学习的无监督属性选择算法资料介绍

针对现有属性选择算法平等地对待每个样本而忽略样本之间的差异性,从而使学习模型无法避免噪声样本影响问题....

发表于 12-07 13:40 24次 阅读
用于自步学习的无监督属性选择算法资料介绍

使用引力模型的多标签分类算法的资料概述

针对多标签分类算法不能充分利用标签相关性的问题,通过建立标签的正、负相关性矩阵来挖掘标签间不同的相关....

发表于 12-07 11:53 22次 阅读
使用引力模型的多标签分类算法的资料概述

TensorFlow Extended如何帮助开发者快速落地项目

TensorFlow Extended 可以分为四个部分。我们知道在机器学习中,有人工智能、机器学习....

的头像 TensorFlow 发表于 12-07 11:05 297次 阅读
TensorFlow Extended如何帮助开发者快速落地项目

微软宣布将多平台通用ONNX机器学习引擎开源

过去20多年来,微软一直在进行人工智能研究,并将机器学习和深度神经网络整合到旗下众多产品和服务中。由....

的头像 新智元 发表于 12-07 09:01 425次 阅读
微软宣布将多平台通用ONNX机器学习引擎开源

长篇累牍的推荐语和言简意赅的关键词,你更愿意看哪个?

当我们着眼于用户,就发现解释不仅要帮助我们提高对模型的理解,它本身的可读性也很关键。如果解释过于复杂....

的头像 新智元 发表于 12-07 08:54 324次 阅读
长篇累牍的推荐语和言简意赅的关键词,你更愿意看哪个?

新型SoC FPGA架构扩展其Mi-V生态系统

PolarFire SoC提供大量调试功能,包括指令跟踪、50个断点指令、可配置的被动运行时高级可扩....

的头像 Microchip微芯 发表于 12-06 15:41 341次 阅读
新型SoC FPGA架构扩展其Mi-V生态系统

TensorFlow在机器学习和模拟偏微分方程中的应用

TensorFlow 不仅仅可以用于机器学习。在此教程中,我们所举的例子(较为寻常)是使用 Tens....

的头像 TensorFlow 发表于 12-06 14:07 190次 阅读
TensorFlow在机器学习和模拟偏微分方程中的应用

机器学习与数据挖掘教程之《实用的机器学习工具和技术》免费下载

技术现在允许我们捕获和存储大量的数据。在这些数据中发现模式、趋势和异常,并用简单的定量模型总结它们,....

发表于 12-06 09:56 19次 阅读
机器学习与数据挖掘教程之《实用的机器学习工具和技术》免费下载

Google, 亚马逊,微软,Facebook, 谁家的免费AI课程最好、最实用?

Udacity课程由Google首席科学家Vincent Vanhoucke与谷歌大脑(Google....

的头像 新智元 发表于 12-06 09:40 285次 阅读
Google, 亚马逊,微软,Facebook, 谁家的免费AI课程最好、最实用?

如何通过机器学习来进行数据建模

根据算法进行特征选择所用的搜索策略,可以把特征选择算法分为采用全局最优搜索策略、随机搜索策略和启发式....

的头像 电子发烧友网工程师 发表于 12-06 09:20 377次 阅读
如何通过机器学习来进行数据建模

如何使用Julia重新思考ML工具,并对现代ML工具需要做的工作提供一些见解

在典型的框架中,所有的内容需要用几十万行的C++代码来堆砌,而Flux仅仅是几千行简单的Julia代....

的头像 新智元 发表于 12-06 09:17 175次 阅读
如何使用Julia重新思考ML工具,并对现代ML工具需要做的工作提供一些见解

机器学习有什么用

机器学习算法可帮助公司企业更快速检测恶意活动,并在攻击开始前就予以阻止。英国初创公司Darktrac....

的头像 发烧友学院 发表于 12-05 16:45 412次 阅读
机器学习有什么用

AWS发布了十多个机器学习AI新品

近日,亚马逊云计算服务公司(AWS)在美国拉斯维加斯召开的 re:Invent大会上,发布了十多个重....

的头像 机器人技术与应用 发表于 12-05 15:53 419次 阅读
AWS发布了十多个机器学习AI新品

视频分析以及数据处理能力技术的提升正在重塑这一市场

测速设备现在能提供比以往更多的功能,诸如车辆人员安全带检测、摩托车驾驶人员头盔检测等,它们通过机器学....

的头像 安全自动化 发表于 12-05 15:30 439次 阅读
视频分析以及数据处理能力技术的提升正在重塑这一市场

工业4.0技术将成为供应链最新模式

新兴的工业4.0技术的大部分并不是特别新的技术,多年来世界上最大制造商已经采用这些技术,但由于成本太....

的头像 电机控制设计加油站 发表于 12-05 10:57 406次 阅读
工业4.0技术将成为供应链最新模式

机器人技术和机器学习正成为嵌入式系统的下一大趋势

嵌入式系统可以通过网络连接和物联网(IoT)来传递信息、共享资源。无论是智能,低能耗,边缘设备,中间....

发表于 12-05 10:29 82次 阅读
机器人技术和机器学习正成为嵌入式系统的下一大趋势

想掌握机器学习技术?从了解特征工程开始

本文作者:格创东智科技有限公司 OT团队人工智能是过去两到三年时间内科技行业最热的话题。而人工智能技....

的头像 格创东智 发表于 12-05 09:36 184次 阅读
想掌握机器学习技术?从了解特征工程开始

如何从头开始进行数据科学项目

一旦开始获取数据,非常重要的一点是及早查看数据,以便尽早找出可能存在的问题。例如,爬取程序可能漏掉了....

的头像 论智 发表于 12-05 08:51 374次 阅读
如何从头开始进行数据科学项目

Mobileye防撞技术解决方案,推动智慧交通和智慧城市建设

近年来,城市公共交通安全事故频发,成为公众关注的焦点。公共交通安全关系到整个城市居民的生命安全,其重....

的头像 知IN 发表于 12-04 16:40 389次 阅读
Mobileye防撞技术解决方案,推动智慧交通和智慧城市建设

探讨机器学习在物联网中的挑战和机遇

据研究报告到2020年,将有超过200亿台互联网连接设备投入使用,这些设备每年将产生超过500个ze....

的头像 Imagination Tech 发表于 12-04 14:07 288次 阅读
探讨机器学习在物联网中的挑战和机遇

一种新型的机器学习算法刚刚攻克了一些对人工智能来说非常困难的电子游戏

但 Uber 的研究人员认为,这种方法忽略了人类探索好奇心的一个重要角度。“我们认为目前的”内在动机....

的头像 IEEE电气电子工程师学会 发表于 12-04 10:14 381次 阅读
一种新型的机器学习算法刚刚攻克了一些对人工智能来说非常困难的电子游戏

一年一度的NeurIPS又开始啦!寒冷的蒙特利尔将开启AI模式

对于机器学习来说,可视化是帮助我们理解算法和数据的有效手段。这一教程将概览目前的机器学习可视化方法,....

的头像 将门创投 发表于 12-04 09:35 356次 阅读
一年一度的NeurIPS又开始啦!寒冷的蒙特利尔将开启AI模式

从Storm到Flink:大数据处理的开源系统及编程模型

一个worker对应一个物理的JVM(Java虚拟机)。通常,整个Topology会由一个或者多个w....

的头像 电子发烧友网工程师 发表于 12-04 09:30 375次 阅读
从Storm到Flink:大数据处理的开源系统及编程模型

关于TensorFlow在GPU中的使用规则

在一套标准系统中通常有多台计算设备。TensorFlow 支持 CPU 和 GPU 这两种设备。它们....

的头像 TensorFlow 发表于 12-04 09:27 191次 阅读
关于TensorFlow在GPU中的使用规则

谁想成为Python程序员?2018年学习Python的10大理由

对于有经验的程序员,或者已经在一定程度上掌握Ruby,Java或JavaScript的人来说,学习P....

的头像 新智元 发表于 12-04 09:02 278次 阅读
谁想成为Python程序员?2018年学习Python的10大理由

这些新兴技术能在未来3~5年间,对社会和经济产生重要影响

神经电刺激设备可以通过电流脉冲治疗疾病,这种设备在医学界已经有很长的应用历史。例如,心脏起搏器、耳蜗....

的头像 人工智能学家 发表于 12-03 16:56 1062次 阅读
这些新兴技术能在未来3~5年间,对社会和经济产生重要影响

TensorFlow的30个主要功能总结

TensorFlow 是目前最流行的深度学习库,它是 Google 开源的一款人工智能学习系统。

的头像 人工智能 发表于 12-03 16:41 483次 阅读
TensorFlow的30个主要功能总结

Numpy居然有这么多陷阱?

从 Out[101] 可以看到一个陷阱,a[:, 0] 过滤完应该是一个 3 x 1 的列向量,可是....

的头像 马哥Linux运维 发表于 12-03 16:37 285次 阅读
Numpy居然有这么多陷阱?

行业快讯:机器学习大会下周举行、亚马逊人脸识别引争议、华为2018年营收将达1000亿美元

苹果今天宣布将于 12 月 2 日至 12 月 8 日在加拿大蒙特利尔参加 2018 年神经网络信息....

的头像 高工智能未来 发表于 12-03 15:51 604次 阅读
行业快讯:机器学习大会下周举行、亚马逊人脸识别引争议、华为2018年营收将达1000亿美元

11月250个机器学习开源项目中最佳机器学习开源项目Top10!

Adanet 是 TensorFlow 开源的一个轻量级 TensorFlow 框架,只需少量专家干....

的头像 电子发烧友网工程师 发表于 12-03 10:42 295次 阅读
11月250个机器学习开源项目中最佳机器学习开源项目Top10!

这款名为Seq2Seq-Vis的工具能将人工智能的翻译过程进行可视化

Seq2Seq-Vis 另一个很有用的功能是它能找出与某个字词相关的训练集,这也是解决 AI 黑盒问....

的头像 电子发烧友网工程师 发表于 12-03 10:02 257次 阅读
这款名为Seq2Seq-Vis的工具能将人工智能的翻译过程进行可视化

NIPS会议又出现了抱怨声,这届NIPS真不好办

“我认为,来自机器学习领域的代表性不足人群的研究人员应该要有机会参加这次会议,并向社会展示他们的研究....

的头像 新智元 发表于 12-03 09:34 628次 阅读
NIPS会议又出现了抱怨声,这届NIPS真不好办

总结2018年以来最重要的10篇AI研究论文

该方法适用于任何语言的任何NLP任务。来自世界各地的报告表明,该方法在德语、波兰语、北印度语、印度尼....

的头像 新智元 发表于 12-03 09:17 1280次 阅读
总结2018年以来最重要的10篇AI研究论文

探析自动驾驶的棘手难题

即使是一点小气候变化,都会给自动驾驶系统带来很大的问题。尽管在过去几年时间里,许多自动驾驶初创公司都....

的头像 高工智能汽车 发表于 12-03 09:15 346次 阅读
探析自动驾驶的棘手难题

如何用机器学习解决数据库运维难题

时序数据是AIOps的基础数据,有着规模大、种类多、需求多样的特点。在自动化运维阶段,我们所采用的大....

的头像 人间烟火123 发表于 12-02 10:43 290次 阅读
如何用机器学习解决数据库运维难题

深度学习中开发集和测试集的定义

继续分析我们之前提到的猫咪图片的案例:现在你负责运营一个移动端 app,用户会向这个app 上传许多不同内容的图片。而你希望这个...

发表于 11-30 16:58 310次 阅读
深度学习中开发集和测试集的定义

机器学习训练秘籍——吴恩达

1 机器学习为什么需要策略? 机器学习(machine learning)已然成为无数重要应用的基石——如今,在网络搜索、垃圾邮件检测、语音...

发表于 11-30 16:45 136次 阅读
机器学习训练秘籍——吴恩达

物联网中机器学习的挑战和机遇

]。

发表于 11-27 09:33 145次 阅读
物联网中机器学习的挑战和机遇

大规模特征构建实践总结

背景 一般大公司的机器学习团队,才会尝试构建大规模机器学习模型,如果去看百度、头条、阿里等分享,都有提到过这类模型。当...

发表于 11-19 09:35 329次 阅读
大规模特征构建实践总结

导入tensorflow时未找到“GLIBC_2.23”错误

嗨, 我在DevCloud中创建了一个新的conda环境,并从intel通道安装了tensorflow,如下所示: conda install -c intel tensorf...

发表于 11-14 09:59 92次 阅读
导入tensorflow时未找到“GLIBC_2.23”错误

模型优化器中张量流保存模型运行失败

嗨, 我试图为我的tensorflow保存的模型运行模型优化器,但失败了。 以下是我保存的模型。 (基数)D:\ tmp \ export \ 153...

发表于 11-12 14:13 106次 阅读
模型优化器中张量流保存模型运行失败

TensorFlow-cn_0.3_beta_zh,人工智能入门资料

TensorFlow-cn_0.3_beta_zh,人工智能入门资料,花积分在别的论坛买的 ...

发表于 11-09 11:44 176次 阅读
TensorFlow-cn_0.3_beta_zh,人工智能入门资料

人工智能机器学习程序可分析患者肺癌肿瘤影像

美国纽约大学医学院研究者报告的一种新的美国纽约大学医学院研究者报告的一种新的人工智能/机器学习程序可分析患者肺癌肿瘤影像...

发表于 11-08 06:45 344次 阅读
人工智能机器学习程序可分析患者肺癌肿瘤影像