机器学习模型重要特征值可视化相关知识

TensorFlow 2018-06-01 10:09 次阅读

AIA (AI Adventures)系列现在已经进入第五期了。前三期分享当中,Yufeng 介绍了机器学习的核心概念、基本逻辑,也介绍了要进行机器学习需要经过哪些步骤,并根据这些基本知识尝试使用线性评估器 API 打造了鸢尾花分类模型。今天的分享中,他会与我们分享一个非常有力的工具:TensorBoard,让你能“看穿”模型,监测训练过程。

为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow 团队发布了一套名为 TensorBoard 的可视化工具。开发者们可以用 TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据(如其中传递的图像),请看 Yufeng 为大家带来的分享:

当你能「看清」问题所在时,调试起来是最简单的。但是当大量的训练数据如潮水般涌入复杂模型的时候,调试的过程往往会变得无比复杂。不过别怕,幸亏有 TensorBoard,一切变得简单起来。

机器学习可不像传统的编程,它往往变幻莫测。模型间的细小差别以及数据的质量、参数微调中的小小改变都可能对最终成功与否造成巨大的影响。

用 TensorBoard 发现问题所在

只有当我们纵览模型整体结构,并跟踪某些特征数据在整个训练过程当中的变化时,才能有效调校模型并调试所「看到」的问题。

这一抽象的流程往往难以通过可视化的方式呈现,不过现在 TensorFlow 内置了解决方案将会带来改变。

现在一起来看看内置于 TensorFlow 的可视化方案 — TensorBoard,一个让你更能把控大量操作的工具。不论是观察模型整体结构还是监视整个模型训练过程。

TensorFlow 在内部使用了计算机图形理论的思想。

也就是说,为了取缔传统意义上两数相加的思维,TensorFlow 构造了新的加法运算,并将之作为参数传入,随后数值将会被这一运算加在一起。

所以我们回头思考 TensorFlow 训练过程,其实就是将所有操作当成图的一部分来执行的过程。TensorBoard 可以将这些模型可视化,所以你能看到模型抽象出来是什么样子,更让你得以检查是否所有部分都按要求组合在了一起。

下面来个更复杂点的例子,同样是用 TensorFlow 将模型可视化的例子。注意看上图,TensorFlow 让我们可以缩放、扫视、展开模型的各个元素以得到更多细节。这就是说,我们可以从不同的抽象层次观察模型,从而降低了视觉复杂度。

并且,TensorBoard 除了向我们展示模型的结构,还会将各项特征值的变化很好布局在图上。我们会将精确度、失真、跨熵等拿来布局观测,且另一方面,依赖于模型的众多特征值往往都非常重要。至于 TensorFlow 的预置发射器,它们自带了一套预设值用于在 TensorBoard 中使用。这一特性为后续使用做好了铺垫。

TensorBoard 除了上述功能,还能展示包括条形图、分布图以及诸如声音、图像、文字等与模型共生的数据等等大量的信息。不过关于那部分的详细介绍要等到后面的视频。

回归正题,我们来看看之前一直使用的线性模型在 TensorBoard 当中的表现。首先需要启动 TensorBoard 并将之指向目标模型层次结构及重要中间文件所在的目录:

tensorboard --logdir=」/tmp/iris_model/」

此项操作会启动一个侦听 6006 端口的本地服务器。

6006 看起来是不是非常像「GOOG」呢?

我们可以看到一些线性 classifier 默认提供的标量特征值。稍后可以通过缩放和展开来研究这些图像。

双击能够回退到更高的缩放级别。可见,我们的模型训练随着时间推移正以逐渐降低的失真井然有序进行。并且我们能清晰看到模型训练尚未完成,原因是当前的失真下降率仍然较高。它提示我们,也许应当再多训练一会儿,进而从训练过程中获得更多收益。

接下来看看 Graph 小分页。注意看,此时图还是非常简单的。

我们能通过点击小块儿上面的加号展开查看更详细的内容。比如,我现在展开了「linear」这个模块,可以看到它由不少子模块组成。我们可以通过滚轮来缩放视野,也可以通过点按拖拽来查看其他部分。

注意我们给特征列的名字,比如此处的 flower_features 在图中以模块形式呈现。

这种方式将有助于调试并了解上面展示的图中各部分是怎样联结起来的。大多数 TensorFlow 的操作是可以命名的,所以这是一个将模型阐述清楚和观察当前训练进展的好机会。

今天,我们学到了简单有趣的机器学习模型重要特征值可视化相关知识。TensorBoard 将让你轻松体验到这种乐趣,并且最妙之处是它已经完全内置在 TensorFlow 当中了。

记住下一次你想要把机器学习过程可视化时,TensorBoard 是你的不二选择。

原文标题:AIA 系列 | 通过 TensorBoard 将模型可视化

文章出处:【微信号:tensorflowers,微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

从奥巴马到特朗普,看美国政府如何拥抱AI与机器学习

从奥巴马到特朗普,美国一直重视在政府层面上对AI和机器学习技术的利用和开发。比如预测高中学生辍学率、....

的头像 人工智能 发表于 08-21 16:24 93次 阅读
从奥巴马到特朗普,看美国政府如何拥抱AI与机器学习

强化学习和监督式学习, 非监督式学习的区别

而这时,强化学习会在没有任何标签的情况下,通过先尝试做出一些行为得到一个结果,通过这个结果是对还是错....

的头像 电子发烧友网工程师 发表于 08-21 09:18 88次 阅读
强化学习和监督式学习, 非监督式学习的区别

AI的未来是什么?谷歌如何利用AI拯救生命?

当前,医院里的医生和护士为了照顾病人,不得不每天奔走。但是 AI 技术和机器是不需要睡觉的。此外,我....

的头像 新智元 发表于 08-21 09:07 230次 阅读
AI的未来是什么?谷歌如何利用AI拯救生命?

“预测”是美国政府应用机器学习的重要途径

在过去两年中,各级机构越来越多地寻求利用机器学习,由橡树岭国家实验室的研究人员开发的机器学习技术已被....

的头像 新智元 发表于 08-21 09:01 137次 阅读
“预测”是美国政府应用机器学习的重要途径

如何搞定做机器学习研究需要的数学?

有人说,概率论线性代数要预先精通;有人说,微积分要懂一点;也有人说,没必要特地去补;甚至有人专门写了....

的头像 中国人工智能学会 发表于 08-20 14:24 200次 阅读
如何搞定做机器学习研究需要的数学?

【连载】深度学习笔记5:正则化与dropout

      在笔记 4 中,详细阐述了机器学习中利用正则化防止过拟合的基本方法,对 L1 和 L2 ....

的头像 人工智能实训营 发表于 08-20 12:47 227次 阅读
【连载】深度学习笔记5:正则化与dropout

【连载】深度学习笔记7:Tensorflow入门

从前面的学习笔记中,和大家一起使用了 numpy 一步一步从感知机开始到两层网络以及最后实现了深度神....

的头像 人工智能实训营 发表于 08-20 12:47 194次 阅读
【连载】深度学习笔记7:Tensorflow入门

基于Featuretools Python库来实现特征工程自动化的实例

特征构造是一个非常耗时的过程,因为每个新特征都需要经过几个步骤去构造,特别是那些需要用到多张表信息的....

的头像 电子发烧友网工程师 发表于 08-20 09:16 494次 阅读
基于Featuretools Python库来实现特征工程自动化的实例

陆奇“入驻” YC,开启新征程,TensorFlow 2.0 即将发布,所有 tf.contrib 将被弃用

据美国财经网站 CNBC 报道,中国电动汽车制造商蔚来汽车(Nio)向美国证券交易委员会(SEC)提....

的头像 电子发烧友网工程师 发表于 08-19 09:44 1041次 阅读
陆奇“入驻” YC,开启新征程,TensorFlow 2.0 即将发布,所有 tf.contrib 将被弃用

如何使用TensorFlow.js构建这一系统

TensorFlow.js团队一直在进行有趣的基于浏览器的实验,以使人们熟悉机器学习的概念,并鼓励他....

的头像 新智元 发表于 08-19 08:55 288次 阅读
如何使用TensorFlow.js构建这一系统

人工智能时代 教育领域将有何改变?

研究人员发现,单一层次可以做一些类似于计算、算法等较为基础的事情;当模型里的层次不断加深时,计算的效....

发表于 08-19 08:53 153次 阅读
人工智能时代 教育领域将有何改变?

又一位AI科学家进军华尔街!

Shaw 于1980 年在美国斯坦福大学获得了博士学位, 30 岁不到就成为哥伦比亚大学计算机科学系....

的头像 新智元 发表于 08-19 08:50 577次 阅读
又一位AI科学家进军华尔街!

一张“迷你地图”,教你如何进击机器学习!

由图可见,想要进击机器学习,成为机器学习方面的专家,那么你需要从入门、深度学习、数据科学、R语言、P....

的头像 新智元 发表于 08-19 08:34 379次 阅读
一张“迷你地图”,教你如何进击机器学习!

从数据、算力、算法、教学总结机器学习的民主化

Siraj Raval从数据、算力、算法、教学四个方面总结了近年来机器学习是如何民主化的

的头像 论智 发表于 08-18 11:35 317次 阅读
从数据、算力、算法、教学总结机器学习的民主化

软件巨头Salesforce带来AutoML杀手TransmogrifAI

如果说去年“机器换人”的舆论来自车间的机器人手,那今年在全球范围内挥舞起“自动化”大棒的,就成了机器....

的头像 论智 发表于 08-18 11:32 762次 阅读
软件巨头Salesforce带来AutoML杀手TransmogrifAI

机器学习数据驱动中如何对小裂纹扩展的方向和速度进行识别

小裂纹的扩展是导致结构部件进入疲劳期的主要因素。尽管人们对此有很大的兴趣,但就裂缝扩展的方向和速度而....

的头像 知社学术圈 发表于 08-18 10:31 226次 阅读
机器学习数据驱动中如何对小裂纹扩展的方向和速度进行识别

机器学习中如何实现数据转换?数据转化的方法实践详细概述

通常情况下是为了消除量纲的影响。譬如一个百分制的变量与一个5分值的变量在一起怎么比较?只有通过数据标....

的头像 人工智能爱好者社区 发表于 08-18 09:36 239次 阅读
机器学习中如何实现数据转换?数据转化的方法实践详细概述

机器会意识有吗?如何能让人工智能机器拥有意识?

意识,没有一个客观的科学定义,难以观测认定,但它是每个人都能主观感受到的真实。当你看到嫣红的桃花轻摇....

的头像 人工智能学家 发表于 08-18 09:24 391次 阅读
机器会意识有吗?如何能让人工智能机器拥有意识?

ARM史上第一次公开发布了一份CPU规划路线图

ARM首次公布了一份5/7nm CPU规划路线图。ARM称计算性能每一代都可以提升超过15%,并表示....

的头像 电子发烧友网工程师 发表于 08-18 08:42 245次 阅读
ARM史上第一次公开发布了一份CPU规划路线图

中国2018 Google开发者大会今天起开放报名

报告显示,今年第一度,全球智能音箱出货量预估达到920万台。其中,亚马逊稳居第一,出货量预计400万....

的头像 科技美学 发表于 08-17 17:23 1900次 阅读
中国2018 Google开发者大会今天起开放报名

如何将自定义图片输入到TensorFlow的训练模型

对于上述代码中与模型构建相关的代码,请查阅官方《Deep MNIST for Experts》一节的....

的头像 Imagination Tech 发表于 08-17 15:57 190次 阅读
如何将自定义图片输入到TensorFlow的训练模型

GDPR对AI的挑战和基于联邦迁移学习的对策

7月28-29日,由中国人工智能学会和深圳市罗湖区人民政府共同主办,马上科普承办的“2018 中国人....

的头像 中国人工智能学会 发表于 08-17 14:48 380次 阅读
GDPR对AI的挑战和基于联邦迁移学习的对策

Arm首次公布CPU路线图:每年提升15% 超越低压版i5

Arm此前刚刚在6月初发布了新一代高性能CPU核心Cortex-A76,可搭配10nm、7nm工艺,....

的头像 章鹰 发表于 08-17 10:38 1207次 阅读
Arm首次公布CPU路线图:每年提升15% 超越低压版i5

谷歌大牛强推的Distill进展如何?颠覆arXiv等传统论文平台?

Distill 最近的几篇文章实践了这一想法。它们不仅把重要的概念通过交互式结果表现出来,还提供了 ....

的头像 电子发烧友网工程师 发表于 08-17 09:52 200次 阅读
谷歌大牛强推的Distill进展如何?颠覆arXiv等传统论文平台?

消费推动AI,数据共享很重要

目前的人工智能极其依赖于数据的质量,而在如今十分注重隐私的时代,这就变成了一个敏感的话题,有87%的....

的头像 将门创投 发表于 08-17 09:37 321次 阅读
消费推动AI,数据共享很重要

Python是机器学习的主流语言,你真的掌握了Python吗?

给定一个包含多个元素的list,让你查找其中出现次数最多的元素,你会怎么做?在下图中,我们介绍了两种....

的头像 论智 发表于 08-17 09:21 131次 阅读
Python是机器学习的主流语言,你真的掌握了Python吗?

Python是机器学习的主流语言,你真的掌握了Python吗?

给定一个包含多个元素的list,让你查找其中出现次数最多的元素,你会怎么做?在下图中,我们介绍了两种....

的头像 论智 发表于 08-17 09:21 225次 阅读
Python是机器学习的主流语言,你真的掌握了Python吗?

如何使用TensorFlow实现人工智能?

电信营业厅APP作为中国电信在线服务的入口级应用,我们的开发团队通过TensorFlow与人工智能A....

的头像 TensorFlow 发表于 08-17 08:43 1121次 阅读
如何使用TensorFlow实现人工智能?

美国研究人员新近开发出一种人工智能模型,能够为胶质母细胞瘤患者设计出最小剂量给药方案

长期以来,研究人员一直希望能够找到一种方法帮助确定是否患者会对新型的检查点抑制剂免疫疗法产生反应,以....

的头像 人工智能学家 发表于 08-16 18:21 482次 阅读
 美国研究人员新近开发出一种人工智能模型,能够为胶质母细胞瘤患者设计出最小剂量给药方案

一种简单的,循序的方式讲解神经网络

一个神经元通常具有多个树突,主要用来接受传入信息;而轴突只有一条,轴突尾端有许多轴突末梢可以给其他多....

的头像 人工智能学家 发表于 08-16 18:17 538次 阅读
一种简单的,循序的方式讲解神经网络

AWS战略布局机器学习和人工智能,加快其平台化步伐

自2006年业务上线,12年来AWS一骑绝尘,甩开微软和谷歌,在IaaS(Infrastructur....

的头像 人工智能 发表于 08-16 17:55 759次 阅读
AWS战略布局机器学习和人工智能,加快其平台化步伐

科大讯飞上半年营收增五成 下半年才是公司收入的重头

事实上,Lazada客服机器人研发的背后,阿里巴巴客户体验事业群对Lazada在智能服务领域提供了多....

的头像 高工智能未来 发表于 08-16 16:27 446次 阅读
科大讯飞上半年营收增五成 下半年才是公司收入的重头

从三个角度浅析人工智能的最新发展趋势

1956年的达特茅斯会议首次提出人工智能的定义:使一部机器的反应方式像一个人在行动时所依据的智能。

的头像 传感器与物联网 发表于 08-16 14:48 259次 阅读
从三个角度浅析人工智能的最新发展趋势

台积电7nm制程八核CPU,GPU核心数量翻倍

此次麒麟980在GPU上提升尤其明显,上一代的麒麟970使用的是Mali-G72 12核GPU,此次....

的头像 新智元 发表于 08-16 09:48 330次 阅读
台积电7nm制程八核CPU,GPU核心数量翻倍

TensorFlow2.0的预览版预计将于今年下半年发布

开发团队将不打算对SavedModels或存储的GraphDef进行重大更改(即,预计在2.0中包含....

的头像 新智元 发表于 08-16 09:45 153次 阅读
TensorFlow2.0的预览版预计将于今年下半年发布

机器人在帮助泛自闭症障碍儿童方面的效果

LuxAI公司的联合创始人Aida Nazarikhorram说:“当你和一个人交流时,有很多的社交....

的头像 IEEE电气电子工程师学会 发表于 08-16 08:49 260次 阅读
机器人在帮助泛自闭症障碍儿童方面的效果

美国五角大楼人工智能中心大揭秘

新成立的国防创新委员会首次提出了一系列建议(该委员会是美国国防部高级领导的顾问机构,成员包括来自私营....

的头像 人工智能学家 发表于 08-15 16:30 416次 阅读
美国五角大楼人工智能中心大揭秘

如何解决AI应用歧视特定人群的问题?

当使用谷歌翻译将西班牙语的新闻翻译为英语时,涉及到女性的短语通常都会翻译为“他说”或“他写道”。

的头像 人工智能学家 发表于 08-15 15:53 298次 阅读
如何解决AI应用歧视特定人群的问题?

数据科学项目失败9个最常见的原因

本文总结了数据科学项目失败的最常见原因,希望能够帮助你避免陷阱。

的头像 AI人工智能D1net 发表于 08-15 15:48 413次 阅读
数据科学项目失败9个最常见的原因

一项名为“AutoGraph”的TensorFlow新功能

能够轻松向图添加循环和控制流等,这意味着可以轻松将训练循环转移到图中。您可以在此笔记本中找到相关示例....

的头像 TensorFlow 发表于 08-15 11:07 274次 阅读
一项名为“AutoGraph”的TensorFlow新功能

TensorFlow的2.0 版本将来临

TensorFlow 的 contrib 模块已经超越了单个存储库中可以维护和支持的模块。较大的项目....

的头像 电子发烧友网工程师 发表于 08-15 09:01 254次 阅读
TensorFlow的2.0 版本将来临

Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员,他不应该....

的头像 论智 发表于 08-15 08:47 330次 阅读
Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

十种未来AI人工智能技术大盘点

AI人工智能说(或写)出正确的单词并且是连贯的顺序来传达一个明确且清晰的意思,而且还能很容易被听众(....

的头像 机器人博览 发表于 08-14 17:04 670次 阅读
十种未来AI人工智能技术大盘点

【连载】深度学习笔记4:深度神经网络的正则化

今天要写的是关于机器学习和深度学习中的一项关键技术:正则化。相信在机器学习领域摸爬滚打多年的你一定知....

的头像 人工智能实训营 发表于 08-14 11:58 412次 阅读
【连载】深度学习笔记4:深度神经网络的正则化

机器学习能通过类似「指纹辨识」的方式识别出代码的编写者

这方法可以用来辨识黑客和意图瓢窃资料的人,但也有可能对隐私造成威胁。 虽然每位程序员都拥有自己独特的风格,但光通过观察...

发表于 08-14 09:48 162次 阅读
机器学习能通过类似「指纹辨识」的方式识别出代码的编写者

Julia真有这么神?你做好学习一门新编程语言的准备了吗?

我们想要一种拥有自由许可的开源语言。我们想要它拥有 C 的速度与 Ruby 的灵活。它要容易理解,像....

的头像 新智元 发表于 08-13 09:53 1571次 阅读
Julia真有这么神?你做好学习一门新编程语言的准备了吗?

这些年来,我们的数据科学究竟发生了什么变化?

那么logistic回归受欢迎的原因是什么?一个迹象表明,Kaggle上的分类问题远多于回归问题,其....

的头像 论智 发表于 08-13 09:07 387次 阅读
这些年来,我们的数据科学究竟发生了什么变化?

如何用TensorFlow设计一套系统,让亚马逊的语音助理Echo能“看懂”手语的

Teachable Machine:它所用到的是kNN(k-Nearest-Neighbours),....

的头像 论智 发表于 08-13 09:01 866次 阅读
如何用TensorFlow设计一套系统,让亚马逊的语音助理Echo能“看懂”手语的

用AI进行制药可减少一半的成本,“救命药”是否人人都能吃得起?

那个时候的中国市场,不仅对AI+制药领域认知布满了重重疑云,公众甚至对AI都没有太多的概念。直到半年....

发表于 08-12 11:08 621次 阅读
用AI进行制药可减少一半的成本,“救命药”是否人人都能吃得起?

经典的机器学习算法汇总

本文将用一句话来总结每种典型的机器学习算法,帮你抓住问题的本质,强化理解和记忆。

的头像 智车科技 发表于 08-11 10:24 457次 阅读
经典的机器学习算法汇总

如何规划出完美的机器学习入门路径?| AI知识科普

书山有路勤为径,在学习进修的道路上,正确的路径比埋头勤奋要重要的多。 最近两年AI在线学习和教育呈喷涌式发展,机器学...

发表于 07-27 12:54 270次 阅读
如何规划出完美的机器学习入门路径?| AI知识科普

学习Python大数据与机器学习必会Matplotlib知识

在python的培训学习中,我们会用python进行数据分析的学习与应用,并且在这一部分进行绘图是必不可少的,所以为了看一下大家的实...

发表于 07-05 17:57 464次 阅读
学习Python大数据与机器学习必会Matplotlib知识

不可错过 | 集成学习入门精讲

越来越多的小伙伴开始对AI基础知识感兴趣,为了让小伙伴们更好地了解和学习,讯飞开放平台就人工智能核心领域之一——集成学...

发表于 06-06 10:11 450次 阅读
不可错过 | 集成学习入门精讲

AI知识科普 | 从无人相信到万人追捧的神经网络

天才就是当世上所有人都觉得他疯了的时候,他依然清晰地知道自己不是真的疯了,而是比旁人看的更长远。 ——致敬为科学一...

发表于 06-05 10:11 423次 阅读
AI知识科普 | 从无人相信到万人追捧的神经网络

机器学习、深度学习、卷积神经网络...人工智能时代的曙光

移动时代给我们带来了巨大的社会效益——从实现人与人以及人与社区之间的广泛联接到可以随时随地了解更丰富的信息,但是同样会产...

发表于 05-22 09:54 1669次 阅读
机器学习、深度学习、卷积神经网络...人工智能时代的曙光

关于机器学习模块KNN算法错误91的问题?

在运行时候出现这个错误是为什么??有相关的例子可以参考下吗? ...

发表于 04-02 15:08 607次 阅读
关于机器学习模块KNN算法错误91的问题?

MNIST机器学习入门

个教程的目标读者是对机器学习和TensorFlow都不太了解的新手。如果你已经了解MNIST和softmax回归(softmax regression)的相...

发表于 03-30 20:05 375次 阅读
MNIST机器学习入门

使用 TensorFlow, 你必须明白 TensorFlow

基本使用使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (co...

发表于 03-30 20:03 415次 阅读
使用 TensorFlow, 你必须明白 TensorFlow

可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow.

二进制安装TensorFlow Python API 依赖 Python 2.7 版本.在 Linux 和 Mac 下最简单的安装方式, 是使用 pip 安装.如果在...

发表于 03-30 20:01 444次 阅读
可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow.