机器学习模型重要特征值可视化相关知识

TensorFlow 2018-06-01 10:09 次阅读

AIA (AI Adventures)系列现在已经进入第五期了。前三期分享当中,Yufeng 介绍了机器学习的核心概念、基本逻辑,也介绍了要进行机器学习需要经过哪些步骤,并根据这些基本知识尝试使用线性评估器 API 打造了鸢尾花分类模型。今天的分享中,他会与我们分享一个非常有力的工具:TensorBoard,让你能“看穿”模型,监测训练过程。

为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow 团队发布了一套名为 TensorBoard 的可视化工具。开发者们可以用 TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据(如其中传递的图像),请看 Yufeng 为大家带来的分享:

当你能「看清」问题所在时,调试起来是最简单的。但是当大量的训练数据如潮水般涌入复杂模型的时候,调试的过程往往会变得无比复杂。不过别怕,幸亏有 TensorBoard,一切变得简单起来。

机器学习可不像传统的编程,它往往变幻莫测。模型间的细小差别以及数据的质量、参数微调中的小小改变都可能对最终成功与否造成巨大的影响。

用 TensorBoard 发现问题所在

只有当我们纵览模型整体结构,并跟踪某些特征数据在整个训练过程当中的变化时,才能有效调校模型并调试所「看到」的问题。

这一抽象的流程往往难以通过可视化的方式呈现,不过现在 TensorFlow 内置了解决方案将会带来改变。

现在一起来看看内置于 TensorFlow 的可视化方案 — TensorBoard,一个让你更能把控大量操作的工具。不论是观察模型整体结构还是监视整个模型训练过程。

TensorFlow 在内部使用了计算机图形理论的思想。

也就是说,为了取缔传统意义上两数相加的思维,TensorFlow 构造了新的加法运算,并将之作为参数传入,随后数值将会被这一运算加在一起。

所以我们回头思考 TensorFlow 训练过程,其实就是将所有操作当成图的一部分来执行的过程。TensorBoard 可以将这些模型可视化,所以你能看到模型抽象出来是什么样子,更让你得以检查是否所有部分都按要求组合在了一起。

下面来个更复杂点的例子,同样是用 TensorFlow 将模型可视化的例子。注意看上图,TensorFlow 让我们可以缩放、扫视、展开模型的各个元素以得到更多细节。这就是说,我们可以从不同的抽象层次观察模型,从而降低了视觉复杂度。

并且,TensorBoard 除了向我们展示模型的结构,还会将各项特征值的变化很好布局在图上。我们会将精确度、失真、跨熵等拿来布局观测,且另一方面,依赖于模型的众多特征值往往都非常重要。至于 TensorFlow 的预置发射器,它们自带了一套预设值用于在 TensorBoard 中使用。这一特性为后续使用做好了铺垫。

TensorBoard 除了上述功能,还能展示包括条形图、分布图以及诸如声音、图像、文字等与模型共生的数据等等大量的信息。不过关于那部分的详细介绍要等到后面的视频。

回归正题,我们来看看之前一直使用的线性模型在 TensorBoard 当中的表现。首先需要启动 TensorBoard 并将之指向目标模型层次结构及重要中间文件所在的目录:

tensorboard --logdir=」/tmp/iris_model/」

此项操作会启动一个侦听 6006 端口的本地服务器。

6006 看起来是不是非常像「GOOG」呢?

我们可以看到一些线性 classifier 默认提供的标量特征值。稍后可以通过缩放和展开来研究这些图像。

双击能够回退到更高的缩放级别。可见,我们的模型训练随着时间推移正以逐渐降低的失真井然有序进行。并且我们能清晰看到模型训练尚未完成,原因是当前的失真下降率仍然较高。它提示我们,也许应当再多训练一会儿,进而从训练过程中获得更多收益。

接下来看看 Graph 小分页。注意看,此时图还是非常简单的。

我们能通过点击小块儿上面的加号展开查看更详细的内容。比如,我现在展开了「linear」这个模块,可以看到它由不少子模块组成。我们可以通过滚轮来缩放视野,也可以通过点按拖拽来查看其他部分。

注意我们给特征列的名字,比如此处的 flower_features 在图中以模块形式呈现。

这种方式将有助于调试并了解上面展示的图中各部分是怎样联结起来的。大多数 TensorFlow 的操作是可以命名的,所以这是一个将模型阐述清楚和观察当前训练进展的好机会。

今天,我们学到了简单有趣的机器学习模型重要特征值可视化相关知识。TensorBoard 将让你轻松体验到这种乐趣,并且最妙之处是它已经完全内置在 TensorFlow 当中了。

记住下一次你想要把机器学习过程可视化时,TensorBoard 是你的不二选择。

热门推荐

原文标题:AIA 系列 | 通过 TensorBoard 将模型可视化

文章出处:【微信号:tensorflowers,微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

IBM认为,企业具备以下三大必杀技,才能打好信息安全的硬仗

随着人工智能技术变得日趋主流和开源化,网络犯罪份子正采用人工智能,不仅将他们的犯罪活动加速并自动化,....

的头像 IBM中国 发表于 06-22 10:49 42次 阅读
IBM认为,企业具备以下三大必杀技,才能打好信息安全的硬仗

人工智能驱动的数据分析:这种变革趋势的内幕

主要基于机器学习的现实世界人工智能数据项目十分瞩目,并且在很大程度上是成功的。有些首席信息官将人工智....

的头像 AI人工智能D1net 发表于 06-22 10:10 95次 阅读
人工智能驱动的数据分析:这种变革趋势的内幕

Sklearn与TensorFlow机器学习实用指南

以一个简单的线性回归模型为例,讨论两种不同的训练方法来得到模型的最优解。

的头像 人工智能爱好者社区 发表于 06-22 10:02 89次 阅读
Sklearn与TensorFlow机器学习实用指南

一文快速了解机器学习任务中的重要成分和结构

很显然,当训练数据集足够大的时候,经验风险最小化这一策略能够保证很好的学习效果——这也就是我们当代深....

的头像 电子发烧友网工程师 发表于 06-22 08:39 182次 阅读
一文快速了解机器学习任务中的重要成分和结构

机器学习将会带来不一样的教育体验

随着科学技术的不断发展,机器学习也即将成为高等教育的新机会,有望能够从各个层面实现教育的个性化 。它....

发表于 06-22 07:57 11次 阅读
机器学习将会带来不一样的教育体验

人工智能技术发展的方向:ML和DL

深度学习(Deep Learning)是一种实现ML的技术,是当前AI技术中非常火的话题,由Hint....

发表于 06-22 07:31 43次 阅读
人工智能技术发展的方向:ML和DL

支持向量机给机器学习创建了较好的理论框架

从数学的角度来考虑,机器学习问题就是已知n个独立同分布的观测样本,在同一组预测函数中求一个最优的函数....

发表于 06-22 07:28 9次 阅读
支持向量机给机器学习创建了较好的理论框架

人脸识别是啥玩意儿?人脸识别技术发展

人脸检测算法的原理简单来说是一个“扫描”加“判定”的过程。即首先在整个图像范围内扫描,再逐个判定候选....

的头像 人工智能学家 发表于 06-21 14:51 220次 阅读
人脸识别是啥玩意儿?人脸识别技术发展

Inception V2/V3/V4的发展历程以及它们的网络结构和亮点

在机器学习中,我们通常会做一种假设:训练样本独立同分布(iid)且训练样本与测试样本分布一致,如果真....

的头像 人工智能爱好者社区 发表于 06-21 14:27 93次 阅读
Inception V2/V3/V4的发展历程以及它们的网络结构和亮点

阿里巴巴成全球最害怕的创新破坏王

阿里巴巴和亚马逊(Amazon)一样,都是靠着对人工智能(AI)、机器学习与认知运算的投入和投资,获....

的头像 DIGITIMES 发表于 06-21 11:43 330次 阅读
阿里巴巴成全球最害怕的创新破坏王

Excel本身就能编写大量基础机器学习算法

作为一名数据工作者,这年头“熟悉机器学习算法”远比“精通Excel”在求职市场上要抢手得多,但前者的....

的头像 论智 发表于 06-21 10:18 237次 阅读
Excel本身就能编写大量基础机器学习算法

机器学习成就了互联网搜索

当你打开互联网搜索引擎,输入关键词寻找并得到想要的链接时,“机器学习”已经贯穿整个过程:搜索到的内容....

发表于 06-21 09:09 23次 阅读
机器学习成就了互联网搜索

谷歌云端可抢占GPU,普遍降价40%

谷歌表示,抢占式GPU(Preemptible GPUs)非常适合短期、容错和批处理工作负载,比如机....

的头像 新智元 发表于 06-20 17:41 264次 阅读
谷歌云端可抢占GPU,普遍降价40%

从奥卡姆剃刀理论到机器学习,机器学习应用任重道远

王教授表示,如果开发者要执行的任务处于非常封闭的环境,和人的常识没有什么关系,这样的任务非常适合机器....

的头像 中国人工智能学会 发表于 06-20 15:05 164次 阅读
从奥卡姆剃刀理论到机器学习,机器学习应用任重道远

机器人或取代人类当厨师?

一家名为Spyce的初创企业,并未致力于将技术应用于其他食品业务,而是在波士顿开办了一个使用机器人操....

的头像 天津机器人 发表于 06-20 14:40 457次 阅读
机器人或取代人类当厨师?

机器学习工程师有没有前途?如何正确入门

有时候并不是你的能力不够,也并不是你不够努力,只是缺少了一个正确的引导而已。

的头像 人工智能爱好者社区 发表于 06-20 10:31 222次 阅读
机器学习工程师有没有前途?如何正确入门

机器学习将带给企业哪些好处

随着一些公司竞相利用机器学习技术来赚钱,而这些机器学习技术侧重于教授机器人更像人类那样工作,而许多公....

的头像 AI人工智能D1net 发表于 06-20 10:24 286次 阅读
机器学习将带给企业哪些好处

数据处理中最强有力也最流行的工具之一:Pandas!

Pandas 是一个低学习成本高性能的数据结构和数据分析工具。抛开大熊猫憨态可掬的样子不说,「Pan....

的头像 TensorFlow 发表于 06-20 10:09 142次 阅读
数据处理中最强有力也最流行的工具之一:Pandas!

听说机器学习可以预测出2018世界杯走势

研究人员声称,他们应用了一种名为random-forest的计算方法,通过结合机器自我学习和常规统计....

的头像 机器人大讲堂 发表于 06-20 09:04 306次 阅读
听说机器学习可以预测出2018世界杯走势

Juergen Gall团队展示他们的预测未来系统

在他们的实验中,Gall和他的团队使用数小时的视频数据来演示不同的烹饪动作(例如煎鸡蛋、拌沙拉等),....

的头像 人工智能 发表于 06-19 15:35 386次 阅读
Juergen Gall团队展示他们的预测未来系统

用机器学习模型来跑大数据预测2018年世界杯

英国BBC主播加里·莱因克尔(Gary Lineker)曾有著名的理论:足球是个很简单的运动,不就是....

的头像 人工智能 发表于 06-19 15:32 430次 阅读
用机器学习模型来跑大数据预测2018年世界杯

增强机器学习能力的“左膀右臂”的GPU、FPGA芯片

FPGA是帮助公司和研究人员解决问题的芯片。FPGA是一种集成电路,可以编程为多种用途。它有一系列“....

的头像 人工智能学家 发表于 06-19 15:27 319次 阅读
增强机器学习能力的“左膀右臂”的GPU、FPGA芯片

机器学习实用指南——准确率与召回率

受试者工作特征(ROC)曲线是另一个二分类器常用的工具。它非常类似与准确率/召回率曲线,但不是画出准....

的头像 人工智能爱好者社区 发表于 06-19 15:20 309次 阅读
机器学习实用指南——准确率与召回率

BP神经网络概述

BP 神经网络是一类基于误差逆向传播 (BackPropagation, 简称 BP) 算法的多层前....

的头像 人工智能爱好者社区 发表于 06-19 15:17 224次 阅读
BP神经网络概述

机器学习实用指南——多类分类与误差分析

分析混淆矩阵通常可以给你提供深刻的见解去改善你的分类器。回顾这幅图,看样子你应该努力改善分类器在数字....

的头像 人工智能爱好者社区 发表于 06-19 15:08 255次 阅读
机器学习实用指南——多类分类与误差分析

如何用PaddlePaddle手写一个垃圾邮件分类器

拿到数据后我们可以很清楚的看到邮件的内容,但并不是所有的内容都是我们需要的,在这里我们仅提取了邮件中....

的头像 人工智能爱好者社区 发表于 06-19 15:05 254次 阅读
如何用PaddlePaddle手写一个垃圾邮件分类器

Facebook的研究可能会改变这一切,将闭眼替换为睁开的眼睛

在测试中,人们错误地将虚假的睁眼照片误认为是真实的照片,或者说他们不能确定哪些是真实的,认为这样的被....

的头像 1号机器人网 发表于 06-19 10:28 240次 阅读
Facebook的研究可能会改变这一切,将闭眼替换为睁开的眼睛

三分钟解读机器学习及其算法汇总

人工智能大师西蒙曾说过:“学习就是系统在不断重复的工作中对本身能力的增强或者改进,使得系统在下一次执....

发表于 06-19 09:11 41次 阅读
三分钟解读机器学习及其算法汇总

机器学习中的特征选择的5点详细资料概述

特征选择是一个重要的“数据预处理” (data preprocessing) 过程,在现实机器学习任....

的头像 人工智能爱好者社区 发表于 06-18 17:24 185次 阅读
机器学习中的特征选择的5点详细资料概述

英国也正在探索如何成为人工智能领域的领导者

为进一步巩固伦敦的技术创新能力,萨迪克汗当天还公布了一个推进智慧伦敦建设的路线图,其中包括改进光纤连....

的头像 高工智能未来 发表于 06-16 16:11 1456次 阅读
英国也正在探索如何成为人工智能领域的领导者

菲律宾呼叫中心行业希望今年能创造出多达7万个工作岗位和10亿美元的额外收入

报告显示,51%的受访者从事需要中级技能的工作。他们的工作范围从提供解决方案到更复杂的客户问题、处理....

的头像 CTI论坛 发表于 06-15 15:14 2565次 阅读
菲律宾呼叫中心行业希望今年能创造出多达7万个工作岗位和10亿美元的额外收入

讨论深度学习的不同方式,让你了解客户的声音

本体和词汇是这些方法的基石。他们定义了特定行业或企业的词汇。然而,关键字提供了有限的洞察力,不能涵盖....

的头像 CTI论坛 发表于 06-15 15:12 435次 阅读
讨论深度学习的不同方式,让你了解客户的声音

恩智浦推出基于机器学习开发环境的解决方案

恩智浦的机器学习方案支持可扩展处理解决方案,同时兼顾成本和最终用户体验需求。

的头像 人间烟火123 发表于 06-15 14:14 1337次 阅读
恩智浦推出基于机器学习开发环境的解决方案

分享自己用于搞定数据处理和机器学习的开发环境

如果你想要针对每个环境独立控制对各类 pip 包的管理,那么这就是一款绝佳的工具比如,你可以为 We....

的头像 TensorFlow 发表于 06-15 09:53 331次 阅读
分享自己用于搞定数据处理和机器学习的开发环境

小样本学习领域的研究进展

人类从少量样本中去思考,还能用这个做什么;而机器则是见到了上亿的数据,却希望下一个与之前的相似。

的头像 深度学习大讲堂 发表于 06-15 09:11 474次 阅读
小样本学习领域的研究进展

怎样用AR全方位观看世界杯?

研究人员开发的是一种机器学习算法,可以将2D足球片段转换成3D重建,观众可以使用微软的HoloLen....

的头像 AR联盟 发表于 06-15 08:56 456次 阅读
怎样用AR全方位观看世界杯?

机器学习可能面临的一些攻击行为

对抗输入(Adversarial inputs):这是经过精心设计过的输入,其目的就是为了迷惑分类器....

的头像 论智 发表于 06-14 15:55 501次 阅读
机器学习可能面临的一些攻击行为

人工智能学会战略性遗忘:三种方法

人的遗忘是策略式的,而机器的遗忘是计算式的。人工智能越来越频繁地出现在人们的生活中,而其技术上的重大....

的头像 重庆人工智能 发表于 06-14 10:31 365次 阅读
人工智能学会战略性遗忘:三种方法

50个机器学习实用API

还在为找不到机器学习的API而烦恼吗?本篇文章将介绍一个包含50+关于人脸和图像识别,文本分析,NL....

的头像 传感器技术 发表于 06-13 18:20 464次 阅读
50个机器学习实用API

微型化是机器学习应用的一条出路

相信机器学习可以在微小的、低功耗的芯片上运行,这种技术将解决目前方案中的瓶颈问题。

的头像 新智元 发表于 06-13 18:10 761次 阅读
微型化是机器学习应用的一条出路

机器学习经典损失函数比较

所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程。我们常常将最小化的函数称为损失....

的头像 将门创投 发表于 06-13 17:53 408次 阅读
机器学习经典损失函数比较

又一全新交互技术诞生,用人工智能给图像配音

近日,日本研究人员通过一款叫“Imaginary Soundscape”的网络应用程序,使用机器学习....

的头像 高工智能未来 发表于 06-13 17:31 923次 阅读
又一全新交互技术诞生,用人工智能给图像配音

更廉价、更快速的数学运算使人工智能机器学习成为可能

机器学习实际上是一种预测机制。它试图预测一个人是否患有癌症;自动驾驶汽车是否应停止、加速、转弯或继续....

的头像 CTI论坛 发表于 06-13 16:51 591次 阅读
更廉价、更快速的数学运算使人工智能机器学习成为可能

ABB与北人智能举行了数字化转型战略合作交流活动

当前,随着互联网和数字技术的全面应用,北人智能以完善产业结构、培育核心能力和提升产业价值为目标,逐步....

的头像 ABB中国 发表于 06-13 11:57 650次 阅读
ABB与北人智能举行了数字化转型战略合作交流活动

使用更“时尚”的数据开启机器学习的 Hello World 之门

也许是我们的模型需要更大一些来容纳如此搞复杂度的模型?抑或训练应该更少一些?我们来试试看。经过屡次调....

的头像 TensorFlow 发表于 06-13 11:08 314次 阅读
使用更“时尚”的数据开启机器学习的 Hello World 之门

解读图灵思想中的人工智能

作为当前人工智能主流的“机器学习”与图灵所探讨的“学习机器”,其思考的角度和深刻性完全不同,启迪良多....

的头像 人工智能学家 发表于 06-13 09:39 367次 阅读
解读图灵思想中的人工智能

机器学习预测世界杯的结果你相信吗?机器学习的应用

机器学习和大数据的方法正越来越多地被用在比赛结果预测上,不仅是世界杯,也不仅是结果,球队组成、战术选....

的头像 新智元 发表于 06-12 19:00 775次 阅读
机器学习预测世界杯的结果你相信吗?机器学习的应用

深度学习科普文:最通俗易懂 从老虎机到电子游戏

机器学习和数据科学的专家Emmanuel Ameisen分享了自己对深度学习的理解,用简明扼要的方式....

的头像 论智 发表于 06-12 19:00 556次 阅读
深度学习科普文:最通俗易懂 从老虎机到电子游戏

不可错过 | 集成学习入门精讲

发表于 06-06 10:11 210次 阅读
不可错过 | 集成学习入门精讲

AI知识科普 | 从无人相信到万人追捧的神经网络

发表于 06-05 10:11 166次 阅读
AI知识科普 | 从无人相信到万人追捧的神经网络

机器学习、深度学习、卷积神经网络...人工智能时代的曙光

发表于 05-22 09:54 1155次 阅读
机器学习、深度学习、卷积神经网络...人工智能时代的曙光

关于机器学习模块KNN算法错误91的问题?

发表于 04-02 15:08 330次 阅读
关于机器学习模块KNN算法错误91的问题?

MNIST机器学习入门

发表于 03-30 20:05 240次 阅读
MNIST机器学习入门

使用 TensorFlow, 你必须明白 TensorFlow

发表于 03-30 20:03 253次 阅读
使用 TensorFlow, 你必须明白 TensorFlow

可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow.

发表于 03-30 20:01 281次 阅读
可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow.

请问labview可以调用在matlab里训练出的机器学习模型吗?可以的话应该怎么做?

发表于 03-21 23:20 371次 阅读
请问labview可以调用在matlab里训练出的机器学习模型吗?可以的话应该怎么做?

阿里云MaxCompute,用计算力让数据发声

发表于 01-22 17:45 604次 阅读
阿里云MaxCompute,用计算力让数据发声

机器学习基础|深入理解拉格朗日乘子法

发表于 12-13 20:25 738次 阅读
机器学习基础|深入理解拉格朗日乘子法