【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

机器学习模型重要特征值可视化相关知识

TensorFlow 2018-06-01 10:09 次阅读

AIA (AI Adventures)系列现在已经进入第五期了。前三期分享当中,Yufeng 介绍了机器学习的核心概念、基本逻辑,也介绍了要进行机器学习需要经过哪些步骤,并根据这些基本知识尝试使用线性评估器 API 打造了鸢尾花分类模型。今天的分享中,他会与我们分享一个非常有力的工具:TensorBoard,让你能“看穿”模型,监测训练过程。

为了更方便 TensorFlow 程序的理解、调试与优化,TensorFlow 团队发布了一套名为 TensorBoard 的可视化工具。开发者们可以用 TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据(如其中传递的图像),请看 Yufeng 为大家带来的分享:

当你能「看清」问题所在时,调试起来是最简单的。但是当大量的训练数据如潮水般涌入复杂模型的时候,调试的过程往往会变得无比复杂。不过别怕,幸亏有 TensorBoard,一切变得简单起来。

机器学习可不像传统的编程,它往往变幻莫测。模型间的细小差别以及数据的质量、参数微调中的小小改变都可能对最终成功与否造成巨大的影响。

用 TensorBoard 发现问题所在

只有当我们纵览模型整体结构,并跟踪某些特征数据在整个训练过程当中的变化时,才能有效调校模型并调试所「看到」的问题。

这一抽象的流程往往难以通过可视化的方式呈现,不过现在 TensorFlow 内置了解决方案将会带来改变。

现在一起来看看内置于 TensorFlow 的可视化方案 — TensorBoard,一个让你更能把控大量操作的工具。不论是观察模型整体结构还是监视整个模型训练过程。

TensorFlow 在内部使用了计算机图形理论的思想。

也就是说,为了取缔传统意义上两数相加的思维,TensorFlow 构造了新的加法运算,并将之作为参数传入,随后数值将会被这一运算加在一起。

所以我们回头思考 TensorFlow 训练过程,其实就是将所有操作当成图的一部分来执行的过程。TensorBoard 可以将这些模型可视化,所以你能看到模型抽象出来是什么样子,更让你得以检查是否所有部分都按要求组合在了一起。

下面来个更复杂点的例子,同样是用 TensorFlow 将模型可视化的例子。注意看上图,TensorFlow 让我们可以缩放、扫视、展开模型的各个元素以得到更多细节。这就是说,我们可以从不同的抽象层次观察模型,从而降低了视觉复杂度。

并且,TensorBoard 除了向我们展示模型的结构,还会将各项特征值的变化很好布局在图上。我们会将精确度、失真、跨熵等拿来布局观测,且另一方面,依赖于模型的众多特征值往往都非常重要。至于 TensorFlow 的预置发射器,它们自带了一套预设值用于在 TensorBoard 中使用。这一特性为后续使用做好了铺垫。

TensorBoard 除了上述功能,还能展示包括条形图、分布图以及诸如声音、图像、文字等与模型共生的数据等等大量的信息。不过关于那部分的详细介绍要等到后面的视频。

回归正题,我们来看看之前一直使用的线性模型在 TensorBoard 当中的表现。首先需要启动 TensorBoard 并将之指向目标模型层次结构及重要中间文件所在的目录:

tensorboard --logdir=」/tmp/iris_model/」

此项操作会启动一个侦听 6006 端口的本地服务器。

6006 看起来是不是非常像「GOOG」呢?

我们可以看到一些线性 classifier 默认提供的标量特征值。稍后可以通过缩放和展开来研究这些图像。

双击能够回退到更高的缩放级别。可见,我们的模型训练随着时间推移正以逐渐降低的失真井然有序进行。并且我们能清晰看到模型训练尚未完成,原因是当前的失真下降率仍然较高。它提示我们,也许应当再多训练一会儿,进而从训练过程中获得更多收益。

接下来看看 Graph 小分页。注意看,此时图还是非常简单的。

我们能通过点击小块儿上面的加号展开查看更详细的内容。比如,我现在展开了「linear」这个模块,可以看到它由不少子模块组成。我们可以通过滚轮来缩放视野,也可以通过点按拖拽来查看其他部分。

注意我们给特征列的名字,比如此处的 flower_features 在图中以模块形式呈现。

这种方式将有助于调试并了解上面展示的图中各部分是怎样联结起来的。大多数 TensorFlow 的操作是可以命名的,所以这是一个将模型阐述清楚和观察当前训练进展的好机会。

今天,我们学到了简单有趣的机器学习模型重要特征值可视化相关知识。TensorBoard 将让你轻松体验到这种乐趣,并且最妙之处是它已经完全内置在 TensorFlow 当中了。

记住下一次你想要把机器学习过程可视化时,TensorBoard 是你的不二选择。

原文标题:AIA 系列 | 通过 TensorBoard 将模型可视化

文章出处:【微信号:tensorflowers,微信公众号:TensorFlow】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

MIT深度学习基础知识 编码器-解码器架构分析

本文以 7 种架构范例简要介绍深度学习,每种范例均提供 TensorFlow 教程链接。
的头像 TensorFlow 发表于 02-21 15:53 103次 阅读
MIT深度学习基础知识 编码器-解码器架构分析

Arm宣布推出基于M-Profile Vector Extension (MVE)矢量扩充方案的Arm Helium技术

先进的数字信号处理(DSP)可通过 Arm Neon 技术扩展至更多Cortex-A架构组件中。针对....
的头像 安芯教育科技 发表于 02-20 16:51 546次 阅读
Arm宣布推出基于M-Profile Vector Extension (MVE)矢量扩充方案的Arm Helium技术

如何同时使用Nucleus与TensorFlow解决基因组学领域的机器学习问题

本文中阐述的两种方法均使用深度神经网络,学习将输入映射至输出的函数。神经网络由若干层线性与非线性运算....
的头像 TensorFlow 发表于 02-20 14:38 192次 阅读
如何同时使用Nucleus与TensorFlow解决基因组学领域的机器学习问题

为了帮程序员解决bug问题,Facebook可算是操碎了心!

首先,静态分析工具 Infer,会帮助定位代码中需要修补的点;一旦 Sapienz 和 Infer ....
的头像 电子发烧友网工程师 发表于 02-20 09:20 286次 阅读
为了帮程序员解决bug问题,Facebook可算是操碎了心!

全球知名创投研究机构CBInsights发布最新的全球AI独角兽公司名单

例如,Indigo Agriculture最初是作为微生物种子处理的开发者,用于玉米、棉花、大米、大....
的头像 1号机器人网 发表于 02-19 15:36 459次 阅读
全球知名创投研究机构CBInsights发布最新的全球AI独角兽公司名单

下一代Armv8.1-M架构能够提升最小型边缘设备的机器学习能力

Arm Helium技术作为一种全新的M-Profile Vector Extension矢量扩充方....
发表于 02-19 13:58 168次 阅读
下一代Armv8.1-M架构能够提升最小型边缘设备的机器学习能力

一个实用的GitHub项目:TensorFlow-Cookbook

这是一个易用的TensorFlow代码集,作者是来自韩国的AI研究科学家Junho Kim,内容涵盖....
的头像 新智元 发表于 02-19 09:04 147次 阅读
一个实用的GitHub项目:TensorFlow-Cookbook

某些生物医药领域使用人工智能技术或将得出一些不准确的结论

北京时间2月18日早间消息,据报道,一组顶尖科学家和医学统计学家上周五警告称,在某些生物医药领域使用....
发表于 02-18 14:56 163次 阅读
某些生物医药领域使用人工智能技术或将得出一些不准确的结论

TensorFlow 2.0最佳实践及主要变化

由于能够自由地穿插 Python 和 TensorFlow 代码,您能够充分利用 Python 的表....
的头像 电子发烧友网工程师 发表于 02-18 09:34 196次 阅读
TensorFlow 2.0最佳实践及主要变化

探析机器学习核心概念之间的有机关系及知识脉络

机器学习这件事,要学鲁智深倒拔垂杨柳,而不是“狗熊掰棒子”。
的头像 电子发烧友网工程师 发表于 02-18 09:33 1650次 阅读
探析机器学习核心概念之间的有机关系及知识脉络

警告:机器学习导致了一场“科学危机”!

科学上的“可复制性危机”指的是当另一组科学家尝试同样的实验时,研究结果没有被重复。这意味着最初的结果....
的头像 新智元 发表于 02-18 09:07 338次 阅读
警告:机器学习导致了一场“科学危机”!

全球人工智能革命的前20家公司你了解吗

人工智能是计算机科学的一个分支,旨在创建像人类一样学习、工作和反应的计算机和机器。
的头像 机器人大讲堂 发表于 02-17 10:05 842次 阅读
全球人工智能革命的前20家公司你了解吗

探析从贝叶斯到深度学习及各自优缺点

集成方法是由多个较弱的模型集成模型组,其中的模型可以单独进行训练,并且它们的预测能以某种方式结合起来....
的头像 人工智能学家 发表于 02-17 09:56 322次 阅读
探析从贝叶斯到深度学习及各自优缺点

机器学习应用场景拓展翻新

2018年全球人工智能技术支出规模达到240亿美金,其中中国市场达到22亿美金,中国在全球技术支出占....
发表于 02-16 15:01 268次 阅读
机器学习应用场景拓展翻新

2018年以来最重要的10篇计算机视觉/图像生成相关的研究

卷积神经网络(CNN)可以很好的处理二维平面图像的问题。然而,对球面图像进行处理需求日益增加。例如,....
的头像 新智元 发表于 02-16 10:50 327次 阅读
2018年以来最重要的10篇计算机视觉/图像生成相关的研究

在互联网上你的脸正在成为深度算法主角

视频请求者将这位女性的脸放在身体上,视频中汇集了她491张脸的照片,其中许多照片来自她的Facebo....
的头像 电子发烧友网工程师 发表于 02-16 10:29 1998次 阅读
在互联网上你的脸正在成为深度算法主角

机器学习准入门槛降低,机器学习工程师职位或将消失

机器学习工程师团队负责人、Looker的首席产品官,以自己十几年的从业经历,以及对当下机器学习领域的....
的头像 电子发烧友网工程师 发表于 02-16 08:53 323次 阅读
机器学习准入门槛降低,机器学习工程师职位或将消失

仔细研究用于机器学习和数据科学的十大Python工具

毫无疑问,Python是最流行的语言之一,其成功的原因之一是它为科学计算提供了广泛的报道。 在这里,....
的头像 人工智能 发表于 02-15 15:03 317次 阅读
仔细研究用于机器学习和数据科学的十大Python工具

DeepSolar项目训练AI统计太阳能面板

斯坦福大学工程师和计算机科学家组成了DeepSolar团队,可精确地统计全美太阳能电池面板的尺寸规模....
的头像 人工智能 发表于 02-15 14:57 316次 阅读
DeepSolar项目训练AI统计太阳能面板

快讯:苹果更换Siri负责人,作为人工智能战略转变的一部分

据CNBC报道,谷歌母公司Alphabet旗下生命科学部门Verily一直在寻求合作伙伴,联合开发嵌....
的头像 高工智能未来 发表于 02-15 11:28 1005次 阅读
快讯:苹果更换Siri负责人,作为人工智能战略转变的一部分

NVIDIA首席执行官黄仁勋将在世界知名AI大会上发表主题演讲

3月17-21日,第十届GPU技术大会(GTC)将于美国加利福尼亚州圣何塞举行。当地时间3月18日(....
发表于 02-15 09:59 195次 阅读
NVIDIA首席执行官黄仁勋将在世界知名AI大会上发表主题演讲

中国为AI独角兽最强诞生地,自动化机器学习、RPA 领域同样吸金

众所皆知,过去获得投资人青睐一直是计算机视觉、以及自动驾驶技术为主的公司,像是商汤、旷视、依图以面部....
的头像 深圳创新设计研究院 发表于 02-15 09:45 582次 阅读
中国为AI独角兽最强诞生地,自动化机器学习、RPA 领域同样吸金

MATLAB R2018b的产品描述资料免费下载

全世界数以百万计的工程师和科学家使用matlab来分析和设计改变我们世界的系统和产品。Matlab应....
发表于 02-15 08:00 30次 阅读
MATLAB R2018b的产品描述资料免费下载

分享机器学习卷积神经网络的工作流程和相关操作

机器学习算法篇--卷积神经网络基础(Convolutional Neural Network)...
发表于 02-14 16:37 58次 阅读
分享机器学习卷积神经网络的工作流程和相关操作

计算机芯片的发展历程,以及所有架构的未来趋势

软件与硬件的通信是通过指令集架构(ISA)进行的。在 1960 年代早期,IBM 有四个互不兼容的计....
的头像 人工智能和机器人研究院 发表于 02-14 15:00 599次 阅读
计算机芯片的发展历程,以及所有架构的未来趋势

ST推出具有机器学习功能的新型运动传感器

意法半导体在其先进的惯性传感器内集成机器学习技术,提高手机和可穿戴设备的运动跟踪性能和电池续航能力。
的头像 MEMS 发表于 02-14 14:29 591次 阅读
ST推出具有机器学习功能的新型运动传感器

对scikit-learn和numpy生成数据样本的方法做一个总结

‍‍‍‍在学习机器学习算法的过程中,我们经常需要数据来验证算法,调试参数。但是找到一组十分合适某种特....
的头像 人工智能爱好者社区 发表于 02-14 13:54 217次 阅读
对scikit-learn和numpy生成数据样本的方法做一个总结

什么是数据科学家?需要认证吗?

Fleming说,提供认证将“有助于使我们的组织成为一个有吸引力的工作场所,因为它将为我们的员工提供....
的头像 IEEE电气电子工程师学会 发表于 02-14 09:41 393次 阅读
什么是数据科学家?需要认证吗?

机器学习自学?你应该知道这篇中外结合的计划

一份中外结合的 Machine Learning 自学计划
发表于 02-14 06:43 48次 阅读
机器学习自学?你应该知道这篇中外结合的计划

机器学习算法常用指标汇总

机器学习性能评价标准是模型优化的前提,在设计机器学习算法过程中,不同的问题需要用到不同的评价标准,本....
的头像 人工智能爱好者社区 发表于 02-13 15:09 217次 阅读
机器学习算法常用指标汇总

机器学习如何帮助人类创造可持续的未来?

研究人员基于欧洲哥白尼地球观测计划的高精度卫星图像来对地表的林木覆盖进行监测。研究人员们使用了云服务....
的头像 将门创投 发表于 02-13 14:07 344次 阅读
机器学习如何帮助人类创造可持续的未来?

意法半导体推出具有机器学习功能的LSM6DSOXiNEMO™传感器运动传感器

LSM6DSOXiNEMO™传感器内部集成一个机器学习内核,可根据已知运动模式对运动数据进行分类处理....
发表于 02-13 14:06 245次 阅读
意法半导体推出具有机器学习功能的LSM6DSOXiNEMO™传感器运动传感器

GAN在图像生成应用综述

GAN 可以将任意的分布作为输入,这里的 Z 就是输入,在实验中我们多取Z∼N(0,1),也多取 [....
的头像 将门创投 发表于 02-13 13:59 360次 阅读
GAN在图像生成应用综述

在众多的开源机器学习框架里,总有一款适合你。

Theano的特性包括与NumPy的集成、符号微分(symbolic differentiation....
的头像 新智元 发表于 02-13 10:55 403次 阅读
在众多的开源机器学习框架里,总有一款适合你。

Reddit在即将举行的D轮融资中,腾讯作为领投方给出估值27亿美元

腾讯的资金将让Reddit有时间大踏步前进。腾讯拥有“微信”,也是全球最大的游戏公司,旗下拥有《英雄....
的头像 新智元 发表于 02-13 10:47 372次 阅读
Reddit在即将举行的D轮融资中,腾讯作为领投方给出估值27亿美元

7种架构范例的深度学习,每个范例都提供了TensorFlow教程

在下面的部分中,我将简要描述这 7 种架构范例,并提供每个范例的演示性TensorFlow 教程的链....
的头像 新智元 发表于 02-13 10:40 359次 阅读
7种架构范例的深度学习,每个范例都提供了TensorFlow教程

全球数百万的GIG从业人员现在可以在所谓“众包人工网站”上谋生了

自2007年以来,Figure Eight公司一直在运营全球最大的数字平台之一,该平台允许个人注册执....
的头像 新智元 发表于 02-13 10:30 390次 阅读
全球数百万的GIG从业人员现在可以在所谓“众包人工网站”上谋生了

谷歌基于TensorFlow构建了全球首个产品级可扩展的大规模移动端联合学习系统

Andrew Trask说的,是谷歌日前在arxiv贴出的论文,“Towards Federated....
的头像 新智元 发表于 02-13 10:14 321次 阅读
谷歌基于TensorFlow构建了全球首个产品级可扩展的大规模移动端联合学习系统

AI算法助力,让可控核聚变不再是梦

劳伦斯利弗莫尔国家实验室(Lawrence Livermore National Laborator....
的头像 新智元 发表于 02-13 09:58 654次 阅读
AI算法助力,让可控核聚变不再是梦

从四个经典角度看机器学习的本质

何谓“机器学习”,学界尚未有统一的定义。本文摘取Tom Mitchell、Christopher M....
的头像 新智元 发表于 02-13 09:44 405次 阅读
从四个经典角度看机器学习的本质

机器学习工程师这个岗位,终将消失吗?

刚开始做的东西还比较搞笑,比如给人脸上贴胡子。但是在几天之内,他就做出了有实际应用价值的项目,并创建....
的头像 新智元 发表于 02-13 09:36 385次 阅读
机器学习工程师这个岗位,终将消失吗?

盘点2019年机器学习和人工智能行业的发展趋势

随着企业寻求自动化模式检测、预测和决策,以推动转型效率提高、竞争差异化和增长,企业机器学习的采用将会....
的头像 AI人工智能D1net 发表于 02-12 10:53 724次 阅读
盘点2019年机器学习和人工智能行业的发展趋势

分享一个机器学习Demo,很受用

TensorFlow入门:第一个机器学习Demo
发表于 02-12 10:13 74次 阅读
分享一个机器学习Demo,很受用

数据工程师必备干货(学习指南)

大数据应用-实时流:处理大数据的挑战除了要具备处理数据的计算能力,还要具备尽可能快的处理速度。像推荐....
的头像 电子发烧友网工程师 发表于 02-12 09:58 366次 阅读
数据工程师必备干货(学习指南)

用来创建神经网络的两种样式之间的利弊权衡

使用 Keras 构建模型就像 “把乐高积木拼在一起” 一样简单。为什么这样说呢?我们后面将介绍其中....
的头像 TensorFlow 发表于 02-11 16:58 286次 阅读
用来创建神经网络的两种样式之间的利弊权衡

CNN:阿里巴巴“城市大脑”炼成记

根据大众汽车与供应商西门子联手德国沃尔夫斯堡市推出的智能交叉试点项目,未来,10个交通信号的光相位可....
的头像 悟空智能科技 发表于 02-11 16:45 1733次 阅读
CNN:阿里巴巴“城市大脑”炼成记

印度将成为拥有下一个十亿互联网用户的国家

目前,印度最大的两家电子商务公司——亚马逊和沃尔玛旗下的Flipkart,都是美国企业。而中国App....
的头像 电子发烧友网工程师 发表于 02-11 14:46 855次 阅读
印度将成为拥有下一个十亿互联网用户的国家

如何正确认识一个AI项目,如何为AI项目选择最高效的解决方案

尽量避免使用有过多变量和潜在结果的任务。在项目中,先把注意力集中在流程的一小部分,而不是整个流程。即....
的头像 电子发烧友网工程师 发表于 02-11 14:29 236次 阅读
如何正确认识一个AI项目,如何为AI项目选择最高效的解决方案

中文分词在2007-2017十年间的技术进展

基于子串的直接标注模型事实上过强地应用了已知词信息,因为所有子串都属于已知词,并且在模型一开始就不能....
的头像 将门创投 发表于 02-11 11:20 330次 阅读
中文分词在2007-2017十年间的技术进展

第33届AAAI 2019在美国夏威夷召开,百度共有15篇论文被收录

百度这次被AAAI收录的论文《Modeling Coherence for Discourse Ne....
的头像 电子发烧友网工程师 发表于 02-11 10:54 435次 阅读
第33届AAAI 2019在美国夏威夷召开,百度共有15篇论文被收录

来自全球10所著名学府的机器学习和数据科学领域的免费公开课程

本课程探讨了智力问题,它的本质,它是如何由大脑产生的,以及它如何在机器中复制等问题。使用一种集成了研....
的头像 电子发烧友网工程师 发表于 02-11 10:50 751次 阅读
来自全球10所著名学府的机器学习和数据科学领域的免费公开课程

关于labview机器学习的相关例子

1、例程包含了BP神经网络、SVM和其他一些算法的例子 2、有助于学习人工智能与labview的结合应用 3、使用例子需要安装ML...
发表于 01-27 12:11 232次 阅读
关于labview机器学习的相关例子

机器学习实验中图像增强的库imgaug详解

Py之imgaug:Python库之imgaug简介、安装、使用方法之详细攻略...
发表于 12-28 14:30 387次 阅读
机器学习实验中图像增强的库imgaug详解

data_format中的NHWC&NCHW简介和转换详解

TF之data_format:data_format中的NHWC&NCHW简介、转换的详细攻略...
发表于 12-28 10:21 243次 阅读
data_format中的NHWC&NCHW简介和转换详解

Tensorflow之Tensorboard的可视化使用

TF之Tensorboard:Tensorflow之Tensorboard可视化使用之详细攻略...
发表于 12-27 10:05 108次 阅读
Tensorflow之Tensorboard的可视化使用

大数据hadoop入门之hadoop家族产品详解

大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从...
发表于 12-26 15:02 425次 阅读
大数据hadoop入门之hadoop家族产品详解

Ubuntu下安装Anocuda和Tensorflow的详细步骤

Ubuntu:Ubuntu下安装Anocuda和Tensorflow最详细攻略
发表于 12-26 11:13 137次 阅读
Ubuntu下安装Anocuda和Tensorflow的详细步骤

ML之预测:采用机器学习预测小组赛、十六比赛、四决赛、半决赛、决赛以及世界杯总冠军的各个队伍

ML之预测:玩转2018世界杯—采用机器学习预测小组赛、十六比赛、四决赛、半决赛、决赛以及世界杯总冠军的各个队伍...
发表于 12-24 11:51 151次 阅读
ML之预测:采用机器学习预测小组赛、十六比赛、四决赛、半决赛、决赛以及世界杯总冠军的各个队伍