0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用张量板进行机器学习模型分析

星星科技指导员 来源:嵌入式计算设计 作者:Aekam Parmar 2022-10-24 15:53 次阅读

机器学习正在突飞猛进地发展,新的神经网络模型定期出现。

这些模型针对特定数据集进行了训练,并经过准确性和处理速度的验证。在部署之前,开发人员需要评估 ML 模型,并确保其满足特定的阈值并按预期运行。有很多实验可以提高模型性能,在设计和训练模型时,可视化差异变得至关重要。TensorBoard有助于可视化模型,使分析变得不那么复杂,因为当人们可以看到问题所在时,调试变得更加容易。

训练 ML 模型的一般做法

一般的做法是使用预先训练的模型并执行迁移学习,以便为类似的数据集重新训练模型。在迁移学习期间,神经网络模型首先在类似于正在解决的问题上进行训练。然后,在针对感兴趣的问题进行训练的新模型中,将使用训练模型中的一个或多个层。

大多数情况下,预训练模型以二进制格式出现,这使得获取内部信息并立即开始工作变得困难。从组织的业务角度来看,拥有一些工具来深入了解模型以减少项目交付时间表是有意义的。

有几个可用选项可用于获取模型信息,例如层数和相关参数。“模型摘要”和“模型绘图”是基本选项。这些选项非常简单,考虑到很少的实现行,并提供非常基本的详细信息,如层数,层类型以及每层的输入/输出。

但是,模型摘要和模型图对于以协议缓冲区的形式了解任何大型复杂模型的每个细节并不那么有效。在这种情况下,使用张量板,张量流提供的可视化工具更有意义。考虑到它提供的各种可视化选项,如模型,标量和指标(训练和验证数据),图像(来自数据集),超参数优化等,它非常强大。

用于可视化自定义模型的模型图

此选项尤其有助于以协议缓冲区的形式接收自定义模型,并且需要在进行任何修改或训练之前了解它。如下图所示,连续 CNN 的概览在电路板上可视化。每个块代表一个单独的图层,选择其中一个将在右上角打开一个包含输入和输出信息的窗口。

pYYBAGNWRIiAcnkVAAE0sYDVU1U464.png

如果需要进一步的信息,关于各个块内部有什么,可以简单地双击块,这将展开块并提供更多详细信息。请注意,一个块可以包含一个或多个可以逐层扩展的块。在选择任何特定操作后,它还将提供有关相关处理参数的更多信息。

pYYBAGNWRJCAIawuAAMJIm9qc4Q977.png

用于分析模型训练和验证的标量和指标

机器学习的第二个重要方面是分析给定模型的训练和验证。从精度和速度的角度来看,性能对于使其适用于现实生活中的实际应用非常重要。在下图中,可以看出模型的准确性随着 epoch/迭代次数的增加而提高。如果训练和测试验证不符合标准,则表明某些事情不对劲。这可能是欠拟合或过拟合的情况,可以通过修改图层/参数或改进数据集或两者来纠正。

poYBAGNWRJmAXKMSAAI169c2dZE463.png

图像数据,用于可视化数据集中的图像

顾名思义,它有助于可视化图像。它不仅限于可视化数据集中的图像,而且还以图像的形式显示混淆矩阵。此矩阵指示检测各个类的对象的准确性。如下图所示,模特将外套与套头衫混淆。为了克服这种情况,建议改进特定类的数据集,以便将可区分的特征提供给模型,以便更好地学习,从而提高准确性。

pYYBAGNWRKGAPf7eAAK49yHUzcU591.png

超参数调优以实现所需的模型准确性

模型的准确性取决于输入数据集、层数和相关参数。在大多数情况下,在初始训练期间,精度永远不会达到预期的精度,并且除了数据集之外,还需要使用层数,层类型,相关参数。此过程称为超参数优化。

在此过程中,提供了一系列超参数供模型选择,并且使用这些参数的组合运行模型。每个组合的准确性都记录在电路板上并可视化。它纠正了手动训练模型时会消耗的精力和时间,用于每个可能的超参数组合。

pYYBAGNWRKmAdY54AAJ_oXA72uk465.png

用于分析模型处理速度的分析工具

除了准确性之外,处理速度也是任何模型的一个同样重要的方面。有必要分析单个块消耗的处理时间,以及是否可以通过进行一些修改来减少。分析工具提供了具有不同 epoch 的每个操作所消耗的时间的图形表示。通过这种可视化,人们可以轻松查明消耗更多时间的操作。一些已知的开销可能是调整输入大小,从Python转换模型代码,或者在CPU而不是GPU中运行代码。处理这些事情将有助于实现最佳性能。

poYBAGNWRLCAI1RdAANsGq3qeok731.png

pYYBAGNWRLiAFjf6AAMPiKgpc8E032.png

总体而言,张量板是帮助开发和训练过程的绝佳工具。来自标量和指标、图像数据和超参数优化的数据有助于提高准确性,而分析工具有助于提高处理速度。TensorBoard还有助于减少所涉及的调试时间,否则这肯定会是一个很大的时间框架。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8122

    浏览量

    130564
  • 数据集
    +关注

    关注

    4

    文章

    1178

    浏览量

    24352
收藏 人收藏

    评论

    相关推荐

    将yolov5s的模型转成.onnx模型进行cube-ai分析时报错的原因?

    报错显示张量不能大于四维的,想请教解决一下,我再此之后通过onnx-simplifier对.onnx进行简化之后再通过cube-ai进行分析还是出现上述报错,恳求指导,谢谢您!
    发表于 03-15 06:54

    如何使用TensorFlow构建机器学习模型

    在这篇文章中,我将逐步讲解如何使用 TensorFlow 创建一个简单的机器学习模型
    的头像 发表于 01-08 09:25 361次阅读
    如何使用TensorFlow构建<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    使用 MindSpore Lite 推理引擎进行模型推理的通用开发流程。 基本概念 在进行开发前,请先了解以下概念。 张量 :它与数组和矩阵非常相似,是 MindSpore Lite
    发表于 12-14 11:41

    GPU的张量核心: 深度学习的秘密武器

    GPU最初是为图形渲染而设计的,但是由于其卓越的并行计算能力,它们很快被引入深度学习中。深度学习的迅速发展离不开计算机图形处理单元(GPU)的支持,而GPU中的张量核心则被誉为深度学习
    的头像 发表于 09-26 08:29 529次阅读
    GPU的<b class='flag-5'>张量</b>核心: 深度<b class='flag-5'>学习</b>的秘密武器

    机器学习模型评估指标

    机器学习模型指标在机器学习建模过程中,针对不同的问题,需采用不同的模型评估指标。
    发表于 09-06 12:51 451次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>评估指标

    机器学习模型类型分类

     机器学习按照模型类型分为监督学习模型、无监督学习模型
    的头像 发表于 09-05 11:45 1346次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>类型分类

    机器学习算法汇总 机器学习算法分类 机器学习算法模型

    机器学习算法汇总 机器学习算法分类 机器学习算法模型
    的头像 发表于 08-17 16:11 727次阅读

    AI大模型和小模型是什么?AI大模型和小模型的区别

      随着人工智能的不断发展和应用,机器学习模型的大小越来越成为一个重要的问题。在机器学习中,我们通常将
    发表于 08-08 16:55 5553次阅读

    机器学习和深度学习的区别

      机器学习是一种方法,利用算法来让机器可以自我学习和适应,而且不需要明确地编程。在许多应用中,需要机器使用历史数据训练
    发表于 08-02 17:36 388次阅读

    如何有效地监控生产中的机器学习模型

    监控生产中的机器学习模型指南
    的头像 发表于 07-05 16:30 297次阅读

    机器学习构建ML模型实践

    实践中的机器学习:构建 ML 模型
    的头像 发表于 07-05 16:30 455次阅读

    使用 RAPIDS RAFT 进行机器学习和数据分析的可重用计算模式

    使用 RAPIDS RAFT 进行机器学习和数据分析的可重用计算模式
    的头像 发表于 07-05 16:30 323次阅读
    使用 RAPIDS RAFT <b class='flag-5'>进行</b><b class='flag-5'>机器</b><b class='flag-5'>学习</b>和数据<b class='flag-5'>分析</b>的可重用计算模式

    使用机器学习进行预测

    电子发烧友网站提供《使用机器学习进行预测.zip》资料免费下载
    发表于 07-04 10:22 0次下载
    使用<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>进行</b>预测

    使用Azure和机器学习进行传感器数据分析

    电子发烧友网站提供《使用Azure和机器学习进行传感器数据分析.zip》资料免费下载
    发表于 06-16 10:57 1次下载
    使用Azure和<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>进行</b>传感器数据<b class='flag-5'>分析</b>

    使用机器学习模型(AI)进行预测是否安全

    电子发烧友网站提供《使用机器学习模型(AI)进行预测是否安全.zip》资料免费下载
    发表于 06-14 11:04 0次下载
    使用<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>(AI)<b class='flag-5'>进行</b>预测是否安全