0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一种工具将AutoML方法的分析和控制权给到用户手中

DPVg_AI_era 来源:lq 2019-06-23 09:59 次阅读

MIT、香港科技大学和浙江大学的研究人员开发了一种交互式工具,首次实现让用户对自动化机器学习(AutoML)系统的工作方式和流程进行查看和控制,提高系统定制化程度,向打开机器学习“黑盒子”的目标迈进了一大步。

为特定任务设计机器学习模型(如图像分类,疾病诊断和股市预测等)是一个艰巨而耗时的过程。研究人员首先要从多种不同的算法中进行选择来构建模型。然后在模型开始训练之前,手动调整“超参数”,确定模型的整体结构。

近期出现的自动机器学习(AutoML)系统可以对算法和超参数进行迭代式的测试和修改,并在此过程中选择最适合的模型。但系统的运行机制是不透明的,相当于一个“黑盒子”,也就是说系统选择了什么技术、什么模型,用户是看不见的。因此,用户就可能不信任模型给出的结果,而且很难根据自己的搜索需求来对系统进行定制。

定制化AutoML工具:模型自选,超参数自调

近日,在ACM CHI计算系统中人的因素会议上,麻省理工学院,香港科技大学和浙江大学的研究人员共同研发出一种工具,将AutoML方法的分析和控制权给到用户手中。

该工具名为ATMSeer,它将AutoML系统、数据集和有关用户任务的一些信息作为输入,然后在用户友好型的界面内实现可视化搜索过程,界面中还能提供更多关于模型性能的深入信息。

“使用ATMSeer,用户可以自己选择和观察AutoML系统是如何工作的,”该研究论文的共同作者之一Kalyan Veeramachaneni说道,他是麻省理工学院信息与决策系统实验室(LIDS)的首席研究科学家,负责将数据引入AI团队。 “用户可以只选择一些性能最好的模型,或者结合其他因素或某些领域的专业知识,来指导AutoML系统去搜索某些特定模型。”

在对AutoML新手的案例研究中,研究人员发现大约85%使用ATMSeer的人对系统选择的模型充满信心。几乎所有参与者都表示,该工具让使用AutoML系统变得更舒服了。

ATMSeer会生成一个用户友好的界面,显示有关所选模型性能的深入信息,以及可调整的算法和参数的选项。

ATMSeer自动机器学习定制化工具的用户友好型交互界面

“数据可视化是实现人与机器之间更好协作的有效方法。ATMSeer体现了这一理念,”论文合作者之一、香港科技大学的Wang Qianwen说。 “ATMSeer主要会让机器学习从业者受益,无论他们从事什么领域,专业水平如何,都能获益。ATMSeer可以缓解手动选择机器学习算法和调整超参数的不便。”

便捷可视化工具实现“可视即可调”

ATMSeer工具的核心是一款定制的AutoML系统,名为“自动调整模型”(ATM),由Veeramachaneni等研究人员在2017年开发。与传统的AutoML系统不同的是,ATM在尝试拟合模型时会对所有搜索结果进行完整的编目。

ATM将任何数据集和编码预测任务作为输入。系统随机选择算法类别,比如神经网络,决策树、随机森林和逻辑回归,并选择模型的超参数,如决策树的大小或神经网络层数等。

然后,系统针对数据集运行模型,迭代式调整超参数,并衡量模型性能。ATM利用掌握到了模型性能来选择另一个模型。最后,由系统针对任务输出几个表现最理想的模型。

诀窍在于,每个模型基本上可以被视为带有一系列变量的数据点:这里说的变量包含算法,超参数和性能。在此基础上,研究人员设计了一套系统,在指定的图形和图表上绘制数据点和变量。以此为起点,开发了一系列新技术,能够实时重新配置数据。 “亮点在于,使用这些工具,你能够可视化的任何东西,都可以修改。”史密斯说。

类似的可视化工具专门用于分析一种特定的机器学习模型,并能够在有限的搜索空间内实现定制化。“因此,这些工具可以为分析和观察AutoML的运行流程提供了有限的支持,还需要对许多搜索模型的配置进行分析。相比之下,ATMSeer支持分析使用各种算法生成的机器学习模型。”

将AutoML控制权交给用户,使用体验和信心明显提升

ATMSeer的可视化界面由三部分组成。用户可以通过控制面板上传数据集和AutoML系统,并启动或暂停搜索过程。下图是一个概览面板,显示了基本统计数据,如搜索的算法和超参数的数量,还有按降序排列的最佳模型的“排行榜”。Veeramachaneni表示:“如果你不是特别在意技术细节的专家,这可能是你最感兴趣的点。”

ATMSeer包含一个“AutoML Profiler”,其中的面板包含有关算法和超参数的深入信息,这些信息都可以进行调整。面板可以将所有算法类别表示为直方图形式,用条形图显示算法性能分数的分布,范围为0到10,具体取决于其超参数。用一个单独的面板呈现散点图,显示不同超参数和算法类型的性能折衷。

对没有AutoML经验的机器学习专家的案例研究表明,让用户掌握控制权确实有助于提高AutoML应用的性能和效率。对生物学、金融等不同科学领域的13位研究生的研究也表明,确定用户对AutoML的搜索的自定义关键有三点:搜索的算法数量、系统运行时间以及查找表现最好的模型。研究人员表示,这些信息可用来为用户量身定制系统。

研究人员表示,目前对AutoML的应用缺乏足够的灵活性。“现在所有这些信息都集中在一个地方,如果人们能够清楚看到幕后发生的事情,有能力控制这些流程,未来对AutoML的应用将跨入一个崭新的阶段。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 可视化
    +关注

    关注

    1

    文章

    1003

    浏览量

    20541
  • 机器学习
    +关注

    关注

    66

    文章

    8061

    浏览量

    130441

原文标题:MIT、浙大等打造AutoML可视化工具:模型自选、超参数自调

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    蓝牙多串口配置工具

    工具一种多串口配置工具,基于MCF开发,可以配置信息同时下发到多个串口,支持配置文件信息下发、文本下发和十六进制下发,般用于芯片等配
    发表于 03-25 19:22

    一种结构化道路环境中的视觉导航系统详解

    根据结构化道路环境的特点提出了一种边沿检测和道路环境知识相结合的机器视觉算法 , 并结合基于行为响应的路径规划方法和智能预瞄控制方法 ,
    发表于 09-25 07:23

    从STM32F1移植STM32F0的应用笔记分享

    对于 STM32 微控制器应用的设计人员而言,一种控制器类型轻松替换成同产品系列的另一种
    发表于 09-22 07:23

    安全算法加速器1.0版EULA的最终用户许可协议

    其多数有表决的股份现在或以后由本协议方直接或间接拥有或控制的任何公司。 公司仅在存在这种控制权的期间内才是附属公司。 “文档”是指作为ARM技术的
    发表于 08-23 08:28

    SpeedBI数据可视化工具:浏览器上做分析

    SpeedBI数据分析云是一种在浏览器上进行数据可视化分析工具,它能够数据以可视化的形式呈现出来,并支持多种数据源和图表类型。 所有操作
    发表于 08-22 10:55

    使用快速Fourier变换法ADC样本转换为频域频谱的方法和结果

    : NuTiny-SDK-NUC121_V1.0 快速傅里叶变换(FFT)是一种常用的信号分析方法,可用于离散时间信号转换为频域频谱,用户
    发表于 08-22 08:13

    DMA的应用方法

    控制权交给DMA控制器,而在结束DMA传输后,DMA控制器应立即把总线控制权再交回CPU。
    发表于 08-16 06:19

    基于用户的许可1.2版用户指南

    基于用户的许可将Arm产品的使用绑定用户。此绑定允许单个用户许可证由该用户在多个设备上用于同
    发表于 08-08 07:44

    eda工具的技术来源 eda技术的设计方法

    EDA工具的技术来源主要包括描述统计学、可视化技术、探索性数据分析方法、数据挖掘技术,以及可交互性与用户界面设计。这些技术和方法的应用使得E
    发表于 07-21 15:09 547次阅读

    是否有一种简单的方法esp连接到openhab并发送特殊命令?

    嗨, (首先抱歉我的英语不好) 个月以来我直在玩 ESP,我真的很喜欢它! 但现在我想更进步, ESP 连接到 Openhab 并控制
    发表于 05-24 08:14

    怎样设计一种留声机电路呢?

      留声机电路是一种用于唱片上的声音记录到磁带上的电路。下面是个可能的留声机电路设计示例:  激励放大器:这是留声机电路中最重要的部分,它将唱片上的微弱信号放大足以记录到磁带上的
    发表于 04-19 14:10

    有没有一种方法可以禁用IRAM检查?

    IRAM,所以我无法刷新我的设备。正如我所描述的,实际使用量低于静态分析显示的使用量。有没有一种方法可以禁用此 IRAM 检查,这样我就可以加载我的代码,即使分析表明我用得太多了。
    发表于 04-13 08:15

    介绍一种电源完整性的分析方法

      在当今的高速数字设计中,可靠的仿真工具非常关键,因为它们有助于在设计过程早期发现布局前和布局后的功率和信号完整性问题,能在设计过程中正确地验证输电网络的DC电力损耗,提早检测热点位置,并防止故障
    发表于 04-11 15:17

    一种控制Linux (Yocto) 的方法

    亲爱的团队,我的客户希望在 Wayland/Weston 支持下具有远程控制能力。你能推荐一种控制 Linux (Yocto) 的方法,比如 anydesk 吗?
    发表于 03-31 06:56

    是否有一种现有的方法可以在控制桥端记录zigbee 3.0网络统计信息?

    我想知道是否有一种现有的方法可以在控制桥端记录 zigbee 3.0 网络统计信息?统计为:重新加入的节点数量、连接丢失等......要检查 Zigbee 网络的稳定性如何?
    发表于 03-31 06:36