0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

资源分配如何优化?MARO来帮忙

倩倩 来源:微软亚洲研究院 作者:微软亚洲研究院 2020-12-21 10:00 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

过去三年,在与微软亚洲研究院“创新汇”成员企业探讨 AI 如何在各行业落地的过程中,微软亚洲研究院的研究员们发现,资源调度优化是很多领域都存在的通用问题,这也是为什么经久不衰的“运筹学”广泛应用于各行各业的原因。因此,基于三年来与成员企业的合作研究,微软亚洲研究院发布了多智能体资源优化平台“群策 MARO”,并将其开源。

MARO 适用于由资源供需不平衡导致的资源利用率低的问题,而这样的问题广泛存在于多个行业的不同场景。如何更好地在不同参与者间以合理的成本提高资源利用率,为行业创造更大的利润空间,且为社会节省不必要的资源浪费,是 MARO 的使命。这其中,利用创新技术助力企业和组织在关键场景中高效配置资源、节能减排,也是微软可持续发展战略中的重要一环。

资源分配如何优化?

MARO来帮忙

刚刚过去的双11其实就是一个典型的仓储物流行业资源匹配的场景,由于大家的“爆发式”采购,三五年前我们经常听到出现“爆仓”的问题,但近两年这个问题相对得到了缓解,其主要原因就是仓储物流调度水平的大幅提升。其他常见的、需要资源调度优化的场景还有共享单车中自行车与站点、人的匹配,物流运输中集装箱与港口、船只、货物的匹配,电信领域无线基站带宽与用户流量的匹配,数据中心计算资源与运行任务之间的匹配,制造企业的生产与排程等等。

微软亚洲研究院的研究员们将资源调度优化这个场景高度抽象,搭建出了一个可以让 AI 技术更好赋能这一场景的、通用的技术平台 MARO。MARO是一个面向多行业横截面上的全链条资源优化 AI 解决方案,对于 MARO 已经涵盖的场景,用户只需提供合规的数据,MARO 就可以构建仿真环境并支持分布式并行训练,进而给出最终的解决方案;而对于尚未支持的场景(如不同的资源实体,不同的资源产生和消耗逻辑等),MARO 则可以在限定的成本下帮助构建可行的方案。

从技术角度来看,智能资源调度优化可以分为三个层面:最底层,可以理解为信息感知层,在这里需要通过一些智能感知技术把整个过程真正数字化,比如共享单车场景里的每个停车点、每辆单车,或是航运物流里的每个集装箱、船只、港口等;第二层是信息的推理层,它建立在信息感知层之上,通过预测模型刻画未来的资源供需情况,然后基于这些情况来设计算法去优化资源调度;最高层则是智能决策层,该层无需额外的算法模型,因为智能模型可以直接利用第一层和第二层的信息给出最终的优化方案,实现完全的、端到端的决策。目前,业界的优化应用大多处于第二层,而 MARO 在兼顾第二层需求的前提下,可助力资源优化实现第三层中的智能决策。

打开MARO的正确姿势

考虑到不同行业用户对 AI 技术的掌握程度会有所不同,MARO 平台提供了三种面向不同用户的构建方式,以帮助相关人员由浅入深地应用 AI 技术,创建自己的资源调度优化模型,同时,也降低了科研成果在真实场景中应用的门槛,让 AI 可以助力解决业界更多的实际问题。

MARO 平台的三层架构

MARO Service:服务层,开箱即用

对于拥有行业领域知识,但没有机器学习开发经验的人员来说,MARO Service 提供了一些现成的资源调度场景的优化模型,如已经上线的空集装箱调配和共享单车场景等。如果用户面临与这三个模型高度匹配的业务场景,那么导入自己的业务数据,即可使用相应的模型直接连接上下游业务系统。MARO 团队还在不断改进该层服务,未来将会选取更多领域的典型资源优化场景加入到平台中,让更多行业用户受益。

MARO Platform:构建和训练自己的资源调度模型,并可直接用于生产

对于需要构建自有模型的用户来说,如今无需太高的 AI 技术要求,就可以在 MARO Platform 灵活创建新场景、训练新模型,不断测试新算法的优劣,通过反馈持续调整优化模型。例如,有一定规模的物流企业,本身已具有相应的技术积累,也有自己的传统解决方案,如果希望利用 AI 寻找创新的优化方案,那么此时就可以通过 MARO 提供的工具快速构建模拟场景,并基于实际的数据和业务逻辑进行优化,从而迭代出自己的模型,且可以将该模型集成到自有的生成环境中使用。

在技术实现方面,MARO Platform 中所提供的高性能仿真器是其精髓所在。首先,用户需要在仿真器环境中构建一张初始的静态图,根据实际场景可以包含异构的点和边。比如在共享单车场景中,单车站点对应静态图中的“点”,而站点的位置远近对应“边”,再加上站点容量等其他信息,就可以构建出一张静态图,也是机器认知的初始环境。

搭建包含业务逻辑的动态环境

然后,导入用户的骑行数据(资源需求流),这对系统而言相当于一个个事件(Event)流,它们不断触发、更改图上节点以及边的各种属性,从而形成了一个包含业务逻辑的动态环境。通过环境与事件的不停交互,MARO 可提供基于 AI 算法的几近实时的优化策略,传统方法需要几小时才能生成的策略,MARO 几秒钟就可以提供。而且环境增强的方法使得 MARO 的仿真环境可以在一定程度上模仿现实的异常环境,进而提高模型的鲁棒性,比如资源网络中任意一个节点出现问题,只需把该节点停掉即可,并不会影响整体算法。

这其中,资源需求的时序信息、资源持有者的空间信息等,都可以通过图神经网络有机地整合在一起,以辅助做出更好的决策。同时,MARO 还会考虑资源持有者相互之间的竞争,包容每个资源持有者可能会着眼于局部优化,而给出相对“自私”一点的策略,来完成竞合策略学习,但其最终目的还是希望全局网络能够实现更好的优化。

如果将共享单车的场景延伸到数据中心虚拟机的分配中,那么关键资源则由自行车变成了计算机集群上的计算资源,如 CPU、存储,而事件流变成了客户对资源的实时需求,如需要10 个 CPU、100GB 内存这样的事件。尽管使用场景变了,但调度优化的本质并没有改变。因此,MARO 可以最大程度地适用于多个行业需要资源优化的各种场景,同时它还可以与基于运筹学和组合优化的传统方法相互融合。

MARO Framework:基础设施快速搭建,SDK调用所需资源

对于有着较深开发积累的用户来说,MARO Framework 提供了一个可扩展的工具包,可以基于现有的高性能模块以及通用接口实现“更加原创的”仿真环境构建和问题建模。开发人员可以通过 SDK 调用任何所需的计算、存储、网络等资源,也可以根据自己已有的计算机集群搭建 MARO 的平台,进而获得在分布式环境下进行并行训练的支持。此外,对于现有问题 MARO 还提供了一批基准算法实现,包括基于经典规则的方法、基于运筹学的组合优化方法、以及基于经典的强化学习的方法,方便用户进行算法比较并快速上手。

由于资源优化是个独有却普遍存在于各个行业的应用场景,所以 MARO 为不同行业、不同需求的用户分层提供了相应的框架和工具,用户可以更好地专注于自己业务逻辑场景的开发和目标模型的优化,其他诸如训练和管理模型、基础设施提供甚至可视化分析等“杂事”都可以放心地交给 MARO 来处理。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6719

    浏览量

    107353
  • 新技术
    +关注

    关注

    0

    文章

    32

    浏览量

    9055
  • ai技术
    +关注

    关注

    1

    文章

    1313

    浏览量

    25599
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    RABS手套破损难发现?气密性检测仪帮忙-岳信仪器

    ”。可问题来了:手套用久了难免磨损,一个小破洞肉眼根本看不出来,但足以导致微生物侵入,污染药品——这该怎么办?答案就是:使用气密性检测仪帮忙。很多人以为,只要手
    的头像 发表于 12-05 16:50 337次阅读
    RABS手套破损难发现?气密性检测仪<b class='flag-5'>来</b><b class='flag-5'>帮忙</b>-岳信仪器

    请问Keil的优化等级到底该如何选择?

    能、资源占用和开发效率的关键。Keil MDK通常提供以下几个主要的优化等级选项。 -O0 (无优化 / Optimization Level 0): 目标: 提供最佳的调试体验。 行为: 编译器几乎不
    发表于 11-20 07:51

    通过优化代码提高MCU运行效率

    。 内存访问优化 充分利用缓存:如果MCU有Cache,尽量保证代码和数据的局部性,即让相关的数据在内存中连续存放。 避免内存碎片:在动态内存分配受限的系统中,尽量使用静态分配。 对齐访问:保证数据在内
    发表于 11-12 08:21

    蜂鸟E203内核优化方法

    。 修改内核参数:对蜂鸟E203的内核参数进行相应修改,可以优化内核运行效率,提高系统性能,比如调整缓存大小、内存分配策略等。 资源管理:进行有针对的资源管理,例如调度算法的修改,调整
    发表于 10-21 07:55

    工业物联网如何促进生产资源优化配置

    工业物联网通过实时数据采集与监控、预测性维护、生产流程优化、供应链协同管理、数据分析与决策支持等核心手段,实现了生产资源的动态调配与高效利用,显著提升了制造业的生产效率、降低了成本,并推动了柔性生产
    的头像 发表于 09-30 16:54 1225次阅读

    鸿蒙5开发宝藏案例分享---优化应用包体积大小问题

    少被讨论。赶紧跟大家分享一波,附代码详解和实操建议,让你的应用秒瘦身~✨ ?1. SO库压缩:立竿见影的瘦身术 问题 :SO库(尤其是C++库)占用空间大,默认打包不压缩。优化 **:在 **&
    发表于 06-13 10:09

    HarmonyOS优化应用预置图片资源加载耗时问题性能优化

    根据配置的参数读取将要纹理压缩的文件资源,然后hvigor构造restool命令开始解析并生成资源文件列表,之后根据文件列表遍历资源文件,将待转换文件进行转码生成纹理格式的文件,已经
    发表于 05-29 16:11

    HarmonyOS优化应用内存占用问题性能优化

    应用开发过程中注重内存管理,积极采取措施减少内存占用,以优化应用程序的性能和用户体验。 HarmonyOS提供了一些内存管理的工具和接口,帮助开发者有效地管理内存资源: onMemoryLevel接口
    发表于 05-21 11:27

    HarmonyOS优化应用包体积大小问题性能优化

    一、概述 减小应用包大小是提升应用下载和安装体验的重要方式。通过压缩、精简或者复用应用中的代码或资源,可以有效降低应用包体积大小,减少空间占用,从而达到提升应用下载和安装速度的目的。在了解如何优化
    发表于 05-20 14:50

    提升AI训练性能:GPU资源优化的12个实战技巧

    在人工智能与机器学习技术迅速发展的背景下,GPU计算资源的高效利用已成为关键技术指标。优化的GPU资源分配不仅能显著提升模型训练速度,还能实现计算成本的有效控制。根据AI基础设施联盟2
    的头像 发表于 05-06 11:17 1179次阅读
    提升AI训练性能:GPU<b class='flag-5'>资源</b><b class='flag-5'>优化</b>的12个实战技巧

    HarmonyOS NEXT 原生应用/元服务-DevEco Profiler性能优化过程

    优化代码; 4.再次使用“Realtime Monitor”查看各项资源的使用情况是否符合预期,验证代码修改的可行性。 本文主要参考与引用自HarmonyOS官方文档。
    发表于 02-19 15:28

    如何优化 CPLD 性能

    实现: 逻辑优化 : 逻辑简化 :在设计逻辑时,尽可能简化逻辑表达式,减少逻辑门的数量,从而减少延迟和功耗。 资源共享 :合理分配和共享资源
    的头像 发表于 01-23 10:03 1109次阅读

    信道分配算法在通信中的应用

    在现代通信系统中,信道分配算法是确保有效、高效通信的关键技术之一。随着移动通信技术的快速发展,用户数量的增加和数据流量的爆炸式增长,对信道资源的需求也在不断上升。 信道分配算法的基本概念 信道
    的头像 发表于 01-22 16:22 1188次阅读

    基于自适应优化的高速交叉矩阵设计

    利用率和传输效率。对该设计进行前端仿真和后端布局布线,仿真验证了该方法在不同负载环境下的优越性,能够优化总线资源分配,提升传输速度,降低总体功耗。
    的头像 发表于 01-18 10:24 703次阅读

    云计算环境下的IP地址分配方式

    提供商为用户提供的各种云资源分配网络标识符,以实现云资源之间以及云资源与外部网络的通信。云计算通常包括基础设施即服务、平台即服务和软件即服务等多种服务模式,不同模式下IP地址
    的头像 发表于 12-19 14:02 843次阅读