0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Volcano的技术生态受到业界广泛认可

华为开发者社区 来源:华为开发者社区 作者:华为开发者社区 2022-04-24 13:34 次阅读

云原生计算基金会(CNCF)宣布,由华为云捐献的业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目。这意味着Volcano的技术生态受到业界广泛认可,CNCF云原生技术版图对于批量计算的支持也已趋于成熟。

华为云CTO张宇昕表示:“华为云一直致力于云原生技术、产业和生态的建设,Volcano融入了华为云在云原生、AI、大数据、HPC等领域中沉积的行业和技术经验,促进云原生技术与企业数据资产高效融合、充分释放数据红利,加速企业数字化、智能化进程。”

CNCF首席技术官Chris Aniszczyk也表示:“对于复杂的Kubernetes工作负载,尤其是AI、大数据等领域,批处理可以大大简化部署。以云原生的方式来精简大批量数据的处理是非常新颖和有价值的实践,Volcano使得Kubernetes能够成为世界级的工具,助力科学研究、高性能计算等行业的发展。”

Volcano项目于2019年6月开源,2020年4月正式成为CNCF沙箱项目。Volcano自2020年进入CNCF以来,在人工智能、大数据、基因测序等海量数据计算和分析场景得到快速应用,并构建起完善的上下游生态,目前腾讯、爱奇艺、小红书、蘑菇街、唯品会、鹏城实验室、锐天投资等企业均已将Volcano应用于生产环境。

自加入CNCF以来,Volcano社区已吸引2.6万全球开发者、并获得2.3k Star和530+ Fork。Google、Facebook、Amazon、Red Hat、华为、百度、腾讯、建信金融科技等科技巨头纷纷加入Volcano社区贡献,海内外生产落地用户广泛分布于互联网、先进制造、金融、生命科学、科研等行业。Volcano也因其创新的技术理念、活跃的社区生态获得第二届“中国优秀开源项目”和 “2021年OSCAR尖峰开源社区及开源项目奖”,其作业管理能力被写入由中国信息通信研究院牵头制定的《高性能计算(HPC)云平台标准》,成为行业标准。

过去两年,Volcano全球生态发展迅速,一批行业标杆用户不仅积极地推动Volcano落地生产环境,也基于自身实践反哺社区,实现双赢。

小红书技术部负责人张雷表示:“云原生批量计算项目Volcano应用于小红书大规模机器学习平台、大数据平台等生产系统,支撑着搜索、推荐、广告、内容审核等多项关键业务,Volcano大大简化和加速了大数据以及AI应用在云原生环境的落地进程,小红书业务系统借助Volcano提供的丰富功能和优越性能,实现了资源成本的降低和作业性能的提升,期待Volcano在云原生领域持续深耕,发挥更大价值。”

中科类脑研发总监常峰提出:“Volcano是最早针对批量计算场景开源的云原生项目之一,其动态可配的高级调度策略和优秀的资源管理能力解决了AI场景下作业调度、生命周期管理、异构硬件支持等多个问题。在落地实践的过程中,我们基于Volcano的能力做扩展,有效提升了系统稳定性和资源利用效率。期待加入CNCF后,在社区的加持下Volcano能持续孕育出更多优秀的解决方案和最佳实践。”

截止目前,Volcano社区共发布21个版本,最新版本为v1.5.1。2022年,社区将会进一步扩大技术版图,聚焦以下能力建设:

跨云跨集群调度:跨集群一直是分布调度系统解决大规模、灾备等问题的主要解决方案。同时,为了降低厂商绑定的风险,并最大限度兼顾不同云厂商的优势,多云环境下的负载高效分发逐渐成为趋势。Volcano将会通过多个项目构建分层调度体系,基于全局资源视图,提供多样化策略如成本优先、效率优先等,为作业发放提供最佳决策。

在离线作业混部:针对业界普遍存在的数据中心集群资源率低下的问题,Volcano将围绕业务感知、在离线统一调度、资源超卖、资源隔离与抢占、动态调度等能力的构建,在保证业务稳定性的前提下实现降本增效。

弹性调度:针对弹性训练、竞价实例的场景,Volcano将会增强基于min,max的调度能力、作业感知、资源抢占能力,实现资源利用最大化。

GPU虚拟化:推理场景以及GPU开发的场景,GPU使用率普遍偏低,Volcano已实现多容器共享使用GPU,未来将进一步增强算力、显存的隔离能力,保障在提升利用率的同时,降低业务间的干扰。

细粒度资源管理:Volcano目前通过Queue提供资源的高效复用,针对更复杂的场景,Volcano将会通过Hierarchy Queue,、Policy per Queue、Plugin per Queue等机制提供更细粒度的管理和共享。

工作流管理:工作量的编排使用越来越广泛,Volcano将基于子项目JobFlow,构建多场景、轻量化、高性能的编排能力。

基于真实负载的动态调度与重调度:针对当前基于资源申请进行的负载调度、资源碎片化引入的节点使用率不均衡的问题,Volcano将结合监控能力构建基于真实负载的动态调度和重调度。

华为云一直是云原生新技术的探路者、产业新格局的开拓者,2015年华为作为唯一亚洲企业参与云原生计算基金会(CNCF)创建,并一直是CNCF核心项目的主要贡献者,代码贡献稳居亚洲第一。除Volcano项目外,华为云还捐献了首个智能边缘计算项目KubeEdge、首个多云容器编排项目Karmada,完善了CNCF的技术生态;同时,华为云还拥有服务网格顶级开源社区Istio在亚洲的首个指导委员会席位。

为进一步推动云原生技术在各行业的落地、构建产业融合新格局,华为云联合中国信通院先后发布了《云原生2.0白皮书》、《数字政府云原生基础设施白皮书》为企业落地云原生提供体系化的理论参考,并与CNCF、中国信通院联合成立了全球云原生交流平台——创原会,为全球企业提供共享、共创、共赢的云原生交流平台,已服务于500+企业的技术管理者。未来,华为云将持续与广大客户一起共建云原生产业生态圈,做深耕数字化的先行者。

原文标题:重磅!业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目

文章出处:【微信公众号:华为开发者社区】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Volcano
    +关注

    关注

    0

    文章

    4

    浏览量

    6067
  • 华为云
    +关注

    关注

    3

    文章

    2149

    浏览量

    16795
  • 云原生
    +关注

    关注

    0

    文章

    222

    浏览量

    7841

原文标题:重磅!业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目

文章出处:【微信号:Huawei_Developer,微信公众号:华为开发者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    英威腾网能荣获“数字化创新实践案例”奖,微模块集成技术实力获业界认可

    题,不仅体现了对前沿技术的敏锐洞察,更展现了对未来发展趋势的深刻预见。   年会聚焦人工智能、大数据、云计算等核心议题,邀请了国内外众多知名专家学者,共同为IT产业的未来发展把脉献策。通过“峰会+主题论坛+IT生态伙伴大会”的多元化形式,年会为
    的头像 发表于 04-18 18:46 284次阅读
    英威腾网能荣获“数字化创新实践案例”奖,微模块集成<b class='flag-5'>技术</b>实力获<b class='flag-5'>业界</b><b class='flag-5'>认可</b>

    感谢安徽工程大学对我司同步热分析仪的认可

    ,其科研实力和教学水平一直受到社会各界的广泛认可。此次,安徽工程大学的科研团队在经过严格的市场调研和对比分析后,最终选择了我司的同步热分析仪作为实验设备。这充分证
    的头像 发表于 04-09 09:11 56次阅读
    感谢安徽工程大学对我司同步热分析仪的<b class='flag-5'>认可</b>

    诚迈科技荣获华为开发者联盟生态市场服务商认证

    近日,诚迈科技凭借在鸿蒙生态领域的卓越创新实力与广泛市场认可,成功获得华为开发者联盟生态市场服务商资质认证。这一认证不仅标志着诚迈科技在推进鸿蒙生态
    的头像 发表于 03-13 11:35 415次阅读

    中科驭数自研第二代DPU芯片K2获得行业认可

    近日,中科驭数自研第二代DPU芯片K2在众多云生态创新应用技术产品中脱颖而出,成功入选由中国云产业联盟暨中关村云计算产业联盟发布的“2023年中国云生态创新应用技术产品”。这一殊荣既是
    的头像 发表于 01-18 09:20 515次阅读

    【限量门票】繁荣生态,人才先行︱首届OpenHarmony人才生态大会即将在上海召开

    单位代表等,介绍OpenHarmony社区生态及人才进展、展示OpenHarmony操作系统的技术革新、分享阶段性技术成果,围绕OpenHarmony人才生态发展中面临的各种问题、挑战
    发表于 12-04 16:30

    【报名开启】繁荣生态,人才先行︱首届OpenHarmony人才生态大会即将在上海召开

    共建单位代表等,介绍OpenHarmony社区生态及人才进展、展示OpenHarmony操作系统的技术革新、分享阶段性技术成果,围绕OpenHarmony人才生态发展中面临的各种问题、
    发表于 12-04 16:23

    上海站报名启动! 2023年开源产业生态大会OpenHarmony生态分论坛

    作为年内开源领域不容错过的科技盛宴,2023年开源产业生态大会将于12月19日在上海盛大开幕。本次活动由上海市经济和信息化委员会、上海市科学技术协会和\"科创中国\"开源创新
    发表于 11-24 14:55

    陈海波:OpenHarmony技术领先,产学研深度协同,生态蓬勃发展

    11月4日,以“技术生态,智联赢未来”为主题的第二届OpenHarmony技术大会在北京隆重举办。本次大会由OpenAtom OpenHarmony(简称“OpenHarmony\"
    发表于 11-06 14:35

    技术生态 智联赢未来,第二届OpenHarmony技术大会圆满举行

    行业权威大咖、技术专家及高校技术导师,与众多业界开发者齐聚一堂,通过1个主论坛、8个分论坛、70+议题的探讨,分享OpenHarmony操作系统的技术革新与
    发表于 11-04 14:59

    技术生态,智联赢未来 第二届OpenHarmony技术大会即将在京启幕

    OpenHarmony技术大会后,国内智能终端操作系统技术与开源生态布局也实现了进一步发展。为此,第二届OpenHarmony技术大会升级规格与规模,拟邀120位行业权威大咖、
    发表于 10-31 11:27

    景旺电子ESG管理绩效获得广泛认可

    面均高于行业平均水平。景旺电子首次披露ESG报告即获评A级,这不仅是公司自身稳健经营、规范治理的价值体现,也标志着公司ESG管理绩效获得广泛认可,更反映了公司将“以人为本,制造精品,拓展企业,回报社会”的经营理念贯彻始终。 经统计,A股上市企业中评级达
    的头像 发表于 09-14 09:56 392次阅读

    2023 RISC-V中国峰会:RISC-V深圳技术分享会(同期会议)

    。本届分享会将邀请生态厂商、研究机构、业界专家、社区伙伴和开源开发者齐聚一堂,共同讨论 RISC-V 相关的技术和研究、RISC-V发展趋势与机遇。
    发表于 08-15 17:27

    浪潮云海庞慷宇:产品筑基,生态共赢,云领企业智慧化转型

    、场景下客户的上云需求。在这过程中,浪潮云海也经历了从成长到成熟的蜕变,整体市场表现得到业界一致认可。 图:浪潮数据云计算产品总监 庞慷宇 产品领先为生态共赢提供基础保障 凭借对私有云市场和客户需求的深入研究,及研发层面的持续发
    的头像 发表于 08-09 20:28 711次阅读
    浪潮云海庞慷宇:产品筑基,<b class='flag-5'>生态</b>共赢,云领企业智慧化转型

    UWB超宽带技术的跨生态能力:get到,就能赢!

    “跨生态”能力的奇妙技术!它能够将汽车和手机两个生态系统连接在一起,还能够向智能家居等更广泛的领域延伸。能够在UWB相互连接的生态交集上占有
    的头像 发表于 07-28 08:05 250次阅读
    UWB超宽带<b class='flag-5'>技术</b>的跨<b class='flag-5'>生态</b>能力:get到,就能赢!

    构建独步业界技术生态,意法半导体赋能万物智联新世界

    STM32峰会在深圳成功举办。本届峰会以“STM32不止于芯”为主题,专注于边缘AI、网络连接、信息安全、生态系统与开发者优先计划,重点展示了STM32创新产品技术如何赋能各种应用,为峰会现场来宾和直播间观众带来极具创意和新意的主题演讲。 本届峰会举办了50多场专题会议,
    的头像 发表于 06-09 09:35 445次阅读