0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Volcano的技术生态受到业界广泛认可

华为开发者社区 来源:华为开发者社区 作者:华为开发者社区 2022-04-24 13:34 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

云原生计算基金会(CNCF)宣布,由华为云捐献的业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目。这意味着Volcano的技术生态受到业界广泛认可,CNCF云原生技术版图对于批量计算的支持也已趋于成熟。

华为云CTO张宇昕表示:“华为云一直致力于云原生技术、产业和生态的建设,Volcano融入了华为云在云原生、AI、大数据、HPC等领域中沉积的行业和技术经验,促进云原生技术与企业数据资产高效融合、充分释放数据红利,加速企业数字化、智能化进程。”

CNCF首席技术官Chris Aniszczyk也表示:“对于复杂的Kubernetes工作负载,尤其是AI、大数据等领域,批处理可以大大简化部署。以云原生的方式来精简大批量数据的处理是非常新颖和有价值的实践,Volcano使得Kubernetes能够成为世界级的工具,助力科学研究、高性能计算等行业的发展。”

Volcano项目于2019年6月开源,2020年4月正式成为CNCF沙箱项目。Volcano自2020年进入CNCF以来,在人工智能、大数据、基因测序等海量数据计算和分析场景得到快速应用,并构建起完善的上下游生态,目前腾讯、爱奇艺、小红书、蘑菇街、唯品会、鹏城实验室、锐天投资等企业均已将Volcano应用于生产环境。

自加入CNCF以来,Volcano社区已吸引2.6万全球开发者、并获得2.3k Star和530+ Fork。Google、Facebook、Amazon、Red Hat、华为、百度、腾讯、建信金融科技等科技巨头纷纷加入Volcano社区贡献,海内外生产落地用户广泛分布于互联网、先进制造、金融、生命科学、科研等行业。Volcano也因其创新的技术理念、活跃的社区生态获得第二届“中国优秀开源项目”和 “2021年OSCAR尖峰开源社区及开源项目奖”,其作业管理能力被写入由中国信息通信研究院牵头制定的《高性能计算(HPC)云平台标准》,成为行业标准。

过去两年,Volcano全球生态发展迅速,一批行业标杆用户不仅积极地推动Volcano落地生产环境,也基于自身实践反哺社区,实现双赢。

小红书技术部负责人张雷表示:“云原生批量计算项目Volcano应用于小红书大规模机器学习平台、大数据平台等生产系统,支撑着搜索、推荐、广告、内容审核等多项关键业务,Volcano大大简化和加速了大数据以及AI应用在云原生环境的落地进程,小红书业务系统借助Volcano提供的丰富功能和优越性能,实现了资源成本的降低和作业性能的提升,期待Volcano在云原生领域持续深耕,发挥更大价值。”

中科类脑研发总监常峰提出:“Volcano是最早针对批量计算场景开源的云原生项目之一,其动态可配的高级调度策略和优秀的资源管理能力解决了AI场景下作业调度、生命周期管理、异构硬件支持等多个问题。在落地实践的过程中,我们基于Volcano的能力做扩展,有效提升了系统稳定性和资源利用效率。期待加入CNCF后,在社区的加持下Volcano能持续孕育出更多优秀的解决方案和最佳实践。”

截止目前,Volcano社区共发布21个版本,最新版本为v1.5.1。2022年,社区将会进一步扩大技术版图,聚焦以下能力建设:

跨云跨集群调度:跨集群一直是分布调度系统解决大规模、灾备等问题的主要解决方案。同时,为了降低厂商绑定的风险,并最大限度兼顾不同云厂商的优势,多云环境下的负载高效分发逐渐成为趋势。Volcano将会通过多个项目构建分层调度体系,基于全局资源视图,提供多样化策略如成本优先、效率优先等,为作业发放提供最佳决策。

在离线作业混部:针对业界普遍存在的数据中心集群资源率低下的问题,Volcano将围绕业务感知、在离线统一调度、资源超卖、资源隔离与抢占、动态调度等能力的构建,在保证业务稳定性的前提下实现降本增效。

弹性调度:针对弹性训练、竞价实例的场景,Volcano将会增强基于min,max的调度能力、作业感知、资源抢占能力,实现资源利用最大化。

GPU虚拟化:推理场景以及GPU开发的场景,GPU使用率普遍偏低,Volcano已实现多容器共享使用GPU,未来将进一步增强算力、显存的隔离能力,保障在提升利用率的同时,降低业务间的干扰。

细粒度资源管理:Volcano目前通过Queue提供资源的高效复用,针对更复杂的场景,Volcano将会通过Hierarchy Queue,、Policy per Queue、Plugin per Queue等机制提供更细粒度的管理和共享。

工作流管理:工作量的编排使用越来越广泛,Volcano将基于子项目JobFlow,构建多场景、轻量化、高性能的编排能力。

基于真实负载的动态调度与重调度:针对当前基于资源申请进行的负载调度、资源碎片化引入的节点使用率不均衡的问题,Volcano将结合监控能力构建基于真实负载的动态调度和重调度。

华为云一直是云原生新技术的探路者、产业新格局的开拓者,2015年华为作为唯一亚洲企业参与云原生计算基金会(CNCF)创建,并一直是CNCF核心项目的主要贡献者,代码贡献稳居亚洲第一。除Volcano项目外,华为云还捐献了首个智能边缘计算项目KubeEdge、首个多云容器编排项目Karmada,完善了CNCF的技术生态;同时,华为云还拥有服务网格顶级开源社区Istio在亚洲的首个指导委员会席位。

为进一步推动云原生技术在各行业的落地、构建产业融合新格局,华为云联合中国信通院先后发布了《云原生2.0白皮书》、《数字政府云原生基础设施白皮书》为企业落地云原生提供体系化的理论参考,并与CNCF、中国信通院联合成立了全球云原生交流平台——创原会,为全球企业提供共享、共创、共赢的云原生交流平台,已服务于500+企业的技术管理者。未来,华为云将持续与广大客户一起共建云原生产业生态圈,做深耕数字化的先行者。

原文标题:重磅!业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目

文章出处:【微信公众号:华为开发者社区】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Volcano
    +关注

    关注

    0

    文章

    4

    浏览量

    6399
  • 华为云
    +关注

    关注

    3

    文章

    2837

    浏览量

    19404
  • 云原生
    +关注

    关注

    0

    文章

    266

    浏览量

    8657

原文标题:重磅!业界首个云原生批量计算项目Volcano正式晋级为CNCF孵化项目

文章出处:【微信号:Huawei_Developer,微信公众号:华为开发者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    OpenAtom openKylin获得国际Pixi官方认可

    作为RISC-V生态核心共建方,OpenAtom openKylin(简称“openKylin”)获得国际Pixi官方认可——社区RISC-V SIG持续深耕软件生态移植工作,深度参与Conda
    的头像 发表于 04-27 13:36 355次阅读

    深化阿里云生态合作 云优化治理能力再获权威认可

    前言2026年2月5日,阿里云上海大区合作伙伴年度颁奖仪式圆满举办,云边云科技凭借在云优化治理领域的深厚技术积淀、丰富的行业落地成果与卓越的生态协同价值,成功斩获“双11”突出贡献奖。这一奖项是阿里
    的头像 发表于 02-09 17:29 1277次阅读
    深化阿里云<b class='flag-5'>生态</b>合作 云优化治理能力再获权威<b class='flag-5'>认可</b>

    拓维信息携开鸿智谷揽获鸿蒙生态多项年度荣誉,以技术深耕与人才培育驱动生态繁荣

    突出贡献单位”,并有专家获评“突出贡献个人”及“优秀个人”称号,技术实力与生态贡献获权威认可。图/现场合影会议凝聚生态共识公司贡献获多项荣誉本次会议系统总结了鸿蒙
    的头像 发表于 01-31 09:51 2017次阅读
    拓维信息携开鸿智谷揽获鸿蒙<b class='flag-5'>生态</b>多项年度荣誉,以<b class='flag-5'>技术</b>深耕与人才培育驱动<b class='flag-5'>生态</b>繁荣

    Ceva 添加 Sensory 的 TrulyHandsfree 语音激活功能, 增强 NeuPro-Nano NPU 生态系统

    NeuPro-Nano现可使用Sensory 业界领先的嵌入式语音唤醒词技术 可在下一代边缘 AI SoC 中实现始终在线的超低功耗应用 随着市场对超低功耗设备中人工智能驱动、语音优先的用户
    的头像 发表于 01-09 11:22 870次阅读
    Ceva 添加 Sensory 的 TrulyHandsfree 语音激活功能, 增强 NeuPro-Nano NPU <b class='flag-5'>生态</b>系统

    龙芯中科携手开源鸿蒙,构筑县域高质量发展新基座

    分享了“龙鸿一体”的最新成果与自主根技术布局,为产业生态注入强劲的“中国芯+中国魂”动能。 龙架构获国际认可,融入中国开源体系 在国际开源软件社区,龙架构已获得业界
    的头像 发表于 12-24 17:52 885次阅读
    龙芯中科携手开源鸿蒙,构筑县域高质量发展新基座

    CST软件的广泛应用

    在21世纪的科技浪潮中,电磁仿真技术已成为推动众多行业发展的关键力量。作为电磁仿真领域的佼佼者,CST软件凭借其强大的功能、高精度的仿真结果以及广泛的应用领域,在全球范围内赢得了广泛认可
    的头像 发表于 12-17 10:22 595次阅读
    CST软件的<b class='flag-5'>广泛</b>应用

    技术赋能,生态深耕!Nordic Tech Tour 2025 中国巡展收官,获开发者高度认可

    。这场覆盖杭州、苏州、厦门、成都、深圳(南山 / 龙华)、广州、上海、北京8大城市、历时近两月的巡展,以高密度技术输出与沉浸式互动体验,成为中国物联网领域年度标杆性交流平台。活动全程收获开发者踊跃参与,不仅让 Nordic 的核心技术与产品体系深度触达行业从业者,更推动其
    的头像 发表于 12-11 15:25 718次阅读
    <b class='flag-5'>技术</b>赋能,<b class='flag-5'>生态</b>深耕!Nordic Tech Tour 2025 中国巡展收官,获开发者高度<b class='flag-5'>认可</b>

    喜报!得瑞领新获评OpenCloudOS年度 “优秀生态伙伴”,生态共建成果获行业高度认可

    2025 OpenCloudOS生态大会落幕,得瑞领新凭借其深度参与、技术赋能与突出贡献获评年度优秀生态伙伴。未来得瑞将进一步深化社区合作,以存储技术赋能国产
    的头像 发表于 12-09 16:12 745次阅读
    喜报!得瑞领新获评OpenCloudOS年度 “优秀<b class='flag-5'>生态</b>伙伴”,<b class='flag-5'>生态</b>共建成果获行业高度<b class='flag-5'>认可</b>

    技术向高 生态同行 地平线首届技术生态大会绘就智能产业共进蓝图

    ),驱动智驾从“向高而行”的技术突破走向“向高同行”的产业协同,广泛赋能从智能汽车到通用机器人的广阔生态。在一系列重磅发布、深刻洞见与精彩展示的背后,余凯的演讲核心始终如一:携手最广泛
    的头像 发表于 12-08 22:16 7610次阅读
    <b class='flag-5'>技术</b>向高 <b class='flag-5'>生态</b>同行 地平线首届<b class='flag-5'>技术</b><b class='flag-5'>生态</b>大会绘就智能产业共进蓝图

    BOE(京东方)健康显示技术策源地论坛成功举办,共筑健康显示产业新生态

    机遇。论坛期间,BOE(京东方)全面展示了其业界领先的“自然光”显示技术(Beneficial Natural Light Technology,BNL),并集中展示多款领先的创新展品,携手全球生态伙伴引领健康显示行业标准,为全
    的头像 发表于 12-08 22:02 601次阅读
    BOE(京东方)健康显示<b class='flag-5'>技术</b>策源地论坛成功举办,共筑健康显示产业新<b class='flag-5'>生态</b>

    开鸿智谷受邀出席开源鸿蒙城市技术论坛(兰州站),共话“具身智能”新生态

    11月21日上午,开源鸿蒙城市技术论坛(以下简称“技术论坛”)——兰州站于兰州大学城关校区圆满举办。本次论坛以“具身智能技术创新与生态共建”为主题,汇聚高校、科研机构及产
    的头像 发表于 11-25 17:57 1040次阅读
    开鸿智谷受邀出席开源鸿蒙城市<b class='flag-5'>技术</b>论坛(兰州站),共话“具身智能”新<b class='flag-5'>生态</b>

    汇川技术iFA平台获得多家全球顶尖机构权威认可

    国际化的开放式平台,其技术实力、标准符合性与生态价值获得了权威认可,软件定义自动化,正加速推动中国智能制造融入全球体系。
    的头像 发表于 10-11 09:47 1475次阅读

    以匠心铸就品质,CET中电技术武汉检测中心通过CNAS实验室认可

    近日,深圳市中电电力技术股份有限公司(简称“CET中电技术”)旗下子公司武汉中电国为技术有限公司检测中心(简称“武汉检测中心”)正式通过中国合格评定国家认可委员会(CNAS)的评审,获
    的头像 发表于 09-04 18:07 1338次阅读
    以匠心铸就品质,CET中电<b class='flag-5'>技术</b>武汉检测中心通过CNAS实验室<b class='flag-5'>认可</b>

    衢州季丰再次获得国家权威认可

    近日,衢州季丰检测技术有限公司(以下简称“衢州季丰”)正式收到中国合格评定国家认可委员会(CNAS)颁发的扩项能力认可证书。这标志着衢州季丰的检测能力和质量管理体系再次获得国家权威认可
    的头像 发表于 08-13 10:40 1584次阅读

    晶科储能检测中心获得CNAS认可资格

    近日晶科储能检测中心正式通过中国合格评定国家认可委员会(CNAS)的认可评审和评定,获得CNAS认可资格(注册号:CNAS L23657)。该资格标志着实验室检测能力正式获得国家级认可
    的头像 发表于 07-30 17:18 1175次阅读