Volcano:在离线作业混部管理平台 实现智能资源管理和作业调度

现代互联网数据中心的规模随着应用服务需求的快速增长而不断扩大，但服务器资源利用率却一直很低，导致企业基础设施成本不断上涨。随着云原生技术的发展，混合部署成为了降低成本的一大手 段。本文结合华为CCE团队在混合部署方面的研究和实战，介绍了混合部署的背景、概念、混部技术的设计方案和实际落地情况，以及对未来的计划和展望。
云原生概念在2013年由Matt Stine提出并沿用至今，经过不断的总结完善，已经涵盖了DevOps、持续交付、微服务、容器化等主题，成为一套完整的技术方法体系。通过构建易观测、低耦合、容错性高的 系统来达成提高效率、加速创新、降低成本的目标。 随着云原生基础技术日渐成熟，在提升效率和加速创新的目标上已经取得了显著的成效。得益于效率提升的优势，如今千行百业都在拥抱云原生，Gartner报告指出，到2022年将有75%的全球化企业在生 产中使用云原生的容器化应用。同时伴随着开源项目的不断更新和逐步成熟，其加速创新的优点也促使各企业在AI、大数据、边缘、高性能计算等新兴业务场景不断采用云原生技术来构建创新解决方 案。然而在降低成本的目标上，当前仍面临着基础设施成本高昂和资源利用率低下的问题。全球云基础设施服务支出保持千亿美元的年增长，总体规模已经突破万亿美元大关，中国仅IDC业务在2019年 就突破了千亿大关，并保持30%的年增长率。根据Dell'Oro市场研究公司于2021年7月发布的预测，未来五年服务器支出将以11%的年复合增长率增长，到2025年将占数据中心资本支出的近一半。《中 国“新基建”发展研究报告》称，到2025年，数据中心将占全球能耗的最大份额，高达33%。另一方面，全球服务器平均利用率不到20%，我国大多数数据中心的PUE普遍大于2.2。由此可见，云基础设施在 降低成本上还有很大的提升空间。