从应对日十亿量级监控项解密浪潮云平台大规模集群监控

    

浪潮云平台InCloud OpenStack是面向下一代云数据中心和云原生应用的智慧云操作系统，全面基于OpenStack，采用开放标准技术路线，实现用户业务的自动感知、业务的智能管理和服务的自动化交付，为用户构建开放、融合、安全的云，支撑面向未来的智慧计算世界。浪潮云平台InCloud OpenStack已成功应用于金融、政府、能源、环保、教育等行业，累计拥有3000+用户。

OpenStack是开源 IaaS解决方案，组件众多，架构复杂，并且技术栈长。随着基于OpenStack的客户系统和业务规模的快速提升，实现对系统和业务进行高效、快速、灵活监控和告警的需求越来越迫切，既要保证服务的高可用、高性能、可扩展，又要提高异常处理效率，降低损失。

以zabbix、为代表的传统监控，具有采集方式多样、插件成熟、配置灵活等优点，但在大规模OpenStack集群监控中，却存在如下缺点：

配置麻烦，无法根据节点上运行的服务自动配置监控项。性能瓶颈，多采用关系型数据库，并发能力、读写性能等无法支撑大规模集群。用户界面专业复杂，不够简单易用。不易扩展，以监控为目标，不易添加智能分析等功能。

浪潮云平台InCloud OpenStack监控模块，提升监控效率

浪潮云平台InCloud OpenStack监控模块就是在这个背景下诞生并不断进行优化的，其整体架构图如下所示，此架构能够有效提升监控数据获取密度与存储数量级，为运维决策提供数据支撑。

浪潮云平台InCloud OpenStack监控模块

浪潮云平台InCloud OpenStack监控模块提供了简单易用的页面供用户进行监控管理配置及查看，包括：支持资源实时指标、历史曲线；支持采集配置、告警配置、通知配置；支持配置的及时下发和快速生效；支持告警历史记录、通知历史记录的管理。

浪潮云平台InCloud OpenStack监控页面

面对日十亿量级监控项，浪潮InCloud OpenStack如何实现秒级监控？

大规模监控是浪潮云平台InCloud OpenStack解决的最核心问题。以某行业客户的InCloud OpenStack项目为例，其监控模块的物理服务器规模有500+台，性能数据采集周期10秒，服务数据周期1-5分钟，当全部监控项都设置为采集时，每个节点约2000+监控项/周期，每天集群约产生50亿项监控数据。

面对如此庞大量级的监控项，并实现秒级监控，需要解决五个主要问题：大规模部署和海量监控的采集配置该如何进行？大规模集群的采集压力如何化解？监控数据的实时性和高并发如何应对？多OpenStack集群的集中监控如何实现？面对海量告警，又该怎样快速定位问题？

面对这五个棘手问题，浪潮云平台InCloud OpenStack逐一给出了解决方案：

1、容器化一键部署

集群规模的扩大对于云平台监控的部署特别是监控的配置的要求很高，浪潮云平台InCloud OpenStack监控模块的安装部署实现了容器化，采用Kolla-ansible进行一键化部署，部署流程包括采集配置、容器部署、配置表初始化、脚本发布、监控变量导入、页面导入等，部署时根据OpenStack节点角色自动配置采集项，例如当此节点部署有mariadb服务，则此节点配置mariadb相关采集；当此节点部署nova-compute服务时，则此节点配置nova-compute相关采集。通过此方案InCloud OpenStack实现了监控一键部署。

2、主被动混合采集机制

浪潮云平台InCloud OpenStack监控模块数据采集支持集中采集、代理采集以及事件采集三种采集方式，如下图所示，可实现异构设备的数据采集，具体包括OpenStack系统本身（宿主机、虚拟机、集群、容器、核心服务）、原生OpenStack（宿主机、虚拟机、集群、核心服务）、操作系统、数据库、存储服务、中间件、CEPH存储等。

这种主被动混合采集机制，既减少了性能数据的采集压力，有效地校验了关键资源的数据完整性，又提高了关键数据的实时性。