- 硬核干货！海量日志分析技术，听说IT达人都想知道……

爱数 AnyRobot Family 3.0（下面简称 AnyRobot） 海量日志分析融入了大数据分析技术，其核心要点在于三个重要方面：海量日志的采集处理、海量日志的存储、海量日志的分析。下面，我们就以AnyRobot为例剖析海量日志分析技术。

1.海量日志的采集处理方面

有两个核心点，分别是数据采集的多样性和实时数据处理的性能。

在采集数据源的多样性方面，AnyRobot 可以对接文件、TCP二进制数据量、压缩文件、结构化数据、Syslog、SNMP 等多种数据源，我们还内置了大量的分析模板，支持市面上多种网络设备、数据库、应用软件、中间件等各类应用，可以实现大部分场景数据的“开箱即用”。当然，数据源的接入也可以通过界面配置的方式快速完成。在实时处理方面，AnyRobot 采用了可扩展的消息队列和流计算引擎，保证了实时处理的性能，能够自如地应对数万甚至数十万每秒的数据流量。

2.海量日志的存储方面

我们采用存储分层的策略对数据进行分层，根据我们上文中探讨的分析思路，应该尽量减少用户在实时分析场景下使用的数据量，我们将分析数据的存储分为三个层次：

第一层：用于实时分析和查询的数据，这部分数据有两个来源。第一部分是短期内进入系统中的数据，这部分数据保留的大量的细节信息，可以用户排错、细粒度的管理分析、事件分析等场景。第二部分是历史数据经过离线批量计算产生的分析结果，这部分数据的细节已经被隐藏起来，主要用户统计分析和报表场景。这一部分的数据由于实时性要求高，也有高可用的要求，因此数据的量多于进入系统的数据量，存储方式可以采用更高性能的 SSD 存储。

第二层：用户存储离线分析的数据，这部分数据是对第一层数据的长期保存和离线分析，这部分数据可以存储在成本更低的对象存储或者云存储中，能够满足小时级别的数据分析和访问需求，需要进行实时分析和日志追溯时，可以重新导入到实时分析存储中去。这部分数据可以通过压缩的方式进行存储，由于日志文件的特性，压缩比最高能够达到原始数据1：5以上。

第三层：归档存储，由于合规性的要求和日志长期保存的需求，可以将更长时间的日志数据通过备份的方式进行归档，采用爱数的 AnyBackup 就能够完成这一工作。这部分数据不需要再实时或者离线分析中进行查看，对它们的历史分析结果已经合并到和上两层的分析当中。这部分数据采用 AnyBackup 自带的压缩和重复数据删除功能，能够获得 95% 以上重复数据删除率

数据分层存储

3.海量日志的分析方面

AnyRobot 实现了一个基于 SPL（搜索处理语言）的搜索引擎，采用分布式计算的方式对数据进行分析和计算，在实时分析方面能够快速的在数亿级别数据量的情况下进行实时分析，同时能够兼容 Hadoop、Spark 等离线分析引擎，并能连接外部数据源，将实时分析、离线分析结果和外部数据源的查询结果合并后呈现给最终用户。

在新版本的 AnyRobot 中也集成了机器学习能力，能够实现异常检测、趋势分析等应用，满足更多使用场景的覆盖。

五．结语

日志是大数据的重要组成，为了满足海量日志分析的需要，我们需要从海量日志处理、存储和分析三个方面来设计我们的日志分析系统。爱数 AnyRobot Family 3.0 通过加入消息队列、流式处理、存储分层、离线分析、机器学习等特性，是的海量日志分析的的效率和用户体验都得到了大幅的提升。