直播精彩回顾（二）| 第二堂直播课精简笔记，欢迎收藏

上周，【虹科云课堂】数据管理与可视化解决方案前两期课程圆满结束，感谢大家的观看与支持。虹小科为大家整理了课后笔记，本篇文章为第二次直播课后笔记，请查收

导语

虹科云课堂

上周二我们已经了解了什么是数据可观察性，它能够在混合多云环境中提供端到端的可观察性的解决方案，数据可观察性可以将现代数据系统的数据、计算和管道层中的事件关联起来，以提供对企业数据管道的健康和可靠性的全面可见性。

Datadog 和 New Relic 等应用程序性能管理 (APM) 工具为开发人员提供了基础设施问题的透明度。在 APM 工具出现之前，只有管理员负责处理性能问题。

然而数据可观察性可以说是建立在APM的基础之上的，是由APM演变过来的，它的重点是开发数据的多维视图，包括性能、质量及其对堆栈其他组件的影响。数据可观察性的总体目标是查看数据对业务需求和目标的支持程度。

最后一个是它如何帮助企业降本增效？

那我们先不说答案，把文章看完，你就明白了，最后我们会总结这个问题的答案。

本文围绕3部分展开

虹科云课堂

1、Pulse产品介绍

2、Pulse介绍功能详解

（数据可观察性具体概念可见3月1日直播）

01

Pulse产品介绍

虹科云课堂

首先来看一下产品介绍，这里列举了一些企业平时可能会遇到的问题，第一个是数据系统可能会发生意外的中断或减速，系统的不稳定导致了耗时的操作问题和日常运维排错，同时也会对业务产生影响，这种操作问题可能会导致开发人员效率低下，项目进度会被严重影响。

第三个就是企业中需要大量的计算节点，在大规模高访问量业务下现有的数据系统性能无法跟上其快速扩展的业务需求，当业务访问处于高峰期时，系统负载过高，访问速度慢，甚至服务器可能会崩溃，企业会经历比较长的(MTTR)平均修复时间、频繁的中断和性能瓶颈。

第四个就是不良的数据导致企业收入降低。在过去的一年中，大概有五分之一的公司因数据不良而失去收入和客户。比如保险行业，与 10 年甚至 5 年前相比，保险公司正在通过越来越多的关键工作流获取越来越多的第三方数据。第三方数据（即保单索赔、财务信息和 PPI）通常是手动汇总的，增加了错误的可能性。对于保险业而言，丢失或错误的数据可能会对业务产生重大影响，导致收入损失、业务决策失误以及缺乏客户信任。

最后一个就是公司有限的人才和技术资源来处理日益复杂的快速变化的技术。公司创建了数据运营团队，并迅速为他们配备了数据架构师、数据工程师、数据管理员等。然而，为了在保持数据流动的同时获得对快速增长的数据基础设施的控制权，大多数企业数据运营团队对手头的管理工具做出了随意的选择，比如选择数据监控工具或APM或者混着用免费的开源工具，但问题是技术发展如此之快，业务需求变化如此之快，管理如此多的工具浪费时间而效率低下，并且用警报轰炸管理人员，却没有提供提前解决潜在问题的方法。

那么，面对这些问题，我们推出pulse这个产品，Pulse 是一种数据可观察性和计算性能监控工具。它能够提高跨混合数据湖和仓库的企业分析和人工智能系统的可见性。Pulse将来自混合系统的信息整理成一个整体视图，使数据团队能够对问题作出快速反应，预测和预防未来的问题，避免重新处理数据，优化现有资源，快速扩展，并有效管理成本。改善数据处理的可靠性、规模和成本。

当通过管道的数据流受到破坏时，它会阻止用户获取所需信息，从而导致根据不完整或不正确的信息做出决策。同时在各种云平台、技术和应用程序之间监控数据流对组织来说是一项重大挑战。为了在性能问题对业务产生负面影响之前识别和解决它们，组织需要能够提供管道宏观视图的数据可靠性工具。那么pulse就是这种工具，它提供全面、实时且可操作的策略，它使用外部输出了对系统内部状态的度量。通过一个用户友好的UI界面就可以看到端到端的管道，这使管理人员能够看到问题发生在哪里，影响到什么，以及问题来自哪里。

那么是谁在用Pulse呢？

Pulse 为开发人员、数据科学家和运营人员提供关于数据的集成可见。Pulse将跨基础设施、应用程序和数据层的事件关联起来，并且在一个单一的仪表板管理界面就能综合多个层次和工作负载的信号，以提供对单个组件、数据管道和系统性能的全面了解。这种方法可以帮助众多团队通过预测、识别和修复数据问题来确保可靠性。

现在都说企业要实现数字化转型，成为数据驱动的公司，那获得良好的数据是第一步，比如说银行保险业要数字化转型，但是可能会遇到与传统经营管理方式的新型风险，比如数据安全、网络安全、隐私保护和数据合规使用等等，面对这些数据问题，这时候就需要pulse了，它能加速企业数字化转型,提高数据系统的可靠性、可扩展性和恢复能力。

预测和预防问题，pulse可以识别数据问题的早期预警迹象，快速查明根本原因，并自动化预防性维护，以避免业务中断，加快云迁移和性能验证，将新技术采用率提高50%，满足SLA，减少MTTR，增加新的MTBF（平均无故障时间）指标，会以周和月为单位。

接下来我们看一下它的特点：首先它可以实时监控和分析数百个作业以找出异常值。Pulse与所有现代数据系统集成，包括 Amazon EMR,Redshift, Apache HBase, Hive,Spark等等，收集每个软件平台对应的指标进行趋势分析和异常检测。

第二个是它使用整个应用程序历史记录有效地调试应用程序，这就是相当我们写代码遇到错误去调试代码一样的，它根据应用程序正确运行时的历史记录、日志什么通过比较去排除问题出现在哪里。

第三个是消除计划外停机，减少平均修复时间（MTTR），pulse能减少问题的发生，因为它能实时监控和分析应用程序的运行，自然就可以在问题发生之前及时去解决异常和通知告警，然后就可以减少MTTR。

第四特点是接收符合系统需求的建议，pulse能够让客户去自定义一些标准规则，并且判断这些规则是否能让系统性能更好。

第五个特点是本地集成到数据引擎中提取数据，pulse与各种平台的原生功能集成，以优化这些平台内的数据流程。它与各种数据库引擎原生集成并生成基于原生 SQL 的指令，然后将这些指令下推到处理引擎以在数据库中执行。

第六个特点是基于Javascript的仪表盘来管理数据系统，使用统一的控制台去管理来自多个应用程序和环境的不同来源的信息，它为管理层提供了对关键 IT 绩效指标和指标的可见性，以调整业务目标并将运营指标与业务优先级联系起来。

接下来看一下pulse的应用场景：

第一个是属于电信、金融服务、能源、物联网、电子商务行业和任何依赖大量静止数据和动态数据以满足运营和分析需求的企业。

如今，数据在端点和金融服务架构的核心基础设施中都以指数速度增长。随着网络托管转移到云或边缘点，生成的数据量将增加 4-5 倍，并且随着微服务组件各自创建自己的数据而变得更加复杂。现有技术已经逐渐无法提供即时快速的响应的。如果没有适合的监控系统，事件会在更长的时间内未被发现和解决，如果不能快速响应，将会导致客户流失，所以十分需要一种技术工具来帮助监控企业数据系统并解决出现的任何问题。

数据可观察性不仅能保证良好的客户体验，同时它也能让CFO财务总监实时访问财务数据和高级分析，提供对关键数据的持续和不间断的访问，因为他是业务决策者，数据驱动的决策对于任何企业的成功都是不可或缺的，因此有必要能够观察系统中任何地方发生的事情，无论其架构多么复杂。

所有公司都可以使用数据可观察性，无论其数字或数据能力如何。与特定于供应商的解决方案不同，数据可观察性建立在与技术无关的原则之上。而且一种良好的数据可观察性方法实际上将使用机器学习和自动化，通过消除手动验证数据的需要，使您的公司更容易访问和扩展可靠的数据。

第二个是拥有过30TB+的数据和500核的处理能力的公司。

第三个是希望采用和扩展先进的开源数据技术的组织。

接着看一下pulse的整体架构。Pulse 从各种系统收集日志、存储它们，并在统一的管理平台显示洞察和分析。代理运行不同的平台，例如 Spark、Hive、Tez 或 HBase。对于每个平台，Pulse 会收集多个指标。例如，为Spark收集Yarn 指标，为Hive收集时间序列数据，为Tez收集App 数据。收集这些指标利用AI进行趋势分析和异常检测，成功的异常检测依赖于对时间序列数据的分析，这些数据由一系列随时间变化的值组成，并且实时、准确。由于时间序列数据包含可用于对未来进行有根据的猜测的信息，异常检测系统使用这些信息来发现异常并发出警报。时间序列数据异常检测还可用于以下指标：网页浏览量、每日活跃用户、移动应用安装、每个潜在客户成本等等。了解异常检测系统可以识别的异常值类型对于从生成的分析中获得最大价值至关重要。一旦您的异常检测系统提醒您存在问题或机会，你就可以做出正确的决定。

将来自指标的数据收集在以下三个服务之一中，例如数据库、时序数据或日志索引，并通过 docker 容器进行部署。

Pulse功能详解

虹科云课堂

02

总结一下pulse的关键功能，首先它可以监控实时的数据，通过创建警报来监控基础设施组件的关键模块，例如 CPU、内存、数据库运行状况和 HDFS，使数据和基础设施层更易于观察。在组织内的各个级别实现实时决策。

第三个是它能加速数据的消耗，优化查询和算法性能，识别瓶颈和多余的开销，它还可以帮助数据团队提高数据管道的可靠性、优化 HDFS 性能、整合 Kafka 集群并降低总体数据成本。

第四个是它可以优化数据操作、容量和数据工程，将部署配置和资源与业务需求对齐，监控和预测共享资源的成本，并以对数据使用和热点的深度可见性管理管道数据流。

第五个是它可以与很多关键数据系统集成，可以轻松地连接到 Databricks、Spark、Kafka、Hadoop以及其他流行的开源发行版、数据仓库、查询引擎和云平台。

Pulse与底层数据库系统集成，通过特定的技术连接器收集来自基础设施、应用程序和数据层的数据，并将其存储在其特定领域的数据存储中。然后，实时操作数据通过专有的Pulse Dashplots进行可视化，它能将所有层的数据元素集中起来，用于操作监控。它还简化了对你的性能指标进行深入了解的过程，如查询次数、复制状态、内存使用、合并操作等。最重要的是，这个集成具有对警报、日志集成的自动操作等全生命周期的支持。

03

数据可观察性是如何帮助企业降本增效

虹科云课堂

回顾直播开头，我们留下了一个问题，数据可观察性是如何帮助企业降本增效呢？相信大家现在已经有了答案。那我在这里总结了一下：第一个它帮助系统是消除计划外停机，能够预测和预防sev 1级别的问题，它能自动化预防性维护、性能调整和问题修复，减少了整个系统维护的成本，第二个是它可以让数据系统基础设施实现弹性伸缩负载均衡，自动化工作负载分析，加快持续创新，执行快速测试，并加强 CI/CD （持续集成和持续交付或持续部署）流程以快速支持新技术，通过让开发人员专注于业务问题，而不是处理与计算、数据质量或数据管道相关的运营问题。节省了开发人员的时间和精力并提高了他们的生产力，技术+人才+专注=提高工作效率；第三个是降低基础设施成本，通过卸载不必要的、过度配置的软件来降低成本，并使基础设施成本与业务需求保持一致。降低数据处理成本并实现实时分析的目标。

云科技事业部

虹科电子

虹科在工业、制造业领域深耕了长达20年，随着云技术的全面发展和数字化工厂的逐步落地，虹科参与了越来越多的云主题的业务，从最初的所有数据先统一采集上云，到后续的边缘计算再上云，到现在的全面业务优化、洞察研究、成本优化等，虹科的云科技事业部已经为行业的用户实操并积累了丰富的解决方案和应用场景。它们包括：资源监控、安全保障、多云的互联互通、应用和数据牵引等。虹科云科技团队在不断顺应国家策略，从技术创新、标准制定、丰富生态、安全保障、节能减排等五个方面，不断创造出更好的产品，帮助工业制造业的用户实现数字化转型、实现基于数据的降本增效。

虹科云科技工程师团队不断参与美国和欧洲产业内先进的专家培训，学习和实践创新的技术手段、操作性强的应用案例，并不断引入到国内的项目中完成落地和推广，这让我们团队充满了自豪感与使命感，赋予了我们当今时代极大的技术价值、工作成就感。