还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

提高CI/CD系统可观察性的四种技术

阿铭linux 来源:CSDN博客 作者:琦彦 2021-08-17 09:31 次阅读

可观察性是DevOps团队的重要组成部分,它可以帮助组织从系统的输出信息,推断系统内部状态。它是一个持续的过程,从你的CI/CD流水线开始,并贯穿于应用程序的整个生命周期。

可观察的CI/CD流水线,使你能够主动监视问题并跟踪CI/CD构建期间发生的错误。如果没有对流水线的可见性,在系统出现异常时,很难追溯到其根本原因。在这篇文章中,我们将讨论提高系统可观察性的四种技术。

1. 生产环境的可观察性

有些错误仅在应用程序部署到生产环境后才会发生,因此很难在本地复现,有些还只是间歇性地发生。当涉及到这些问题时,传统的测试和监控是不够的,因为它们主要用于检查和监控已知错误或问题。但是,如果你能确保你的生产系统是可观察的,那么你可以在故障发生时尽快找到原因或解决问题,从而避免代价高昂的停机时间。应用程序还依赖于许多关键组件,例如存储、队列等。生产环境的可观察性,还使你可以监视应用程序所依赖的三方组件的持续正常运行的时间。生产环境的可观察性有两个关键部分——警报和被动监控。

警报

监控系统,不断检测重要的系统事件并向组织发送警报信息。大多数警报系统都是可配置的,允许你在应用程序的行为方式超出预定义阈值时发送警报。警报可以通过短信、电子邮件甚至Slack消息发送——因此开发人员和利益相关者都知道系统什么时候发生问题。此类警报系统可确保开发人员在应用程序未按预期运行时收到通知。

被动监控

被动监控,对于全面了解应用程序性能和用户使用习惯至关重要,允许软件团队使用真实数据直接跟踪用户体验质量。它不会将测试数据注入网络以模仿用户行为。相反,它从各个网络位置收集用户实际数据。

2. 优化日志记录

日志记录,一般包含有关软件系统发生事件的信息。在对软件进行故障排除时,日志可让你深入了解系统最初出现故障的时间和原因。毫无疑问,日志数据为DevOps团队提供了对被监控应用程序或系统的更高级别的可见性。这使他们能够识别错误原因,以及应用程序中特定问题发生的频率。

但是,如果不对日志进行格式优化和集中处理,日志数据可能会膨胀,直到变得难以使用,尤其是在分布式架构中。当你收集大量业务无关和非结构化数据时,日志分析的挑战会增加。良好的日志记录,会优先记录对应用程序性能至关重要的指标,并确保日志消息结构化、描述性强并包含有用的信息。该信息应包括:

时间戳

唯一用户ID

会话ID

资源使用信息

日志也应该在一个集中的、可访问的位置进行管理。这样,你可以轻松关联不同的日志,将它们与特定会话或用户联系起来,以便于更快地进行故障排除并了解整个基础架构中发生的情况。

3.DevOps文化

仅收集日志或监控生产环境的应用程序是不够的。为了在跨职能团队中实现系统全面的可观察性,你还需要围绕共同目标调整人员和团队协作流程。尽管看似无形,但至关重要。如果团队成员不支持该DevOps文化,组织可能无法实施战略计划。因此,DevOps文化转型,是构建高度可观察的应用程序的基础。创建DevOps环境的最简单方法是将运维团队和开发团队结合起来,这样他们就必须进行更多的沟通和协作。要真正实现由可观察性驱动的DevOps文化,你需要:

营造协作环境

对端到端负责

持续改进

关注客户的需求

接受故障并从中学习

自动化

从软件开发开始到结束,软件团队应该始终编写可调试的代码。该代码还应包含适当的KPI、指标和日志记录。这提高了应用程序的整体可观察性,并为运维团队提供了更多数据指标来检测故障并预测未来可能发生的故障。实现可观察性不仅仅是软件工程师和开发人员的工作,这应该是跨职能团队的共同责任。

可观察性驱动的DevOps文化改变了组织对其开发过程的看法,并将运维思维方式注入到他们的日常实践中。最终,这会提高云应用程序的性能和可用性,同时提高团队的生产力和满意度——反过来也简化了工作流程和协作。

4. 部署前的可观察性

很多组织,都关注在生产系统中实现可观察性,但较少强调从开发阶段就使应用程序具备可观察的能力。部署前的可观察性在许多日常活动中发挥着重要作用,包括决定构建什么或如何发布新功能、优化关键代码以及应用程序的架构调整。部署前的可观察性使DevOps团队能够主动提前修复,在其代码投入生产环境时可能出现的问题。

远程调试

远程调试工具提供了另一种安全感,这些工具允许开发人员调试–在本地环境之外运行的应用程序,而不会干扰应用程序的正常运行、还可以筛选大量日志文件或在本地复制生产环境。通过远程调试,开发人员可以使用不间断断点轻松调试任何环境中的错误,包括云原生开发环境等。如果操作恰当,远程调试可以为开发团队节省大量金钱和时间,对于依赖云平台、服务和基础设施的组织尤其有用。

总结

虽然这四种最佳实践都是有益的,但部署前的可观察性是提高可观察性的最经济的方法。它允许软件开发人员及时检测和修复代码中的问题,同时修复成本最低,不会影响用户。生产环境的可观察性也很重要,在生产环境中任何事情都可能发生,许多不可预测的因素可能会破坏你的应用程序或使其不可用,但它成本高昂。

应用程序日志记录也很重要,但日志管理成本也高且难以分析——尤其是在分布式系统中尝试追踪问题的根本原因时。最后,任何想要实现完全可观察性的企业都应该接受DevOps文化,但这个过程需要时间和整个组织的支持。

译文链接: https://thenewstack.io/improve-your-ci-cd-observability-with-these-4-best-practices/

责任编辑:haq

  • 软件
    +关注

    关注

    49

    文章

    3267

    浏览量

    79116
  • devops
    +关注

    关注

    0

    文章

    72

    浏览量

    10278
收藏 人收藏

    评论

    相关推荐

    英特尔为开发者提供AI、安全、量子计算等一站式解决方案

    英特尔为开发者提供AI、安全、量子计算等领域的一站式解决方案。 • 英特尔推出了新的服务和工具,帮助....
    的头像 英特尔中国 发表于 09-30 19:33 414次 阅读

    虹科Panorama软件平台加快了企业智能化生产的进程

    在上述背景下,虹科提供了一种久经考验的SCADA解决方案——虹科Panorama软件平台。该解决方案....
    的头像 广州虹科电子科技有限公司 发表于 09-30 14:55 141次 阅读

    云源软件教育版改进和增强功能

    云源®软件 V1.9.8.07Education 教育版本发布包括云源软件的改进和增强功能,但是不需要申请 license,且该版本用户只能用于教...
    发表于 09-30 06:58 59次 阅读

    Gowin云源软件License更新版本资料解读

    为了不断加强高云半导体云源®软件的安全性,高云 license 文件进行了安全性算法的增强,称之为 license2.0 和 gowinLicenseSe...
    发表于 09-30 06:33 129次 阅读

    云源软件的特征和增强功能

    V1.9.8.07 版本发布包括云源®软件的特征和增强功能。高云®半导体建议下载此版本以获得最新的软件改进。 ...
    发表于 09-30 06:17 46次 阅读
    云源软件的特征和增强功能

    OpenVINO各AI模型对应不同处理器的效能

    Google于2017年制作了TeachableMachine网页版本的AI软件工具,甫一推出就受到....
    的头像 lhl545545 发表于 09-29 16:25 255次 阅读

    基于分子设计和烷基链工程展示无活细胞侵染性的抗菌诊疗材料

    由于细菌多重耐药性的不断发展,抗菌治疗逐渐进入了后抗生素时代。为此而开发多样化的新型精准抗菌手段是应....
    的头像 鸿之微 发表于 09-29 15:28 74次 阅读

    基于BlackBerry QNX业界领先的软件定义声音架构助力汽车座舱发展

    近日,BlackBerry与上海大音信息科技有限公司今日宣布,基于BlackBerry QNX声学技....
    发表于 09-29 14:46 113次 阅读

    华为助力坤之泰完成从“搬箱子”到“联合创业”的转变

    江苏坤之泰信息科技有限公司成立于2012年,聚焦于传统安防业务,稳步发展。最近两年公司进入了快速发展....
    的头像 华为机器视觉 发表于 09-29 09:10 173次 阅读
    华为助力坤之泰完成从“搬箱子”到“联合创业”的转变

    基于面向STM32Cube的功能包设计过程

    FP-AI-MONITOR1是一种多传感器AI数据监控框架(基于面向STM32Cube的功能包),工....
    的头像 意法半导体中国 发表于 09-29 09:06 509次 阅读

    Gowin云源软件入门指南

    本手册以 FIFO HS 设计为例,介绍高云®半导体云源®软件(以下简称云源)的使用,旨在帮助用户快速熟悉云源的使用流程,提...
    发表于 09-29 08:08 97次 阅读

    Gowin云源软件的安装及操作

    本手册主要描述高云半导体云源®软件(以下简称云源)的安装及操作,旨在帮助用户快速熟悉云源的使用流程,提高设计效率。本手册...
    发表于 09-29 07:34 72次 阅读

    Gowin云源软件用户消息数据手册

    本手册主要描述高云半导体云源软件用户消息,旨在帮助用户快速处理软件使用过程中出现的 warning 信息及 error 信息。本手册包括...
    发表于 09-29 06:54 75次 阅读

    Gowin云源软件安装启动指南

    Gowin云源软件快速安装启动指南
    发表于 09-29 06:13 27次 阅读
    Gowin云源软件安装启动指南

    研华边缘可视化解决方案为客户提供更多的增值服务

    某知名跨国零售商购物中心采用研华边缘可视化解决方案,升级数字标牌,进一步实现数字化转型,改善运营和管....
    的头像 lhl545545 发表于 09-28 15:53 173次 阅读

    软件断点的介绍

    代码全速运行的时候,等了很久发现并没有得到想要的结果,然后暂停之后发现程序死在了循环里面,或者断言里....
    的头像 嵌入式应用开发 发表于 09-28 15:46 309次 阅读
    软件断点的介绍

    东软集团连续三年入选《中国领先汽车科技企业50》榜单

    近日,第五届毕马威《中国领先汽车科技企业50》榜单颁奖仪式在上海举行,东软集团旗下创新型子公司东软睿....
    的头像 东软集团 发表于 09-28 14:27 202次 阅读

    基于非平衡态格林函数理论介绍

    Nanodcal是一款基于非平衡态格林函数-密度泛函理论(NEGF - DFT)的第一性原理计算软件....
    的头像 鸿之微 发表于 09-28 11:26 115次 阅读

    Smart Eye软件车辆数量将大幅增加

    作为驾驶员监控系统(DMS)软件的全球领先者迎来了重要的发展里程碑,其技术已安装在全球一百多万辆汽车....
    发表于 09-28 11:23 139次 阅读

    英特尔 IPU 助力数据中心应对变革挑战

    为使云服务更高效、灵活地为各行业的业务创新与智能化转型提供支持,特别是促进企业上云、边缘计算上云,众....
    的头像 英特尔FPGA 发表于 09-28 10:46 230次 阅读

    ThinkCentre neo S760高性能办公一体机满足商务多设备协同扩展需求

    针对商务用户在数据处理方面的性能需求,ThinkCentre neo S760以出色性能,为商务用户....
    发表于 09-28 09:38 204次 阅读

    软通动力携手华为云推动更多中小企业驶入数字化发展的“快车道”

    为助力企业数字化创新发展平台搭建,让更多企业享受数字红利,华为联合软通动力及众多生态伙伴,共同发起以....
    的头像 软通动力 发表于 09-28 09:31 128次 阅读

    TD软件位置约束使用指南

    电子发烧友网站提供《TD软件位置约束使用指南.pdf》资料免费下载
    发表于 09-27 11:03 12次 阅读
    TD软件位置约束使用指南

    如何合理和正确使用图标

    软件界面上放置的图形和图表,不在本话题讨论范围之内,虽然他们也是美化界面必不可少的工具。 在软件界面....
    的头像 lhl545545 发表于 09-27 09:48 126次 阅读

    ABB高速对位软件主要特点

    作为RobotWare系列的又一创新补充,ABB最新推出的高速对位软件能够大幅缩短电子产品组装生产节....
    的头像 工业机器人 发表于 09-26 15:01 287次 阅读

    思必驰智能头盔语音模组方案解锁骑行更多可能性

    两轮车骑行风潮日渐盛行,安全问题不容小觑,头盔是保护驾驶人员头部的有效防护工具。思必驰作为国内专业的....
    的头像 思必驰 发表于 09-26 14:50 331次 阅读

    软通动力与广邮合作打造软件基础人才培养职业教育高地

    软通动力与广邮共建“现代产业学院”,是软通动力深入校企合作的一个重要里程碑,也是践行产教融合、校企合....
    的头像 软通动力 发表于 09-26 11:31 242次 阅读

    如何保障自动驾驶安全

    2022年9月,“2022世界人工智能大会:元宇宙聊天室——自动驾驶离我们还有多远?”栏目在WAIC....
    发表于 09-26 11:18 131次 阅读

    平化字符串处理方法简介

    这里介绍一组有用的字符串处理方法,即平化至字符串和从字符串还原。
    的头像 lhl545545 发表于 09-26 10:20 67次 阅读

    为什么需要一个新的框架?流框架介绍

    Flow Framework为实现价值流管理,连接IT和业务,并将传统企业转变为高绩效的技术公司提供....
    的头像 工程师邓生 发表于 09-26 09:45 92次 阅读

    软件的研发属于工程还是设计

    这是Google软件工程系列[1]的最后一篇,这篇主要是分享软件工程中常用的工具,这些工具支撑了软件....
    的头像 Linux阅码场 发表于 09-26 09:13 76次 阅读

    华为首款企业级Wi-Fi 7 AP助力企业网络开放更多创新应用

    华为在9月20日华为全联接大会泰国站上发布了业界首款企业级Wi-Fi 7 AP,助力企业网络开放更多....
    的头像 华为数据通信 发表于 09-23 11:41 533次 阅读

    中科微澜Vtopia智能漏洞管理系统帮助企业及时掌握软件安全状况

    北京中科微澜科技有限公司(以下简称:“中科微澜”)是由中科院软件研究所科技成果转化项目孵化并持股的的....
    的头像 中科微澜 发表于 09-22 17:14 221次 阅读

    移远智慧出行解决方案助力智能电动两轮车快速面市

    在国家双碳目标的推动下,绿色出行理念深入人心,电动两轮车凭其低碳环保、性价比高、方便停放等特点,成了....
    发表于 09-22 15:20 106次 阅读

    无纸化会议系统满足现代会议的需求

    无纸化会议系统是一款专为政府党政机关、企事业单位量身定制的会前、会中、会后全生命周期的会议服务与管理....
    的头像 讯维官方公众号 发表于 09-22 14:41 170次 阅读

    i.MX RT1176机车仪表板图形应用设计的介绍

    本篇文章将介绍恩智浦客户应用工程师设计的机车仪表板图形应用以及最新的GUI Guider v1.4.....
    的头像 恩智浦MCU加油站 发表于 09-22 09:23 213次 阅读

    软通动力护航企业的数字创新发展

    不确定的时代,数字化转型已不再是按部就班的技术升级流程,而是关乎企业发展成败的“必修课”,是企业持续....
    的头像 软通动力 发表于 09-21 17:22 224次 阅读

    达实久信数字医疗成功入选国家级专精特新“小巨人”企业名单

    9月,江苏省工信厅对2022年江苏省软件企业技术中心认定名单进行公示,达实久信数字医疗凭借在技术创新....
    发表于 09-21 11:27 288次 阅读

    东软提供全栈智能化交互解决方案 加速智能汽车发展

    近日,东软集团受邀加入SOAFEE ,成为具有投票权身份的正式成员。这意味着东软在汽车软件领域的深厚....
    发表于 09-21 11:21 127次 阅读

    AMD Radeon RX 6750 XT显卡助力畅玩最新游戏大作或打造精彩创意

    2022年,Radeon RX 6000系列显卡家族不断壮大,其中的新成员之一AMD Radeon ....
    的头像 AMD中国 发表于 09-21 10:41 190次 阅读

    有关全球存储软件市场的各种信息

    DataCore公司在发表的一篇文章中称,“使用软件定义存储的智能容量优化技术和高效资源管理将有助于....
    的头像 存储D1net 发表于 09-21 10:26 165次 阅读

    Microchip推出全新META-DX2+ PHY系列产品

    受混合工作和网络地理分布增长的推动,对网络基础设施的带宽和安全性的需求正在重新定义无边界网络。据65....
    发表于 09-21 09:25 49次 阅读

    数字孪生对EDA和汽车行业至关重要的原因

    传统汽车需要的芯片数量大约在500-600颗,而智能汽车对芯片的需求量增加至1000-2000颗左右....
    的头像 新思科技 发表于 09-21 09:12 1303次 阅读

    NVIDIA Omniverse 3D 模拟推动艺术创作或设计流程

    Vanessa Rosa 的艺术创作融合了传统和现代技术,超越了时间限制,为古老的故事注入新的生命并....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-20 16:28 132次 阅读

    Testin云测正式发布证券智能测试解决方案

    软件是新一代信息技术的“灵魂”,是加速经济社会数字化转型,保障数字经济平稳发展的重要底座。金融行业发....
    的头像 lhl545545 发表于 09-20 14:26 169次 阅读

    飞腾助力 “东数西算” 宁夏枢纽节点工程快速推进

    9月15日至16日,宁夏回族自治区人民政府主办的首届 “西部数谷” 算力产业大会在宁夏银川胜利召开,....
    的头像 Phytium飞腾 发表于 09-20 14:19 252次 阅读

    Device Studio软件在材料计算前后处理的使用操作

    9月14日,上海大学钱伟长学院党委书记吴蔚一行到访鸿之微,双方就如何深化“产教融合、协同育人”相关主....
    的头像 鸿之微 发表于 09-20 10:15 94次 阅读

    解释器模式需要安装的软件、工具包

    解释器模式本质:为某一款软件设计一种脚本语言,序列化软件中的方法,以便通过脚本来操作软件。最典型的例....
    的头像 lhl545545 发表于 09-19 14:59 159次 阅读

    Gowin EMPU M1 IDE软件参考手册

    电子发烧友网站提供《Gowin EMPU M1 IDE软件参考手册.pdf》资料免费下载
    发表于 09-19 14:25 17次 阅读
    Gowin EMPU M1 IDE软件参考手册

    Gowin PicoRV32软件下载参考手册

    电子发烧友网站提供《Gowin PicoRV32软件下载参考手册.pdf》资料免费下载
    发表于 09-19 09:55 14次 阅读
    Gowin PicoRV32软件下载参考手册

    Gowin PicoRV32快速设计参考手册

    电子发烧友网站提供《Gowin PicoRV32快速设计参考手册.pdf》资料免费下载
    发表于 09-19 09:53 14次 阅读
    Gowin PicoRV32快速设计参考手册

    赛目科技助力中国软件评测中心完成技术支持任务

    2022年9月17日,在2022世界智能网联汽车大会上, 中国软件评测中心首届车控操作系统第三方测试....
    的头像 赛目科技 发表于 09-19 09:36 369次 阅读

    Cisco PacketTracer如何安装

    Cisco PacketTracer是一款非常优秀的路由模拟器,其能够支持建立模拟的网络环境,并提供....
    的头像 lhl545545 发表于 09-19 09:32 206次 阅读

    一款好用的录屏软件下载入口

    这个录屏软件超级好用
    发表于 09-17 16:05 45次 阅读

    Advancis与Quanergy打造更强的周界入侵检测和人员统计应用

    据麦姆斯咨询报道,激光雷达传感器和智能3D解决方案的领先提供商Quanergy Systems近日宣....
    的头像 MEMS 发表于 09-15 16:52 494次 阅读

    如何使用MOMAP软件计算S1→S0的荧光辐射速率

    在使用量化软件BDF完成Azulene的基态和激发态的结构优化、频率计算以及非绝热耦合的计算,并计算....
    的头像 鸿之微 发表于 09-15 16:26 178次 阅读

    智行者参与国家十三五车载计算通信平台底层软件以及操作系统研发项目

    近日,接科技部高技术研究发展中心通知,清华大学杨殿阁教授牵头负责的国家十三五重点研发计划“自动驾驶电....
    的头像 智行者科技 发表于 09-15 15:05 267次 阅读

    蓝牙通信延迟较大是什么原因?

    软件上有哪些参数可以调   
    发表于 08-18 07:41 362次 阅读

    东方创科天启教育M1开发板开发教程-软件篇

    一、编程软件简介 天启编程软件是一款为软硬件一体化青少年编程平台。既可以拖动图形化积木编程,还可以使用Python/C++等高级...
    发表于 08-05 10:37 7679次 阅读

    CH579如何在线升级软件?

    请问一下,CH579如何在线升级软件(不使用ISP工具),能否提供下例程?谢谢!   ...
    发表于 07-25 06:41 260次 阅读