0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Linux问题分析与性能优化

启扬ARM嵌入式开发 2021-09-06 19:01 次阅读
24181880-0e31-11ec-817a-000c2944909e.gif  目录
    • 排查顺序
    • 方法论
    • 性能分析工具
    • CPU分析思路
    • 内存分析思路
    • IO分析思路
    • 网络分析思路
    • 基准测试工具
    • 参考

排查顺序

整体情况:
  1. top/htop/atop命令查看进程/线程、CPU、内存使用情况,CPU使用情况;
  2. dstat 2查看CPU、磁盘IO、网络IO、换页、中断、切换,系统I/O状态;
  3. vmstat 2查看内存使用情况,内存状态;
  4. iostat -d -x 2查看所有磁盘的IO情况,系统I/O状态;
  5. iotop查看IO靠前的进程,系统的I/O状态;
  6. perf top查看占用CPU最多的函数,CPU使用情况;
  7. perf record -ag -- sleep 15;perf report查看CPU事件占比,调用栈,CPU使用情况;
  8. sar -n DEV 2查看网卡的吞吐,网卡状态;
  9. /usr/share/bcc/tools/filetop -C查看每个文件的读写情况,系统的I/O状态;
  10. /usr/share/bcc/tools/opensnoop显示正在被打开的文件,系统的I/O状态;
  11. mpstat -P ALL 1 单核CPU是否被打爆;
  12. ps aux --sort=-%cpu按CPU使用率排序,找出CPU消耗最多进程;
  13. ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20统计前20内存占用
  14. awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20统计内核前20slab的占用;
进程分析,进程占用的资源:
  1. pidstat 2 -p 进程号查看可疑进程CPU使用率变化情况;
  2. pidstat -w -p 进程号 2查看可疑进程的上下文切换情况;
  3. pidstat -d -p 进程号 2查看可疑进程的IO情况;
  4. lsof -p 进程号查看进程打开的文件;
  5. strace -f -T -tt -p 进程号显示进程发起的系统调用;
协议栈分析,连接/协议栈状态:
  1. ethtool -S查看网卡硬件情况;
  2. cat/proc/net/softnet_stat/ifconfig eth1 查看网卡驱动情况;
  3. netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看连接状态分布;
  4. ss -ntp或者netstat -ntp查看连接队列;
  5. netstat -s 查看协议栈情况;

方法论

RED方法:监控服务的请求数(Rate)、错误数(Errors)、响应时间(Duration)。Weave Cloud在监控微服务性能时提出的思路。USE方法:监控系统资源的使用率(Utilization)、饱和度(Saturation)、错误数(Errors)。2433e60c-0e31-11ec-9500-000c2944909e.png    

性能分析工具

2441c4e4-0e31-11ec-9a64-000c2944909e.pngLinux 内核的各个子系统出发,汇总了对各个子系统进行性能分析时,你可以选择的工具。不过,虽然这个图是性能分析最好的参考资料之一,它其实还不够具体。比如,当你需要查看某个性能指标时,这张图里对应的子系统部分,可能有多个性能工具可供选择。但实际上,并非所有这些工具都适用,具体要用哪个,还需要你去查找每个工具的手册,对比分析做出选择。

CPU分析思路

首先,从 CPU 的角度来说,主要的性能指标就是 CPU 的使用率、上下文切换以及 CPU Cache 的命中率等。下面这张图就列出了常见的 CPU 性能指标。24506a9e-0e31-11ec-b8f3-000c2944909e.png245a7d3a-0e31-11ec-b65f-000c2944909e.png24660e9a-0e31-11ec-97ce-000c2944909e.png   

内存分析思路

接着我们来看内存方面。从内存的角度来说,主要的性能指标,就是系统内存的分配和使用、进程内存的分配和使用以及 SWAP 的用量。下面这张图列出了常见的内存性能指标。24bf7b40-0e31-11ec-b182-000c2944909e.png2502e2c6-0e31-11ec-a3d0-000c2944909e.png   

IO分析思路

从文件系统和磁盘 I/O 的角度来说,主要性能指标,就是文件系统的使用、缓存和缓冲区的使用,以及磁盘 I/O 的使用率、吞吐量和延迟等。下面这张图列出了常见的 I/O 性能指标。2556d636-0e31-11ec-aa01-000c2944909e.png  257ac046-0e31-11ec-a61f-000c2944909e.png 25afed1c-0e31-11ec-8706-000c2944909e.png    

网络分析思路

从网络的角度来说,主要性能指标就是吞吐量、响应时间、连接数、丢包数等。根据 TCP/IP 网络协议栈的原理,我们可以把这些性能指标,进一步细化为每层协议的具体指标。这里我同样用一张图,分别从链路层、网络层、传输层和应用层,列出了各层的主要指标。25ff5ea6-0e31-11ec-aec2-000c2944909e.png260b295e-0e31-11ec-add0-000c2944909e.png 263baf24-0e31-11ec-a6f8-000c2944909e.png    

基准测试工具

除了性能分析外,很多时候,我们还需要对系统性能进行基准测试。比如,
  • 在文件系统和磁盘 I/O 模块中,我们使用 fio 工具,测试了磁盘 I/O 的性能。
  • 在网络模块中,我们使用 iperf、pktgen 等,测试了网络的性能。
  • 而在很多基于 Nginx 的案例中,我们则使用 ab、wrk 等,测试 Nginx 应用的性能。
264e4d06-0e31-11ec-8b82-000c2944909e.png

参考

  • 相当一部分内容来自极客时间出品的倪鹏飞专栏《Linux性能优化》, 这是之前这个专栏的学习笔记。
  • 另一份资料是IBM红宝书Linux性能调优指南。
  • 此外,The Linux Documentation Project是一个非常好的资料库
  • 将硬件中断的处理任务分配个多个CPU:SMP affinity and proper interrupt handling in Linux
  • Hidden Costs of Memory Allocation
  • https://www.lijiaocn.com/soft/linux/

END

ARM嵌入式开发 · 嵌入式产品与方案

开发板/核心板/主板/整机

OEM/ODM


原文标题:Linux问题分析与性能优化

文章出处:【微信公众号:启扬ARM嵌入式开发】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Linux
    +关注

    关注

    87

    文章

    10942

    浏览量

    206542
收藏 人收藏

    评论

    相关推荐

    GPRS的性能分析优化

    电子发烧友网站提供《GPRS的性能分析优化.pdf》资料免费下载
    发表于 11-17 16:31 0次下载
    GPRS的<b class='flag-5'>性能</b><b class='flag-5'>分析</b>及<b class='flag-5'>优化</b>

    Linux内核slab性能优化的核心思想

    今天分享一篇内存性能优化的文章,文章用了大量精美的图深入浅出地分析Linux内核slab性能优化
    的头像 发表于 11-13 11:45 293次阅读
    <b class='flag-5'>Linux</b>内核slab<b class='flag-5'>性能</b><b class='flag-5'>优化</b>的核心思想

    Linux perf 简要介绍

    一、引言 (Introduction) 简要介绍Linux perf (Brief Introduction to Linux perf) Linux perf(性能
    的头像 发表于 11-09 17:06 311次阅读

    使用Rust优化Python性能

    在数据分析领域Python无疑是最流行的编程语言,但是Python有一个硬伤就是作为一个编译语言在性能上有些微的欠缺。而同样最流行的语言Rust则在性能方面表现优秀。本文我们一起学习一个优化
    的头像 发表于 11-01 15:59 414次阅读
    使用Rust<b class='flag-5'>优化</b>Python<b class='flag-5'>性能</b>

    使用Arm Streamline分析树莓派的性能

    在本指南中,我们将探索Linux应用和系统性能分析,并学习如何找到一个系统正在花费时间的地方。说明应用程序和发现性能瓶颈有助于集中软件优化
    发表于 08-29 06:30

    Arm高性能计算工具试用分析

    全球排名前20的超级计算机用户中有70%使用Arm工具来快速理解应用程序性能,并通过调试、分析优化更快地获得结果努力。
    发表于 08-02 09:51

    Linux perf性能、实际应用与案例

    Linux perf(性能分析工具)是一个功能强大且灵活的性能剩余工具,它可以在Linux系统上检测和调试各种
    发表于 07-03 10:22 348次阅读

    Linux 性能优化总结!1

    应用负载角度:直接影响了产品终端的用户体验 * 系统资源角度:资源使用率、饱和度等 性能问题的本质就是系统资源已经到达瓶颈,但请求的处理还不够快,无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈,设法去避免或缓
    的头像 发表于 05-12 15:16 403次阅读
    <b class='flag-5'>Linux</b> <b class='flag-5'>性能</b><b class='flag-5'>优化</b>总结!1

    《现代CPU性能分析优化》--读书心得笔记

    很荣幸拿到这本<<现代CPU性能分析优化>>,花了几天的时间浏览了一遍,书比较单薄,正文只有不到200页,但是里面的内容确是非常丰富的,一般
    发表于 04-24 15:31

    《现代CPU性能分析优化》——读书笔记

    前言 大致看了一下这本书,主要介绍了性能测量方式以及性能调优方法,对于软件工程师而言,确实有很大的帮助,可以提前知道如何编写提升CPU执行性能的代码,减少后续优化的麻烦。 本周主要阅读
    发表于 04-24 10:37

    《现代CPU性能分析优化》---cpu硬件软件都可以提升应用性能

    优秀的应用软件厂家,不是一味的埋头一行一行写代码,而是会研究分析cpu等硬件资源,来更好的优化自己的应用。苹果公司就这样,他们产品所有用硬件很多时候都比不上国外很多厂家,但是人家就是性能优异。所有推荐国内很多硬件设备厂家好好看看
    发表于 04-21 21:55

    《现代CPU性能分析优化》---精简的优化

    《现代CPU性能分析优化》是一本非常实用的书籍,对于从事性能关键型应用程序开发和进行系统底层优化的技术人员来说是不可或缺的。这本书也很适合
    发表于 04-18 16:03

    《现代CPU性能分析优化》收到书了

    周一上班就收到《现代CPU性能分析优化》这本书了,其实周六就送到了,只不过周末休息没去公司,周一才领到,迫不及待的拆开看了一下。整本书不是很厚,只有205页,全是精华,下面是目录。从目录就可以看
    发表于 04-17 17:06

    优化Linux的设计思路和方法介绍

    系统性能优化最后一个环节涉及的是程序开发人员,在Linux运维人员或架构设计人员找到程序或结构瓶颈后,程序开发人员要马上介入进行相应的程序修改。
    发表于 04-17 11:03 185次阅读

    影响Linux性能的因素与优化方法

    ,那么linux作为一个开源平台,最终要实现的是通过这些开源软件的支持,以最低廉的成本,达到应用最优的性能。因此,谈到性能问题,主要实现的是linux操作系统和应用程序的最佳结合。
    的头像 发表于 04-12 09:18 473次阅读