目录
排查顺序
整体情况:-
top/htop/atop
命令查看进程/线程、CPU、内存使用情况,CPU使用情况; -
dstat 2
查看CPU、磁盘IO、网络IO、换页、中断、切换,系统I/O状态; -
vmstat 2
查看内存使用情况,内存状态; -
iostat -d -x 2
查看所有磁盘的IO情况,系统I/O状态; -
iotop
查看IO靠前的进程,系统的I/O状态; -
perf top
查看占用CPU最多的函数,CPU使用情况; -
perf record -ag -- sleep 15;perf report
查看CPU事件占比,调用栈,CPU使用情况; -
sar -n DEV 2
查看网卡的吞吐,网卡状态; -
/usr/share/bcc/tools/filetop -C
查看每个文件的读写情况,系统的I/O状态; -
/usr/share/bcc/tools/opensnoop
显示正在被打开的文件,系统的I/O状态; -
mpstat -P ALL 1
单核CPU是否被打爆; -
ps aux --sort=-%cpu
按CPU使用率排序,找出CPU消耗最多进程; -
ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20
统计前20内存占用;
-
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20
统计内核前20slab的占用;
-
pidstat 2 -p 进程号
查看可疑进程CPU使用率变化情况; -
pidstat -w -p 进程号 2
查看可疑进程的上下文切换情况; -
pidstat -d -p 进程号 2
查看可疑进程的IO情况; -
lsof -p 进程号
查看进程打开的文件; -
strace -f -T -tt -p 进程号
显示进程发起的系统调用;
-
ethtool -S
查看网卡硬件情况; -
cat/proc/net/softnet_stat/ifconfig eth1
查看网卡驱动情况; -
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n
查看连接状态分布; -
ss -ntp
或者netstat -ntp
查看连接队列; -
查看协议栈情况;netstat -s
方法论
RED方法:监控服务的请求数(Rate)、错误数(Errors)、响应时间(Duration)。Weave Cloud在监控微服务性能时提出的思路。USE方法:监控系统资源的使用率(Utilization)、饱和度(Saturation)、错误数(Errors)。性能分析工具
Linux 内核的各个子系统出发,汇总了对各个子系统进行性能分析时,你可以选择的工具。不过,虽然这个图是性能分析最好的参考资料之一,它其实还不够具体。比如,当你需要查看某个性能指标时,这张图里对应的子系统部分,可能有多个性能工具可供选择。但实际上,并非所有这些工具都适用,具体要用哪个,还需要你去查找每个工具的手册,对比分析做出选择。CPU分析思路
首先,从 CPU 的角度来说,主要的性能指标就是 CPU 的使用率、上下文切换以及 CPU Cache 的命中率等。下面这张图就列出了常见的 CPU 性能指标。内存分析思路
接着我们来看内存方面。从内存的角度来说,主要的性能指标,就是系统内存的分配和使用、进程内存的分配和使用以及 SWAP 的用量。下面这张图列出了常见的内存性能指标。IO分析思路
从文件系统和磁盘 I/O 的角度来说,主要性能指标,就是文件系统的使用、缓存和缓冲区的使用,以及磁盘 I/O 的使用率、吞吐量和延迟等。下面这张图列出了常见的 I/O 性能指标。网络分析思路
从网络的角度来说,主要性能指标就是吞吐量、响应时间、连接数、丢包数等。根据 TCP/IP 网络协议栈的原理,我们可以把这些性能指标,进一步细化为每层协议的具体指标。这里我同样用一张图,分别从链路层、网络层、传输层和应用层,列出了各层的主要指标。基准测试工具
除了性能分析外,很多时候,我们还需要对系统性能进行基准测试。比如,- 在文件系统和磁盘 I/O 模块中,我们使用 fio 工具,测试了磁盘 I/O 的性能。
- 在网络模块中,我们使用 iperf、pktgen 等,测试了网络的性能。
- 而在很多基于 Nginx 的案例中,我们则使用 ab、wrk 等,测试 Nginx 应用的性能。
参考
- 相当一部分内容来自极客时间出品的倪鹏飞专栏《Linux性能优化》, 这是之前这个专栏的学习笔记。
- 另一份资料是IBM红宝书Linux性能调优指南。
- 此外,The Linux Documentation Project是一个非常好的资料库。
- 将硬件中断的处理任务分配个多个CPU:SMP affinity and proper interrupt handling in Linux
- Hidden Costs of Memory Allocation
- https://www.lijiaocn.com/soft/linux/
END
开发板/核心板/主板/整机
OEM/ODM
原文标题:Linux问题分析与性能优化
文章出处:【微信公众号:启扬ARM嵌入式开发】欢迎添加关注!文章转载请注明出处。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
Linux
+关注
关注
87文章
10942浏览量
206542
发布评论请先 登录
相关推荐
Linux perf 简要介绍
一、引言 (Introduction) 简要介绍Linux perf (Brief Introduction to Linux perf) Linux perf(性能
使用Rust优化Python性能
在数据分析领域Python无疑是最流行的编程语言,但是Python有一个硬伤就是作为一个编译语言在性能上有些微的欠缺。而同样最流行的语言Rust则在性能方面表现优秀。本文我们一起学习一个优化
使用Arm Streamline分析树莓派的性能
在本指南中,我们将探索Linux应用和系统性能分析,并学习如何找到一个系统正在花费时间的地方。说明应用程序和发现性能瓶颈有助于集中软件优化努
发表于 08-29 06:30
Linux perf性能、实际应用与案例
Linux perf(性能分析工具)是一个功能强大且灵活的性能剩余工具,它可以在Linux系统上检测和调试各种
发表于 07-03 10:22
•348次阅读
Linux 性能优化总结!1
应用负载角度:直接影响了产品终端的用户体验
* 系统资源角度:资源使用率、饱和度等
性能问题的本质就是系统资源已经到达瓶颈,但请求的处理还不够快,无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈,设法去避免或缓
《现代CPU性能分析与优化》--读书心得笔记
很荣幸拿到这本<<现代CPU性能分析与优化>>,花了几天的时间浏览了一遍,书比较单薄,正文只有不到200页,但是里面的内容确是非常丰富的,一般
发表于 04-24 15:31
《现代CPU性能分析与优化》——读书笔记
前言
大致看了一下这本书,主要介绍了性能测量方式以及性能调优方法,对于软件工程师而言,确实有很大的帮助,可以提前知道如何编写提升CPU执行性能的代码,减少后续优化的麻烦。
本周主要阅读
发表于 04-24 10:37
《现代CPU性能分析与优化》---cpu硬件软件都可以提升应用性能
优秀的应用软件厂家,不是一味的埋头一行一行写代码,而是会研究分析cpu等硬件资源,来更好的优化自己的应用。苹果公司就这样,他们产品所有用硬件很多时候都比不上国外很多厂家,但是人家就是性能优异。所有推荐国内很多硬件设备厂家好好看看
发表于 04-21 21:55
《现代CPU性能分析与优化》---精简的优化书
《现代CPU性能分析与优化》是一本非常实用的书籍,对于从事性能关键型应用程序开发和进行系统底层优化的技术人员来说是不可或缺的。这本书也很适合
发表于 04-18 16:03
《现代CPU性能分析与优化》收到书了
周一上班就收到《现代CPU性能分析与优化》这本书了,其实周六就送到了,只不过周末休息没去公司,周一才领到,迫不及待的拆开看了一下。整本书不是很厚,只有205页,全是精华,下面是目录。从目录就可以看
发表于 04-17 17:06
优化Linux的设计思路和方法介绍
系统性能优化最后一个环节涉及的是程序开发人员,在Linux运维人员或架构设计人员找到程序或结构瓶颈后,程序开发人员要马上介入进行相应的程序修改。
发表于 04-17 11:03
•185次阅读
影响Linux性能的因素与优化方法
,那么linux作为一个开源平台,最终要实现的是通过这些开源软件的支持,以最低廉的成本,达到应用最优的性能。因此,谈到性能问题,主要实现的是linux操作系统和应用程序的最佳结合。
评论