侵权投诉

如何使用NMT和pmap来解决JVM的资源泄漏问题

openEuler 2021-09-24 16:00 次阅读

编者按:笔者使用 JDK 自带的内存跟踪工具 NMT 和 Linux 自带的 pmap 解决了一个非常典型的资源泄漏问题。这个资源泄漏是由于 Java 程序员不正确地使用 Java API 导致的,使用 Files.list 打开的文件描述符必须关闭。本案例一方面介绍了怎么使用 NMT 解决 JVM 资源泄漏问题,如果读者遇到类似问题,可以尝试用 NMT 来解决;另一方面也提醒 Java 开发人员使用 Java API 时需要必须弄清楚 API 使用规范,希望大家通过这个案例有所收获。

背景知识:

NMT

NMT 是 Native Memory Tracking 的缩写,一个 JDK 自带的小工具,用来跟踪 JVM 本地内存分配情况(本地内存指的是 non-heap,例如 JVM 在运行时需要分配一些辅助数据结构用于自身的运行)。

NMT 功能默认关闭,可以在 Java 程序启动参数中加入以下参数来开启:

-XX:NativeMemoryTracking=[summary | detail]

其中,“summary” 和 “detail” 的差别主要在输出信息的详细程度。

3cb43d90-10ac-11ec-8fb8-12bb97331649.png

开启 NMT 功能后,就可以使用 JDK 提供的 jcmd 命令来读取 NMT 采集的数据了,具体命令如下:

jcmd 《pid》 VM.native_memory [summary | detail | baseline | summary.diff | detail.diff | shutdown]

NMT 参数的含义可以通过 “jcmd 《pid》 help VM.native_memory” 命令查询。通过 NMT 工具,我们可以快速区分内存泄露是否源自 JVM 分配。

pmap

对于非 JVM 分配的内存,经常需要用到 pmap 这个工具了,这是一个 linux 系统自带工具,能够从系统层面输出目标进程内存使用的详细情况,用法非常简单:

pmap [参数] 《pid》

常用的选项是 “-x” 或 “-X”,都是用来控制输出信息的详细程度。

上图是 pmap 部分输出信息,每列含义为

pYYBAGFNe46AXEijAACM5oGR0ow649.png

现象:

某业务集群中,多个节点出现业务进程内存消耗缓慢增长现象,以其中一个节点为例:

3cd60e48-10ac-11ec-8fb8-12bb97331649.png

如图所示,这个业务进程当前占用了 4.7G 的虚拟内存空间,以及 2.2G 的物理内存。已知正常状态下该业务进程的物理内存占用量不超过 1G。

分析:

使用命令 “jcmdVM.native_memory detail” 可以看到所有受 JVM 监控的内存分布情况:

3cfaa4e2-10ac-11ec-8fb8-12bb97331649.png

上图只是截取了 nmt(Native Memory Tracking) 命令展示的概览信息,这个业务进程占用的 2.2G 物理内存中,受 JVM 监控的大概只占了 0.7G(上图中的 committed),意味着有 1.5G 物理内存不受 JVM 管控。JVM 可以监控到 Java 堆、元空间、CodeCache、直接内存等区域,但无法监控到那些由 JVM 之外的 Native Code 申请的内存,例如典型的场景:第三方 so 库中调用 malloc 函数申请一块内存的行为无法被 JVM 感知到。

nmt 除了会展示概览之外,还会详细罗列每一片受 JVM 监控的内存,包括其地址,将这些 JVM 监控到的内存布局和用 pmap 得到的完整的进程内存布局做一个对比筛查,这里忽略 nmt 和 pmap(下图 pmap 命令中 25600 是进程号)详细内存地址的信息,直接给出最可疑的那块内存:

3d0e578a-10ac-11ec-8fb8-12bb97331649.png

由图可知,这片 1.7G 左右的内存区域属于系统层面的堆区。

备注:这片系统堆区之所以稍大于上面计算得到的差值,原因大概是 nmt 中显示的 committed 内存并不对应真正占用的物理内存(linux 使用 Lazy 策略管理进程内存),实际通常会稍小。

系统堆区主要就是由 libc 库接口 malloc 申请的内存组合而成,所以接下来就是去跟踪业务进程中的每次 malloc 调用,可以借助 GDB:

3d235a5e-10ac-11ec-8fb8-12bb97331649.png

实际上会有大量的干扰项,这些干扰项一方面来自 JVM 内部,比如:

3d3cc782-10ac-11ec-8fb8-12bb97331649.png

这部分干扰项很容易被排除,凡是调用栈中存在 “os::malloc” 这个栈帧的干扰项就可以直接忽视,因为这些 malloc 行为都会被 nmt 监控到,而上面已经排除了受 JVM 监控内存泄漏的可能。

另一部分干扰项则来自 JDK,比如:

3d6b9ee0-10ac-11ec-8fb8-12bb97331649.png

有如上图所示,不少 JDK 的本地方法中直接或间接调用了 malloc,这部分 malloc 行为通常是不受 JVM 监控的,所以需要根据具体情况逐个排查,还是以上图为例,排查过程如下:

3dac2b22-10ac-11ec-8fb8-12bb97331649.png

注意图中临时中断的值(0x0000ffff5fc55d00)来自于第一个中断 b malloc 中断发生后的结果。

这里稍微解释一下上面 GDB 在做的排查过程,就是检查 malloc 返回的内存地址后续是否有通过 free 释放(通过 tb free if X3 这个命令,具体用法可以参考 GDB 调试),显然在这个例子中是有释放的。

通过这种排查方式,几经筛选,最终找到了一个可疑的 malloc 场景:

3dbaf18e-10ac-11ec-8fb8-12bb97331649.png

从调用栈信息可以知道,这是一个 JDK 中的本地方法 sun.nio.fs.UnixNativeDispatcher.opendir0,作用是打开一个目录,但后续始终没有进行关闭操作。进一步分析可知,该可疑 opendir 操作会周期性执行,而且都是操作同一个目录 “/xxx/nginx/etc/nginx/conf”,看来,是有个业务线程在定时访问 nginx 的配置目录,每次访问完却没有关闭打开的目录。

分析到这里,其实这个问题已经差不多水落石出。和业务方确认,存在一个定时器线程在周期性读取 nginx 的配置文件,代码大概是这样子的:

3dfba080-10ac-11ec-8fb8-12bb97331649.png

翻了一下相关 JDK 源码,Files.list 方法是有在末尾注册一个关闭钩子的:

3e0bb2b8-10ac-11ec-8fb8-12bb97331649.png

也就是说,Files.list 方法返回的目录资源是需要手动释放的,否则就会发生资源泄漏。

由于这个目录资源底层是会关联一个 fd 的,所以泄漏问题还可以通过另一个地方进行佐证:

3e3fafaa-10ac-11ec-8fb8-12bb97331649.png

该业务进程目前已经消耗了 51116 个 fd!

假设这些 fd 都是 opendir 关联的,每个 opendir 消耗 32K,则总共消耗 1.6G,显然可以跟上面泄漏的内存值基本对上。

总结:

稍微了解了一下,发现几乎没人知道 JDK 方法 Files.list 是需要关闭的,这个案例算是给大家都提了个醒。

编辑:jq

原文标题:使用 NMT 和 pmap 解决 JVM 资源泄漏问题

文章出处:【微信号:openEulercommunity,微信公众号:openEuler】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

华为开发者大会2021智能硬件开发—一套OS源码拼装产品流程

2021年10月22日~24日,华为将在中国松山湖举行2021华为开发者大会,聚焦鸿蒙系统、智能家居....
的头像 汽车玩家 发表于 10-23 11:53 171次 阅读
华为开发者大会2021智能硬件开发—一套OS源码拼装产品流程

华为开发者大会2021——获取到源码工程和服务包后接下来怎么做

华为开发者大会2021智能硬件开发— 熟悉HarmonyOS Connect产品设计规范 2021年....
的头像 汽车玩家 发表于 10-23 11:40 108次 阅读
华为开发者大会2021——获取到源码工程和服务包后接下来怎么做

如何开发一款HarmonyOS Connect设备?

2021年10月22日~24日,华为将在中国松山湖举行2021华为开发者大会,聚焦鸿蒙系统、智能家居....
的头像 汽车玩家 发表于 10-23 11:31 118次 阅读
如何开发一款HarmonyOS Connect设备?

STM32 Linux开发板推荐 ,入门进阶必备!

推荐一款适合入门进阶学习的Linux开发板:华清远见FS-MP1A开发板(STM32MP157开发板....
发表于 10-22 18:51 4次 阅读

【视频】华清远见stm32mp157开发入门指导(7讲)

关于FS-MP1A开发板(stm32mp157): FS-MP1A开发板是华清远见最新自主研发的一....
发表于 10-22 18:50 1次 阅读

一图了解华清远见STM32MP157开发板学习资源优势

一图了解华清远见STM32MP157开发板学习资源优势(教程+视频+项目): 资料说明及更新情....
发表于 10-22 18:49 3次 阅读

linux spi应用层驱动以及回环测试代码

linux spi应用层驱动以及回环测试代码
发表于 10-22 15:47 9次 阅读

给树莓派添加一个开、关机按键(原创)

给树莓派添加一个开、关机按键(原创)声明关键词问题起因解决方案一、实现方式二、实现原理三、改进方案声....
发表于 10-22 10:06 12次 阅读
给树莓派添加一个开、关机按键(原创)

分享!基于Zynq-7010/7020的多路千兆网口实现方案

前 言:本文基于以太网接口在工业场合的大量使用,特别是工业控制、仪器仪表等领域,结合Xilinx Zynq-7000所具备的丰富设计资源...
发表于 10-22 09:43 101次 阅读

基于ARM Linux的WiFi智能终端门禁系统

引言 随着社会经济的快速发展,人们对室内人身财产安全要求越来越高,门禁系统作为智能建筑安防自动化体系中必不可少的一部分[1...
发表于 10-22 09:27 404次 阅读

一文读懂什么是Linux驱动呢

什么是Linux驱动? Linux驱动程序需要掌握哪些内容呢? ARM处理器体系架构是由哪些部分组成的? ...
发表于 10-22 08:43 0次 阅读

香橙派全志芯片开发板下载交叉编译工具链说明

香橙派开发板以处理器分类,包含全志H2、全志H3、全志H5、全志H6等系列,下文以全志H3芯片的开发板为例,对交叉编译工具链的...
发表于 10-21 17:35 101次 阅读
香橙派全志芯片开发板下载交叉编译工具链说明

嵌入式linux开发视频下载

嵌入式Linux视频教程:ed2k://|file|Tiny6410%E5%9B%BD%E5%B5%....
发表于 10-21 13:21 7次 阅读
嵌入式linux开发视频下载

嵌入式linux开发视频下载

嵌入式Linux视频教程:ed2k://|file|Tiny6410%E5%9B%BD%E5%B5%....
发表于 10-21 13:21 7次 阅读
嵌入式linux开发视频下载

嵌入式软件未来发展趋势

虽说嵌入式未来发展一片大好,但也会有一些人很想多了解一下嵌入式,毕竟之后要学习嵌入式的话,也要多了解....
发表于 10-21 13:06 15次 阅读
嵌入式软件未来发展趋势

【嵌入式实验】《嵌入式开发工具使用》

嵌入式开发工具使用一.实验目的二.实验内容三.预备知识四.实验设备及工具(包括软件调试工具)五.实验....
发表于 10-21 13:06 8次 阅读
【嵌入式实验】《嵌入式开发工具使用》

嵌入式Linux NFS

文章目录前言服务器配置嵌入式设备挂载微信公众号前言网络文件系统(英语:Network File Sy....
发表于 10-21 12:51 5次 阅读
嵌入式Linux NFS

小白找工作:嵌入式工程师(从单片机到嵌入式,我该投哪个岗位)

小白找工作:嵌入式工程师前言从单片机到嵌入式,我该投哪个岗位前言好久没有写博客了,这段时间主要是去做....
发表于 10-21 12:51 19次 阅读
小白找工作:嵌入式工程师(从单片机到嵌入式,我该投哪个岗位)

嵌入式软件工程师成长方向的思考

最近有点空闲,总结下嵌入式工程师所需要掌握的技能,及成长方向。主体知识:C语言、数据结构 + 算法、....
发表于 10-21 12:36 8次 阅读
嵌入式软件工程师成长方向的思考

嵌入式linux根文件系统损坏恢复方法

昨晚在对开发板的文件进行复制操作时遇到卡死,强制重启之后发现进不了命令行模式,输入回车键一直提示:c....
发表于 10-21 12:36 6次 阅读
嵌入式linux根文件系统损坏恢复方法

嵌入式linux的开发流程以及linux应用层内容

嵌入式linux开发流程:1.搭建前期的开发环境,例如搭建linux主机环境,交叉编译器的安装,还有....
发表于 10-21 12:36 7次 阅读
嵌入式linux的开发流程以及linux应用层内容

树莓派1:嵌入式开发概述

嵌入式开发概述1.嵌入式硬件选型:嵌入式即嵌入式系统,IEEE对其定义是用于控制,监视或者辅助操作机....
发表于 10-21 12:06 12次 阅读
树莓派1:嵌入式开发概述

嵌入式开发中常用的几种通信接口总结

关注、星标公众号,直达精彩内容在嵌入式系统中,板上通信接口是指用于将各种集成电路与其他外围设备交互连....
发表于 10-21 11:21 7次 阅读
嵌入式开发中常用的几种通信接口总结

嵌入式系统移植之TFTP配置方法(自己学习总结)

TFTP服务TFTP是用来下载远程文件的最简单网络协议,它其于UDP协议而实现。嵌入式linux的t....
发表于 10-21 11:08 4次 阅读
嵌入式系统移植之TFTP配置方法(自己学习总结)

Linux嵌入式学习过程

Linux嵌入式学习过程循序渐进学习嵌入式开发技术一、练好基本功二、嵌入式Linux应用开发误区一、....
发表于 10-21 11:07 8次 阅读
Linux嵌入式学习过程

嵌入式Linux开发环境搭建之安装Ubuntu

最近打算重新自学 linux 嵌入式,既然要重来,那就得从头开始,linux 开发第一件事就是搭建 ....
发表于 10-21 11:06 11次 阅读
嵌入式Linux开发环境搭建之安装Ubuntu

嵌入式分层概括总结

最近重新进入嵌入式领域,有必要对嵌入式分层架构有一个清晰的理解。经过多方查阅以及个人的理解,本人对嵌....
发表于 10-21 10:51 8次 阅读
嵌入式分层概括总结

嵌入式软件开发学习资料

黑发不知勤学早,白首方悔读书迟。适合学习嵌入式软件开发的资料,除了粤嵌的,其他的我都看过。非嵌入式方....
发表于 10-21 10:51 7次 阅读
嵌入式软件开发学习资料

嵌入式学习之线程

线程概述一个程序中的多个执行路线叫做线程,线程是一个进程内部的控制序列。所有的进程都至少有一个执行线....
发表于 10-21 10:51 4次 阅读
嵌入式学习之线程

【嵌入式实验】《嵌入式数据库 sqlite 移植及使用》

嵌入式数据库 sqlite 移植及使用一、实验目的二.实验内容三.预备知识四.实验设备及工具(包括软....
发表于 10-21 10:51 6次 阅读
【嵌入式实验】《嵌入式数据库 sqlite 移植及使用》

【嵌入式技能树】

嵌入式工程师需要哪些技能书/技能加点? 学习程度:熟悉 < 有过经验 < 熟练 < 精通文章目录通用....
发表于 10-21 10:21 8次 阅读
【嵌入式技能树】

嵌入式Linux开发学习如何入门、如何深入?

嵌入式Linux开发学习如何入门、如何深入?学习步骤如下:1、Linux 基础安装Linux操作系统....
发表于 10-21 10:21 8次 阅读
嵌入式Linux开发学习如何入门、如何深入?

嵌入式搭建ftp服务器

嵌入式ftp下载源码git clone git@github.com:gamman/stupid-F....
发表于 10-21 10:06 9次 阅读
嵌入式搭建ftp服务器

为什么嵌入式开发中一般都使用Linux系统?

Linux系统与其它操作系统相比具有轻量化、易裁剪、稳定性高、免费开源等优势,且Linux系统能很好....
发表于 10-21 09:51 6次 阅读
为什么嵌入式开发中一般都使用Linux系统?

LCD屏幕操作原理_嵌入式Linux

5.1 LCD 操作原理在 Linux 系统中通过 Framebuffer 驱动程序来控制 LCD。....
发表于 10-21 09:51 8次 阅读
LCD屏幕操作原理_嵌入式Linux

嵌入式Linux怎么搭建开发环境?

全文下载地址:嵌入式Linux系统开发完全手册 第二版2.1 安装Windows软件2.1.1 这么....
发表于 10-21 09:36 7次 阅读
嵌入式Linux怎么搭建开发环境?

嵌入式开发版如何通过网线连接电脑,SecureCRT连接嵌入式板子

1.与开发版相连的网口修改为静态IP2.关闭电脑防火墙3.打开TFTP服务器创建工具,创建TFTP服....
发表于 10-21 09:36 6次 阅读
嵌入式开发版如何通过网线连接电脑,SecureCRT连接嵌入式板子

嵌入式Linux开发的流程是怎样的呢

单片机和Linux的区别在哪? 嵌入式Linux开发的流程是怎样的呢? ...
发表于 10-21 09:30 0次 阅读

嵌入式的初步了解

2020年2月25日,我第一次接触到了这门课程——嵌入式设计。在没有了解这门课之前,就连“嵌入式”这....
发表于 10-20 21:21 18次 阅读
嵌入式的初步了解

嵌入式 Linux 开发基本概念

1.2.1 嵌入式 Linux 开发有哪些内容?嵌入式 Linux 系统,就相当于一套完整的 PC ....
发表于 10-20 21:21 16次 阅读
嵌入式 Linux 开发基本概念

嵌入式 Linux 的学习新路线

很多人喜欢从系统启动流程开始学习:先学习裸机,裸机集合起来就是 u-boot,再学习内核移植、驱动开....
发表于 10-20 21:06 7次 阅读
嵌入式 Linux 的学习新路线

嵌入式系统开发者需要掌握什么技术?

大家好,我是小嵌,在知乎上看到这个问题,其中有一个答主的答案很经典,特此分享给大家。说实话,问题中嵌....
发表于 10-20 20:20 6次 阅读
嵌入式系统开发者需要掌握什么技术?

嵌入式Linux容器技术

嵌入式Linux容器技术一、Linux容器技术Linux Container容器是一种内核虚拟化技术....
发表于 10-20 20:06 8次 阅读
嵌入式Linux容器技术

嵌入式内存分布详解

前言硬件程序调试比较看重内存的分布情况,可以通过编译输出文件来分析运行时的数据结构如有疑问,欢迎指正....
发表于 10-20 20:06 8次 阅读
嵌入式内存分布详解

嵌入式Lua开发环境的搭建

背景作为一个嵌入式软件从业者,近几年的工作经历渐渐感觉到了从事嵌入式软件开发,工作投入高而产出低。提....
发表于 10-20 19:51 10次 阅读
嵌入式Lua开发环境的搭建

肝了半个月,我整理出了这篇嵌入式开发学习学习路线+知识点梳理)

不好意思久等了这篇文章让小伙伴们久等了。一年多以来,关于嵌入式开发学习路线、规划、看什么书等问题,被....
发表于 10-20 19:36 4次 阅读
肝了半个月,我整理出了这篇嵌入式开发学习学习路线+知识点梳理)

嵌入式LinuxQT操作自定义按键

嵌入式Linux系统中,用QT做的应用层程序,需要检测自定义的按键状态。使用的QT的按键事件,驱动层....
发表于 10-20 19:21 6次 阅读
嵌入式LinuxQT操作自定义按键

嵌入式常用的开源库

阅读目录linux/嵌入式常用开源库列表其他资料参考资料linux下/嵌入式常用的开源库名字及简介,....
发表于 10-20 19:20 8次 阅读
嵌入式常用的开源库

1-嵌入式Linux系统软件组成

1 Windows PC:BIOS——>(启动)windows内核——>(挂载硬盘)系统盘/应用盘—....
发表于 10-20 18:51 8次 阅读
1-嵌入式Linux系统软件组成

20分钟轻松搭建一个嵌入式web服务器

嵌入式Linux,boa,web服务器
发表于 10-20 18:50 9次 阅读
20分钟轻松搭建一个嵌入式web服务器

使用WSL搭建嵌入式开发环境

这里介绍使用WSL安装交叉编译环境
发表于 10-20 18:36 4次 阅读
使用WSL搭建嵌入式开发环境

嵌入式设备NFS挂载目录(基于iTop 4412)

嵌入式设备NFS挂载目录文章目录嵌入式设备NFS挂载目录1. 背景2. 工作量分析3. 上位机搭建N....
发表于 10-20 18:36 6次 阅读
嵌入式设备NFS挂载目录(基于iTop 4412)

分享一些嵌入式相关的开源项目

关注+星标公众号,不错过精彩内容来源 | 人人都是极客大家平时学习的资源可能来自不同地方,对于程序员....
发表于 10-20 18:35 7次 阅读
分享一些嵌入式相关的开源项目

嵌入式驱动工程师开发学习路线

ARM+LINUX路线,主攻嵌入式Linux操作系统及其上应用软件开发目标:(1)掌握主流嵌入式微处....
发表于 10-20 18:21 13次 阅读
嵌入式驱动工程师开发学习路线

【嵌入式】构建嵌入式Linux系统(uboot、内核、文件系统)

嵌入式Linux系统知识架构及层次嵌入式Linux系统构成及启动略析嵌入式Linux三剑客之uboo....
发表于 10-20 18:20 23次 阅读
【嵌入式】构建嵌入式Linux系统(uboot、内核、文件系统)

如何学习嵌入式linux?学习嵌入式linux有什么技术门槛吗?

如何学习嵌入式linux?学习嵌入式linux有什么技术门槛吗?...
发表于 10-20 07:23 0次 阅读

怎样去移植通用嵌入式系统呢

怎样去移植通用嵌入式系统呢? Linux在嵌入式中有何应用? ...
发表于 10-20 06:57 0次 阅读

系统时钟SYSCLK的配置

系统时钟SYSCLK的来源有哪些?怎样去编写SetSysClok()的源码?...
发表于 10-20 06:49 0次 阅读

ucore lab1有什么?实现功能后能做什么

ucore lab1有什么?实现功能后能做什么?操作系统镜像文件ucore.img是如何一步一步生成的? ...
发表于 10-20 06:33 0次 阅读

怎样去编译micropython的源码并对其进行测试呢

怎样去编译micropython的源码并对其进行测试呢?...
发表于 10-20 06:24 0次 阅读

AM4379 AM437x ARM Cortex-A9 微处理器 (MPU)

TI AM437x高性能处理器基于ARM Cortex-A9内核。 这些处理器通过3D图形加速得到增强,可实现丰富的图形用户界面,还配备了协处理器,用于进行确定性实时处理(包括EtherCAT,PROFIBUS,EnDat等工业通信协议)。该器件支持高级操作系统(HLOS)。基于Linux的® 可从TI免费获取。其它HLOS可从TI的设计网络和生态系统合作伙伴处获取。 这些器件支持对采用较低性能ARM内核的系统升级,并提供更新外设,包括QSPI-NOR和LPDDR2等存储器选项。 这些处理器包含功能方框图中显示的子系统,并且后跟相应的“说明”中添加了更多信息说明。 处理器子系统基于ARM Cortex-A9内核,PowerVR SGX™图形加速器子系统提供3D图形加速功能以支持显示和高级用户界面。 可编程实时单元子系统和工业通信子系统(PRU-ICSS与ARM内核分离,允许单独操作和计时,以实现更高的效率和灵活性.PRU-ICSS支持更多外设接口和EtherCAT,PROFINET,EtherNet /IP,PROFIBUS,以太网Powerlink,Sercos,EnDat等...
发表于 09-25 11:51 364次 阅读
AM4379 AM437x ARM Cortex-A9 微处理器 (MPU)