背景
日前服务器一个应用总是莫名挂掉，通过排查发现是老年代内存无法回收引起，那么要定位到到底是那一部分数据导致的无法回收，就需要把堆内存dump出来，然后用工具分析。但奇怪的是dump的时候一直报错

Unable to open socket file: target process not responding or HotSpot VM not lo

排查完整过程
解决方案
网上找了很多方案，都没效果，最终通过一些文章的启示，自己找到了解决方案。
问题引起的原因
由于Linux一切皆文件的特性，也就是说一个Java进程实际上会对应到一个PID文件，dump命令依赖于进程的PID文件，报错这个是由于这个PID文件可能已经被系统给删除了。

linux系统有个删除管理机制：系统每天会用tmpwatch命令检查并删除 /tmp 下超过240小时未访问过的文件和目录。

问题的解决方案
Linux有个文件（/usr/lib/tmpfiles.d/tmp.conf）中记录着一些目录，这些目录中不会被自动删除，我们需要在这个文件中配置我们的JAVA进程的PID目录。
第一步：先找到PID所在目录

先用JPS命令得到进程号



32383为我的JAVA应用的进程号，然后我们去/tmp目录下找这个进程号



很明显这里没有32383，但这里有个hsperfdata_root目录不知道是什么东西，进去看看



这里有31383，那么也就是说/tmp/hsperfdata_root目录即是要排除在外的目录。
第二步：把找到的目录添加到文件内容中
vi /usr/lib/tmpfiles.d/tmp.conf

添加如下内容



/*代表目录下的所有文件，添加之后应该是立即生效的，无需重启。如此，即可避免文件被系统删掉。
其他事项
以上解决方案是我在我的系统中亲测成功的方案，由于系统版本不同，我的解决办法可能不适用于你，你需要尝试。

我的Linux内核版本为Linux version 3.10.0-1062.1.1.el7.x86_64

系统版本为CentOS Linux release 7.5.1804

我不确定其他系统版本的设置方式是否一致，有的系统可能没有/usr/lib/tmpfiles.d/tmp.conf这个文件，那么可以看看是否存在/etc/cron.daily/tmpwatch这个文件，存在的话可以在这个文件中添加排除项，添加方式与本文一致。
如果依然无法解决，可以看看我参考的两篇文章，寻找解决方案。
参考
https://www.cnblogs.com/vsop/p/10943753.html

https://blog.51cto.com/zhangshaoxiong/1310166

我们在进行arc环境下的开发的时候,因为苹果会帮我们在编译期间,自动为我们的代码添加上内存管理的相关语句,但是这种情况下仍然是有可能出现内存泄露或者书写了多余的代码的情况.
而我认识这个技巧则是因为现在的项目是公司的老项目,代码是在MRC环境下书写的,这就表示我要花费一定的精力来关注内存管理相关的操作,比如导航控制器的内存管理(一直很迷惑),定时器的内存管理,还有等等的自动内存管理的相关知识.
而我们只要使用一个设置,就能够在每次代码编译的时候,静态检查代码的内存泄露的漏洞,为我们这些开发老项目的程序员省了不少心,当然对ARC的项目进行静态内存泄露分析也是很有必要的.
设置步骤:
    1.点击项目文件,选择build settings
    2.在搜索框中检索关键词:analyze
    3.如下图所示,选择yes,就可以了




接着在编译的时候,就能发现ARC的代码也是存在着某些隐患的.

程序中开始new了一块内存，最后销毁时使用Delete[]老报错，
 
pointNum = GetPointNum(file);
	pPointList = new POINT3F[pointNum-1];
	memset(pPointList, 0, sizeof(POINT3F)*(pointNum-1));
后来发现红色部分大小与程序所需内存大小明显不符，后来将其改为：
 
pointNum = GetPointNum(file);
	pPointList = new POINT3F[pointNum+1];
	memset(pPointList, 0, sizeof(POINT3F)*(pointNum+1));
再Delete[]就没有问题了。也就是说在当内存大小不足时，程序中的操作越界操作数据后，原始指针所指内存大小被破坏了，也就不能正确的释放了。
 
 

最近在帮香港地铁在做一个数据转换，老的系统的表数据量都在几千万级别的，转换到700万左右就会出现以下错误：
2011/06/23 06:14:20 - PM_MEASUREMENT_READING.0 - linenr 7550000
2011/06/23 06:14:20 - Update.0 - linenr 7550000
2011/06/23 06:14:27 - BU_ID.0 - LineNr : 15150000
2011/06/23 06:14:37 - EQUIP_ID.0 - linenr 7600000
2011/06/23 06:15:06 - CONV_EAM_METER_READING.0 - linenr 7650000
2011/06/23 06:15:06 - MEASUREMENT_ID.0 - linenr 7600000
2011/06/23 06:15:46 - Add sequence.0 - linenr 7650000
2011/06/23 06:15:46 - BU_ID.0 - LineNr : 15200000
2011/06/23 06:15:46 - Switch 1.0 - linenr 7600000
2011/06/23 06:15:46 - Judge.0 - linenr 7600000
2011/06/23 06:15:46 - Switch 2.0 - linenr 7600000
2011/06/23 06:16:35 - Convert LAST_UPD_USER_ID.0 - linenr 7650000
2011/06/23 06:16:35 - Filter rows.0 - linenr 7600000
2011/06/23 06:17:34 - STATUS.0 - linenr 7650000
2011/06/23 06:17:35 - PM_MEASUREMENT_READING.0 - linenr 7600000
2011/06/23 06:17:35 - Update.0 - linenr 7600000
2011/06/23 06:17:41 - BU_ID.0 - LineNr : 15250000
2011/06/23 06:17:51 - EQUIP_ID.0 - linenr 7650000
2011/06/23 06:18:21 - CONV_EAM_METER_READING.0 - linenr 7700000
2011/06/23 06:18:21 - MEASUREMENT_ID.0 - linenr 7650000
2011/06/23 06:18:59 - Add sequence.0 - linenr 7700000
2011/06/23 06:18:59 - BU_ID.0 - LineNr : 15300000
2011/06/23 06:18:59 - Switch 2.0 - linenr 7650000
2011/06/23 06:18:59 - Switch 1.0 - linenr 7650000
2011/06/23 06:18:59 - Judge.0 - linenr 7650000
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Because of an error, this step can't continue:
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Unable to roll back database transaction to savepoint
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : ORA-04030: 在尝试分配 484 字节 (session heap,kxsc: kkspsc0) 时进程内存不足
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.core.database.Database.rollback(Database.java:4766)
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:405)
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:117)
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : org.pentaho.di.trans.step.RunThread.run(RunThread.java:40)
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : java.lang.Thread.run(Thread.java:619)
2011/06/23 06:19:32 - Get Variables 1.0 - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)
2011/06/23 06:19:32 - Judge.0 - Finished processing (I=0, O=0, R=7656961, W=15313922, U=0, E=0)
2011/06/23 06:19:32 - CONV_METER - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Errors detected!
2011/06/23 06:19:32 - Switch 2.0 - Finished processing (I=0, O=0, R=7656961, W=0, U=0, E=0)
2011/06/23 06:19:32 - CONV_METER - ERROR (version 4.1.0-stable, build 14410 from 2010-11-16 16.43.28 by buildguy) : Errors detected!
2011/06/23 06:19:32 - Dummy (do nothing).0 - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)
2011/06/23 06:19:32 - Switch 1.0 - Finished processing (I=0, O=0, R=7656961, W=1, U=0, E=0)
2011/06/23 06:19:32 - Get Variables.0 - Finished processing (I=0, O=0, R=3, W=3, U=0, E=0)
2011/06/23 06:19:32 - Get Variables 3.0 - Finished processing (I=0, O=0, R=7636958, W=7636958, U=0, E=0)
2011/06/23 06:19:32 - Update.0 - Finished processing (I=7636958, O=0, R=7636958, W=7636958, U=7636958, E=0)
2011/06/23 06:19:32 - Filter rows.0 - Finished processing (I=0, O=0, R=7646961, W=7646961, U=0, E=0)
2011/06/23 06:19:32 - BU_ID.0 - Finished processing (I=0, O=0, R=7656962, W=15313924, U=0, E=0)
2011/06/23 06:19:32 - CONV_EAM_METER_READING.0 - Finished reading query, closing connection.
2011/06/23 06:19:32 - Add sequence.0 - Finished processing (I=0, O=0, R=7706967, W=7706967, U=0, E=0)
2011/06/23 06:19:32 - MEASUREMENT_ID.0 - Finished processing (I=15333925, O=0, R=7666963, W=7666963, U=0, E=0)
2011/06/23 06:19:32 - PM_MEASUREMENT_READING.0 - Finished processing (I=0, O=7636958, R=7636959, W=7636958, U=0, E=4)
2011/06/23 06:19:32 - EQUIP_ID.0 - Finished processing (I=15353928, O=0, R=7676964, W=7676964, U=0, E=0)
2011/06/23 06:19:32 - STATUS.0 - Finished processing (I=15373930, O=0, R=7686965, W=7686965, U=0, E=0)
2011/06/23 06:19:32 - Convert LAST_UPD_USER_ID.0 - Finished processing (I=15393932, O=0, R=7696966, W=7696966, U=0, E=0)
2011/06/23 06:19:32 - CONV_METER - CONV_METER
2011/06/23 06:19:32 - CONV_EAM_METER_READING.0 - Finished processing (I=7716969, O=0, R=0, W=7716968, U=0, E=0)
2011/06/23 06:19:32 - CONV_METER - CONV_METER
2011/06/23 06:19:32 - FAIL_RECORDS 1.0 - Finished processing (I=0, O=1, R=1, W=0, U=0, E=0)
2011/06/23 06:19:32 - FAIL_RECORDS.0 - Finished processing (I=0, O=3, R=3, W=0, U=0, E=0)
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
我发现每次报这个错误的时候oracle服务器上面的oracle.exe进程到了1.7g左右，奇怪的是每次都在这个地方就死了，上网查了以下，说是windows环境下oracle有1.7g的内存限制，可以突破限制，但是就算突破了限制，调到2g又有什么用，最多转到1000万有会报这个错误了，转换过程中，oracle进程所占用的内存在不断的增加，我的转换设置的是1000条commit一次的，有没有办法一边转换一边释放掉已经commit了的内存，不然的话要转几千万的数据那oracle进程占用起码要5g左右，kettle里面有没有什么设置可以释放内存的？ 我发现只有转换停止了之后oracle进程才会释放，各位大哥请问有没有什么办法在转换大数据量时不会报以上的错误呢？ 我试过很多oracle的调优，把最大连接数设大、sga和pga都设大了都没效果，反而设大了之后转到400万左右就挂了，各位大哥知道的话请联系我：
qq：263812212
邮箱：263812212@qq.com
2011年6月22日 23:30