精华内容
下载资源
问答
  • Kafka如何在千万级别时优化JVM GC问题?
    展开全文
  • Kafka如何通过精妙的架构设计优化JVM GC问题?

    千次阅读 多人点赞 2019-07-05 15:05:17
    1、Kafka的客户端缓冲机制 首先,先得给大家明确一个事情,那就是在客户端发送消息给kafka...2、内存缓冲造成的频繁GC问题 那么这种内存缓冲机制的本意,其实就是把多条消息组成一个Batch,一次网络请求就是一个B...

    1、Kafka的客户端缓冲机制
    首先,先得给大家明确一个事情,那就是在客户端发送消息给kafka服务器的时候,一定是有一个内存缓冲机制的。

    也就是说,消息会先写入一个内存缓冲中,然后直到多条消息组成了一个Batch,才会一次网络通信把Batch发送过去。

    整个过程如下图所示:

    在这里插入图片描述

    2、内存缓冲造成的频繁GC问题
    那么这种内存缓冲机制的本意,其实就是把多条消息组成一个Batch,一次网络请求就是一个Batch或者多个Batch。

    这样每次网络请求都可以发送很多数据过去,避免了一条消息一次网络请求。从而提升了吞吐量,即单位时间内发送的数据量。

    但是问题来了,大家可以思考一下,一个Batch中的数据,会取出来然后封装在底层的网络包里,通过网络发送出去到达Kafka服务器。

    那么然后呢?这个Batch里的数据都发送过去了,现在Batch里的数据应该怎么处理?

    你要知道,这些Batch里的数据此时可还在客户端的JVM的内存里啊!那么此时从代码实现层面,一定会尝试避免任何变量去引用这些Batch对应的数据,然后尝试触发JVM自动回收掉这些内存垃圾。

    这样不断的让JVM回收垃圾,就可以不断的清理掉已经发送成功的Batch了,然后就可以不断的腾出来新的内存空间让后面新的数据来使用。

    这种想法很好,但是实际线上运行的时候一定会有问题,最大的问题,就是JVM GC问题。

    大家都知道一点,JVM GC在回收内存垃圾的时候,他会有一个“Stop the World”的过程,也就是垃圾回收线程运行的时候,会导致其他工作线程短暂的停顿,这样可以便于他自己安安静静的回收内存垃圾。

    这个也很容易想明白,毕竟你要是在回收内存垃圾的时候,你的工作线程还在不断的往内存里写数据,制造更多的内存垃圾,那你让人家JVM怎么回收垃圾?

    这就好比在大马路上,如果地上有很多垃圾,现在要把垃圾都扫干净,最好的办法是什么?大家都让开,把马路空出来,然后清洁工就是把垃圾清理干净。

    但是如果清洁工在清扫垃圾的时候,结果一帮人在旁边不停的嗑瓜子扔瓜子壳,吃西瓜扔西瓜皮,不停的制造垃圾,你觉得清洁工内心啥感受?当然是很愤慨了,照这么搞,地上的垃圾永远的都搞不干净了!

    通过了上面的语言描述,我们再来一张图,大家看看就更加清楚了

    在这里插入图片描述

    现在JVM GC是越来越先进,从CMS垃圾回收器到G1垃圾回收器,核心的目标之一就是不断的缩减垃圾回收的时候,导致其他工作线程停顿的时间。

    所以现在越是新款的垃圾回收器导致工作线程停顿的时间越短,但是再怎么短,他也还是存在啊!

    所以说,如何尽可能在自己的设计上避免JVM频繁的GC就是一个非常考验水平的事儿了。

    3、Kafka设计者实现的缓冲池机制
    在Kafka客户端内部,对这个问题实现了一个非常优秀的机制,就是缓冲池的机制

    简单来说,就是每个Batch底层都对应一块内存空间,这个内存空间就是专门用来存放写入进去的消息的。

    然后呢,当一个Batch被发送到了kafka服务器,这个Batch的数据不再需要了,就意味着这个Batch的内存空间不再使用了。

    此时这个Batch底层的内存空间不要交给JVM去垃圾回收,而是把这块内存空间给放入一个缓冲池里。

    这个缓冲池里放了很多块内存空间,下次如果你又有一个新的Batch了,那么不就可以直接从这个缓冲池里获取一块内存空间就ok了?

    然后如果一个Batch发送出去了之后,再把内存空间给人家还回来不就好了?以此类推,循环往复。

    同样,听完了上面的文字描述,再来一张图,看完这张图相信大伙儿就明白了:
    在这里插入图片描述

    一旦使用了这个缓冲池机制之后,就不涉及到频繁的大量内存的GC问题了。

    为什么呢?因为他可以上来就占用固定的内存,比如32MB。然后把32MB划分为N多个内存块,比如说一个内存块是16KB,这样的话这个缓冲池里就会有很多的内存块。

    然后你需要创建一个新的Batch,就从缓冲池里取一个16KB的内存块就可以了,然后这个Batch就不断的写入消息,但是最多就是写16KB,因为Batch底层的内存块就16KB。

    接着如果Batch被发送到Kafka服务器了,此时Batch底层的内存块就直接还回缓冲池就可以了。

    下次别人再要构建一个Batch的时候,再次使用缓冲池里的内存块就好了。这样就可以利用有限的内存,对他不停的反复重复的利用。因为如果你的Batch使用完了以后是把内存块还回到缓冲池中去,那么就不涉及到垃圾回收了。

    如果没有频繁的垃圾回收,自然就避免了频繁导致的工作线程的停顿了,JVM GC问题是不是就得到了大幅度的优化?

    没错,正是这个设计思想让Kafka客户端的性能和吞吐量都非常的高,这里蕴含了大量的优秀的机制。

    那么此时有人说了,如果我现在把一个缓冲池里的内存资源都占满了,现在缓冲池里暂时没有内存块了,怎么办呢?

    很简单,阻塞你的写入操作,不让你继续写入消息了。把你给阻塞住,不停的等待,直到有内存块释放出来,然后再继续让你写入消息。

    4、总结一下
    这篇文章我们从Kafka内存缓冲机制的设计思路开始,一直分析到了JVM GC问题的产生原因以及恶劣的影响。

    接着谈到了Kafka优秀的缓冲池机制的设计思想以及他是如何解决这个问题的,分析了很多Kafka作者在设计的时候展现出的优秀的技术设计思想和能力。

    希望大家多吸取这里的精华,在以后面试或者工作的时候,可以把这些优秀的思想纳为己用

    展开全文
  • JVM GC优化思路

    2019-08-22 10:18:37
    JVMGC一般分为Young GC和Full GC,而Full GC由于STW(stop the world)需要消耗的时间一般情况比Young GC要多很多,所以GC优化思路是尽量减少Full GC的频率,减少STW以提升性能。 现在我们知道了JVM优化的方向是...

    JVM的GC一般分为Young GC和Full GC,而Full GC由于STW(stop the world)需要消耗的时间一般情况比Young GC要多很多,所以GC优化思路是尽量减少Full GC的频率,减少STW以提升性能。

    现在我们知道了JVM优化的方向是减少Full GC的频率,要减少Full GC的频率必然要知道对象是如何进入老年代的。

    那么我们先考虑几个问题,Young GC、Full GC何时触发?对象如何进入老年代?

    1、Young GC何时触发?

    当新生代Eden区或者Survivor区空间不足时会触发Young GC。

    2、Full GC何时触发?

    1.老年代可用空间小于新生代存活对象所占空间,如果没有开启空间担保参数直接触发Full GC。

    2.老年代可用空间小于新生代平均进入老年代的大小,提前触发Full GC。

    3.新生代Young GC后的存活对象大于Survivor直接进入老年代,老年代内存不足触发Full GC。

    3、对象如何进入老年代?

    1.躲过15次GC,达到15岁高龄之后进入老年代。

    2.动态年龄判定规则,如果Survivor区域 年龄1+...+年龄n 对象总和大于Survivor区域的50%,此时年龄n以上的对象会进入老年代,不一定要达到15岁。

    3.如果一次Young GC后存活对象太多无法进入Survivor区域,直接进入老年代。

    4.大对象直接进入老年代。

    4、JVM GC优化

    现在我们知道了JVM GC优化的方向是让对象尽可能的存活在新生代进行Young GC,那么我们根据第三个问题 对象如何进入老年代 来进行针对性的优化。

    JVM年龄和大对象直接进入老年代一般优化系数比较低。

    主要优化的是动态年龄判定规则对象超过Survivor区域50%进入老年代和Young GC过后存活对象太多无法进入Survivor区域直接进入老年代这两种情况。

    也就是说一次Young GC过后存活的对象可以放入一个Survivor并且尽量不要大于Survivor的50%。

    主要设置的参数是新生代的内存大小以及新生代Eden和Survivor的比例,具体大小需要根据JVM GC日志情况来具体设计,这些内容不在本篇文章中,后续会有具体分析。

    展开全文
  • JVM GC频繁优化

    2020-08-11 17:20:27
    GC频繁优化 压力大时GC 12秒一次,需要进行优化优化GC约2分钟一次 内存到达1.18g,约60%时触发了minorGc jvm参数 -Xms2g -Xmx2g -Xmn768m -XX:MaxTenuringThreshold=13 优化一 观察到使用的内存其实...

    GC频繁优化

    压力大时GC 12秒一次,需要进行优化。

    优化前

    • GC约2分钟一次
    • 内存到达1.18g,约60%时触发了minorGc

    在这里插入图片描述

    • jvm参数

      -Xms2g -Xmx2g -Xmn768m -XX:MaxTenuringThreshold=13

    优化一

    • 观察到使用的内存其实占用率极低,可以适当增加年轻代的大小。

      -Xmn1g -XX:+PrintGCDetails -Xloggc:…/logs/gc.log

    在这里插入图片描述

    GC间隔时间稍有增大。

    • 观察GC日志

    在这里插入图片描述

    出现间隔时间比较短的Full GC。原因是元空间扩容。

    • 正常的Minor GC 时间间隔稳定后大约2分钟10秒,有一定提升。

    优化二

    • 增大元空间

      -XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M

    • 观察GC日志

    在这里插入图片描述

    • 观察到元空间导致的Full GC已经消失,正常的Minor GC稳定后大约间隔2分钟27秒。运行两小时后发现Minor GC的间隔大约是3分钟。

    测试

    开始对系统的监视器施压,原先优化前的Minor GC大约是12秒。

    在这里插入图片描述

    优化完成后,Minor GC大约是80秒一次。可以接受的程度。

    小结

    1. 年轻代原先三分之一的大小有点小,可以增加到二分之一。
    2. 元空间的大小一般定在256M,避免元空间引起的Full GC。
    展开全文
  • JVM GC优化

    千次阅读 2018-06-03 09:44:45
    查看JVMGC过程 在启动你的程序的时候,使用-verbose:gc 参数,将程序的 GC情况输出至 log 文本文件中。对log 文件进行简要分析。 输入的参数为“-verbose:gc -Xloggc:gc.log -XX:+PrintGCTimeStamps -XX:+...
  • JVM GC(垃圾回收机制) 在学习Java GC 之前,我们需要记住一个单词:stop-the-world 。它会在任何一种GC算法中发生。stop-the-world 意味着JVM因为需要执行GC而停止了应用程序的执行。当stop-the-world 发生时...
  • 前面二十几篇分析了JVM的核心运行原理,还有JVM GC的工作原理 同时,结合案例分析了JVM什么情况下会出现GC的问题,平时我们说优化JVM,到底是在说优化JVM的什么东西 。 这里我们来总结一下
  • Java的性能优化JVM GC(垃圾回收机制)在学习Java GC 之前,我们需要记住一个单词:stop-the-world 。它会在任何一种GC算法中发生。stop-the-world 意味着JVM因为需要执行GC而停止了应用程序的执行。当stop-the-...
  • JVM GC调整优化是以个极为复杂的过程,由于各个程序具备不同的特点,如:web和GUI程序就有很大区别(Web可以适当的停顿,但GUI停顿是客户无法接受的),而且由于跑在各个机器上的配置不同(主要cup个数,内存不同)...
  • JVM系列文章目录 初识JVM 深入理解JVM内存区域 玩转JVM对象和引用 JVM分代回收机制和垃圾回收算法 ...JVM调优之内存优化与GC优化JVM系列文章目录前言Apache Bench内存调优与GC调优测试工程JVM默认内存分配下进行压测
  • 一文看尽 JVM GC 调优

    万次阅读 2021-09-02 14:31:32
    而对于 JVM 调优来说,主要是 JVM 垃圾收集的优化,一般来说是因为有问题才需要优化,所以对于 JVM GC 来说, 如果你观察到 某个服务或者说是 Tomcat 进程的 CPU 使用率比较高, 并且在 GC 日志中发现 GC 次数比较...
  • JVM GC 机制与性能优化

    万次阅读 多人点赞 2016-05-11 16:31:38
    JAVA提供了垃圾回收器(garbage collector)来自动检测对象的作用域),可自动把不再被使用的存储空间释放掉,也就是说,GC机制可以有效地防止内存泄露以及内存溢出。 JAVA 垃圾回收器的主要任务是: 分配内存 ...
  • 对于java应用我们可以通过一些配置把程序运行过程中的gc日志全部打印出来,然后分析gc日志得到关键性指标,分析 GC原因,调优JVM参数。 打印GC日志方法,在JVM参数里增加参数 ‐XX:+PrintGCDetails ‐XX:+...
  • 为什么分配内存之后 不能全部使用的原因?因为复制算法会 浪费一部分空间
  • JVM GC日志文件分析

    千次阅读 2020-04-24 22:26:34
    JVM GC日志文件分析        GC 是垃圾回收(Garbage Collection)的缩写。两个关键名词:垃圾、回收。那何谓垃圾呢,JVM认为没有任何引用指向的对象就是垃圾对象,JVM里面判定为垃圾的算法有:...
  • JVM GC(垃圾回收机制)

    千次阅读 2017-03-27 08:03:40
    Java性能优化JVM GC(垃圾回收机制) Java的性能优化,整理出一篇文章,供以后温故知新。 JVM GC(垃圾回收机制) 在学习Java GC 之前,我们需要记住一个单词:stop-the-world 。它会在任何一种GC算法中发生。...
  • 一步步优化JVM三:GC优化基础

    千次阅读 2012-07-25 09:05:45
    本节主要描述关于垃圾回收器性能的三个指标,三个关于垃圾回收器优化的基本原则,以及优化HotSpot VM的垃圾回收器的信息收集,在这些指标中权衡以及信息的收集是非常重要的。 性能指标  吞吐量:衡量垃圾回收器...
  • 既然是JVM回收内存引发的事件,就优化JVM参数来解决吧!以默认1G内存为例。 设置Xmn值为150M: export HBASE_OPTS="-Xmn150m" 设置GC参数: export SERVER_GC_OPTS="-XX:...
  • JVM GC日志分析

    千次阅读 2018-09-07 16:17:43
    分析gc日志后,经常需要调整jvm内存相关参数,常用参数如下 -Xms:初始堆大小,默认为物理内存的1/64(<1GB);默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时,JVM就会增大堆直到-Xmx的最大限制 -Xmx:...
  • JVM GC算法以及调优

    千次阅读 2017-03-27 23:13:17
    由于Java执行GC垃圾回收时会阻塞其他所有的线程,这样是对用户极不友好的,即对GC优化重点是降低阻塞的时间,对GC的调优也就是对jvm的性能调优的重点。jvm堆的内存模式(画的比较简陋,忘海涵) jvm为堆内存划分...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 89,836
精华内容 35,934
关键字:

优化jvm的gc