精华内容
下载资源
问答
  • 缓存预热

    2019-10-27 16:06:47
    缓存预热 1、定义 缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据! 2、解决方案 1)直接...

    缓存预热

    1、定义

     缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!

    2、解决方案

    1)直接写个缓存刷新页面,上线时手工操作下。

    2)数据量不大,可以在项目启动的时候自动进行加载。

    3)定时刷新缓存。

     

    展开全文
  • 》,今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念的入门及简单解决方案。 一、缓存雪崩 缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未...

    前面一节说到了《为什么说Redis是单线程的以及Redis为什么这么快!》,今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念的入门及简单解决方案。

    一、缓存雪崩

    缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未到期间(例如:我们设置缓存时采用了相同的过期时间,在同一时刻出现大面积的缓存过期),所有原本应该访问缓存的请求都去查询数据库了,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个系统崩溃。

    缓存正常从Redis中获取,示意图如下:

    这里写图片描述

    缓存失效瞬间示意图如下:

    这里写图片描述

    缓存失效时的雪崩效应对底层系统的冲击非常可怕!大多数系统设计者考虑用加锁或者队列的方式保证来保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求落到底层存储系统上。还有一个简单方案就时讲缓存失效时间分散开,比如我们可以在原有的失效时间基础上增加一个随机值,比如1-5分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。

    以下简单介绍两种实现方式的伪代码:

    (1)碰到这种情况,一般并发量不是特别多的时候,使用最多的解决方案是加锁排队,伪代码如下:

    //伪代码
    public object GetProductListNew() {
        int cacheTime = 30;
        String cacheKey = "product_list";
        String lockKey = cacheKey;
    
        String cacheValue = CacheHelper.get(cacheKey);
        if (cacheValue != null) {
            return cacheValue;
        } else {
            synchronized(lockKey) {
                cacheValue = CacheHelper.get(cacheKey);
                if (cacheValue != null) {
                    return cacheValue;
                } else {
    	            //这里一般是sql查询数据
                    cacheValue = GetProductListFromDB(); 
                    CacheHelper.Add(cacheKey, cacheValue, cacheTime);
                }
            }
            return cacheValue;
        }
    }
    

    加锁排队只是为了减轻数据库的压力,并没有提高系统吞吐量。假设在高并发下,缓存重建期间key是锁着的,这是过来1000个请求999个都在阻塞的。同样会导致用户等待超时,这是个治标不治本的方法!

    注意:加锁排队的解决方式分布式环境的并发问题,有可能还要解决分布式锁的问题;线程还会被阻塞,用户体验很差!因此,在真正的高并发场景下很少使用!

    (2)还有一个解决办法解决方案是:给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存,实例伪代码如下:

    //伪代码
    public object GetProductListNew() {
        int cacheTime = 30;
        String cacheKey = "product_list";
        //缓存标记
        String cacheSign = cacheKey + "_sign";
    
        String sign = CacheHelper.Get(cacheSign);
        //获取缓存值
        String cacheValue = CacheHelper.Get(cacheKey);
        if (sign != null) {
            return cacheValue; //未过期,直接返回
        } else {
            CacheHelper.Add(cacheSign, "1", cacheTime);
            ThreadPool.QueueUserWorkItem((arg) -> {
    			//这里一般是 sql查询数据
                cacheValue = GetProductListFromDB(); 
    	        //日期设缓存时间的2倍,用于脏读
    	        CacheHelper.Add(cacheKey, cacheValue, cacheTime * 2);                 
            });
            return cacheValue;
        }
    } 
    

    解释说明:

    1、缓存标记:记录缓存数据是否过期,如果过期会触发通知另外的线程在后台去更新实际key的缓存;

    2、缓存数据:它的过期时间比缓存标记的时间延长1倍,例:标记缓存时间30分钟,数据缓存设置为60分钟。 这样,当缓存标记key过期后,实际缓存还能把旧数据返回给调用端,直到另外的线程在后台更新完成后,才会返回新缓存。

    关于缓存崩溃的解决方法,这里提出了三种方案:使用锁或队列、设置过期标志更新缓存、为key设置不同的缓存失效时间,还有一各被称为“二级缓存”的解决方法,有兴趣的读者可以自行研究。

    二、缓存穿透

    缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库再查询一遍,然后返回空(相当于进行了两次无用的查询)。这样请求就绕过缓存直接查数据库,这也是经常提的缓存命中率问题。

    有很多种方法可以有效地解决缓存穿透问题,最常见的则是采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层存储系统的查询压力。

    另外也有一个更为简单粗暴的方法,如果一个查询返回的数据为空(不管是数据不存在,还是系统故障),我们仍然把这个空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。通过这个直接设置的默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴!

    //伪代码
    public object GetProductListNew() {
        int cacheTime = 30;
        String cacheKey = "product_list";
    
        String cacheValue = CacheHelper.Get(cacheKey);
        if (cacheValue != null) {
            return cacheValue;
        }
    
        cacheValue = CacheHelper.Get(cacheKey);
        if (cacheValue != null) {
            return cacheValue;
        } else {
            //数据库查询不到,为空
            cacheValue = GetProductListFromDB();
            if (cacheValue == null) {
                //如果发现为空,设置个默认值,也缓存起来
                cacheValue = string.Empty;
            }
            CacheHelper.Add(cacheKey, cacheValue, cacheTime);
            return cacheValue;
        }
    }
    

    把空结果,也给缓存起来,这样下次同样的请求就可以直接返回空了,即可以避免当查询的值为空时引起的缓存穿透。同时也可以单独设置个缓存区域存储空值,对要查询的key进行预先校验,然后再放行给后面的正常缓存处理逻辑。

    三、缓存预热

    缓存预热这个应该是一个比较常见的概念,相信很多小伙伴都应该可以很容易的理解,缓存预热就是系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!

    解决思路:

    1、直接写个缓存刷新页面,上线时手工操作下;

    2、数据量不大,可以在项目启动的时候自动进行加载;

    3、定时刷新缓存;

    四、缓存更新

    除了缓存服务器自带的缓存失效策略之外(Redis默认的有6中策略可供选择),我们还可以根据具体的业务需求进行自定义的缓存淘汰,常见的策略有两种:

    (1)定时去清理过期的缓存;

    (2)当有用户请求过来时,再判断这个请求所用到的缓存是否过期,过期的话就去底层系统得到新数据并更新缓存。

    两者各有优劣,第一种的缺点是维护大量缓存的key是比较麻烦的,第二种的缺点就是每次用户请求过来都要判断缓存失效,逻辑相对比较复杂!具体用哪种方案,大家可以根据自己的应用场景来权衡。

    五、缓存降级

    当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级。

    降级的最终目的是保证核心服务可用,即使是有损的。而且有些服务是无法降级的(如加入购物车、结算)。

    在进行降级之前要对系统进行梳理,看看系统是不是可以丢卒保帅;从而梳理出哪些必须誓死保护,哪些可降级;比如可以参考日志级别设置预案:

    (1)一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;

    (2)警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警;

    (3)错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;

    (4)严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。

    六、总结

    这些都是实际项目中,可能碰到的一些问题,也是面试的时候经常会被问到的知识点,实际上还有很多很多各种各样的问题,文中的解决方案,也不可能满足所有的场景,相对来说只是对该问题的入门解决方法。一般正式的业务场景往往要复杂的多,应用场景不同,方法和解决方案也不同,由于上述方案,考虑的问题并不是很全面,因此并不适用于正式的项目开发,但是可以作为概念理解入门,具体解决方案要根据实际情况来确定!


    参考文章:

    1、http://www.cnblogs.com/zhangweizhong/p/6258797.html
    2、http://www.cnblogs.com/zhangweizhong/p/5884761.html
    3、http://blog.csdn.net/zeb_perfect/article/details/54135506

    在这里插入图片描述

    【视频福利】2T免费学习视频,搜索或扫描上述二维码关注微信公众号:Java后端技术(ID: JavaITWork)回复:1024,即可免费获取!内含SSM、Spring全家桶、微服务、MySQL、MyCat、集群、分布式、中间件、Linux、网络、多线程,Jenkins、Nexus、Docker、ELK等等免费学习视频,持续更新!

    展开全文
  • 面试中缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级怎么解答 面试中缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级怎么解答 面试中缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级怎么解答
  • redis缓存预热

    2021-03-02 17:56:09
    缓存预热 1、定义 缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据! 2、解决方案 1)直接写个...

    缓存预热
    1、定义

    缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!

    2、解决方案

    1)直接写个缓存刷新页面,上线时手工操作下。
    2)数据量不大,可以在项目启动的时候自动进行加载。
    3)定时刷新缓存。

    我要做的就是缓存热点课程或者缓存首页的课程列表。

    展开全文
  • 什么是缓存预热

    2021-08-30 16:46:22
    缓存预热是指系统上线后,提前将相关的缓存数据加载到缓存系统中,避免刚上线使用户有太多请求打到数据库上去,然后再去将数据缓存的问题。 有了缓存预热后,系统刚上线用户也可以直接查询实现被预热的缓存数据 ...

    1.概念

    • 缓存预热是指系统上线后,提前将相关的缓存数据加载到缓存系统中,避免刚上线使用户有太多请求打到数据库上去,然后再去将数据缓存的问题。
    • 有了缓存预热后,系统刚上线用户也可以直接查询实现被预热的缓存数据
    • 如果不进行预热,那么redis初始状态数据为空,系统上线初期,对于高并发的流量,都会访问数据库,会对数据库造成流量的压力

    2. 缓存预热的解决方案

    • 数据量不大的时候可以不进行缓存预热,或者工程启动后再进行加载缓存动作
    • 数据量很大的时候,一定要保证热点数据提前加载到缓存。
    展开全文
  • 详解缓存预热、缓存雪崩、缓存穿透、缓存击穿原因以及解决方案
  • 理解什么是缓存雪崩、缓存穿透、缓存预热
  • 缓存预热2. 缓存雪崩3. 缓存击穿4. 缓存穿透 1. 缓存预热 场景: 服务器启动后迅速宕机 问题排查: 请求数量较高,大量的请求过来之后都要从缓存中获取数据,但是缓存中又没有,从数据库中查找数据后将数据再存入...
  • 【分布式缓存】缓存预热

    千次阅读 2019-05-14 14:32:26
    缓存预热就是系统上线后,提前将相关的缓存数据加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题,用户直接查询事先被预热的缓存数据。 缓存预热解决方案:直接写个缓存刷新页面,上线...
  • 目录缓存预热缓存雪崩缓存击穿缓存穿透 缓存预热 缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存...
  • 缓存预热 缓存预热,是指系统上线后,先将数据加载到缓存系统,手动或定时刷新。 缓存更新 缓存更新,是指根据需要定期或触发清理过期或不需要的缓存。 缓存降级 缓存降级,是为保证核心服务可用,使部分关键...
  • 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级
  • 缓存预热 问题:服务器启动后迅速宕机 原因:1、请求数据量较高。2、主从之间吞吐量较大,数据同步操作频度较高 缓存预热就是在系统启动前,提前把相关的缓存数据加载到缓存系统中。防止在用户请求时先查询数据库,...
  • Redis之缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级 1、缓存雪崩 发生场景:当Redis服务器重启或者大量缓存在同一时期失效时,此时大量的流量会全部冲击到数据库上面,数据库有可能会因为承受不住而宕机 ...
  • 文章目录一、缓存预热二、缓存雪崩三、缓存击穿四、缓存穿透五、布隆过滤器1. 原理实现2. Google工具包Guava实现布隆过滤器3. Redis布隆过滤器解决缓存穿透4. 安装rebloom 一、缓存预热 缓存预热就是系统启动前,...
  • 缓存预热、缓存雪崩、缓存击穿、缓存穿透、性能监控指标 文章目录缓存预热、缓存雪崩、缓存击穿、缓存穿透、性能监控指标缓存预热缓存雪崩解决方案解决方案缓存击穿缓存穿透问题分析解决方案总结性能监控指标 缓存...
  • 文章目录缓存雪崩缓存击穿缓存穿透缓存预热 缓存雪崩 缓存雪崩指的是在短时间内,有大量缓存的键同时过期,由于缓存过期,导致此时所有的请求就直接查询数据库,而数据库很难抵挡这样巨大的压力,严重情况下就会...
  • 缓存预热加入二级缓存 [root@localhost ~]# cat /root/lua/ad_read.lua --设置响应头类型 ngx.header.content_type="application/json;charset=utf8" --获取请求中的参数ID local uri_args = ngx.req.get_uri_args...
  • 缓存雪崩,缓存穿透,缓存预热,缓存热备是在做缓存设计或者缓存应用时经常遇到的概念,也是缓存应用过程中必须熟知及知道 的东西。 缓存雪崩 当缓存处于单点情况下,一旦缓存服务器崩溃,所有的请求就会落到数据库...
  • 今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念的入门及简单解决方案。 一、缓存雪崩 缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未到期间...
  • Redis缓存雪崩和缓存穿透、缓存预热、缓存降级 缓存雪崩 大量的key同时失效 由于原有缓存失效,新缓存还没有存入到redis的期间 比方说:我们设置缓存时采用了相同的过期时间,在同一时刻出现大面积的缓存过期,所有...
  • 新的缓存系统没有任何缓存数据,在缓存重建数据的过程中,系统性能和数据库负载都不太好,所以最好是在系统上线之前就把要缓存的热点数据加载到缓存中,这种缓存预加载手段就是缓存预热。 缓存热备 缓存热备即当一台...
  • 文章目录缓存预热应对场景问题排查解决方案前置准备工作准备工作实施缓存雪崩数据库服务器崩溃问题排查解决方案(道)解决方案(术)缓存击穿数据库服务器崩溃问题排查解决方案(术)缓存穿透数据库服务器崩溃问题...
  • 缓存预热 服务器启动后快速宕机: 请求量较高 主从之间吞吐量较大,数据同步频率较高 缓存雪崩 平时应该怎么设计: 针对问题怎么具体的解决: 缓存击穿 缓存穿透 第一种比较弱 ...
  • 今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念的入门及简单解决方案。 一、缓存雪崩 缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未到期间...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 17,051
精华内容 6,820
关键字:

缓存预热