高并发处理_高并发处理方案 - CSDN
精华内容
参与话题
  • 如何处理高并发

    万次阅读 多人点赞 2018-05-18 22:38:48
    一个小型的网站,比如个人网站,可以...已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很的要求,已经不是...

    一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比拟的。

    大型网站,比如门户网站。在面对大量用户访问、高并发请求方面,基本的解决方案集中在这样几个环节:使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面,还没法根本解决大型网站面临的高负载和高并发问题。

    上面提供的几个解决思路在一定程度上也意味着更大的投入,并且这样的解决思路具备瓶颈,没有很好的扩展性,下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。

    1、HTML静态化

    其实大家都知道,效率最高、消耗最小的就是纯静态化的html页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站,我们无法全部手动去挨个实现,于是出现了我们常见的信息发布系统CMS,像我们常访问的各个门户站点的新闻频道,甚至他们的其他频道,都是通过信息发布系统来管理和实现的,信息发布系统可以实现最简单的信息录入自动生成静态页面,还能具备频道管理、权限管理、自动抓取等功能,对于一个大型网站来说,拥有一套高效、可管理的CMS是必不可少的。

    除了门户和信息发布类型的网站,对于交互性要求很高的社区类型网站来说,尽可能的静态化也是提高性能的必要手段,将社区内的帖子、文章进行实时的静态化,有更新的时候再重新静态化也是大量使用的策略,像Mop的大杂烩就是使用了这样的策略,网易社区等也是如此。

    同时,html静态化也是某些缓存策略使用的手段,对于系统中频繁使用数据库查询但是内容更新很小的应用,可以考虑使用html静态化来实现,比如论坛中论坛的公用设置信息,这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中,这些信息其实大量被前台程序调用,但是更新频率很小,可以考虑将这部分内容进行后台更新的时候进行静态化,这样避免了大量的数据库访问请求。

    2、图片服务器分离

    大家知道,对于Web服务器来说,不管是Apache、IIS还是其他容器,图片是最消耗资源的,于是我们有必要将图片与页面进行分离,这是基本上大型网站都会采用的策略,他们都有独立的图片服务器,甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力,并且可以保证系统不会因为图片问题而崩溃,在应用服务器和图片服务器上,可以进行不同的配置优化,比如apache在配置ContentType的时候可以尽量少支持,尽可能少的LoadModule,保证更高的系统消耗和执行效率。

    3、数据库集群和库表散列

    大型网站都有复杂的应用,这些应用必须使用数据库,那么在面对大量访问的时候,数据库的瓶颈很快就能显现出来,这时一台数据库将很快无法满足应用,于是我们需要使用数据库集群或者库表散列。

    在数据库集群方面,很多数据库都有自己的解决方案,Oracle、Sybase等都有很好的方案,常用的MySQL提供的Master/Slave也是类似的方案,您使用了什么样的DB,就参考相应的解决方案来实施即可。

    上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制,于是我们需要从应用程序的角度来考虑改善系统架构,库表散列是常用并且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者功能进行更小的数据库散列,比如用户表,按照用户ID进行表散列,这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的架构,将论坛的用户、设置、帖子等信息进行数据库分离,然后对帖子、用户按照板块和ID进行散列数据库和表,最终可以在配置文件中进行简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。

    4、缓存

    缓存一词搞技术的都接触过,很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。 
    架构方面的缓存,对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块,也可以使用外加的Squid模块进行缓存,这两种方式均可以有效的提高Apache的访问响应能力。 
    网站程序开发方面的缓存,Linux上提供的Memory Cache是常用的缓存接口,可以在web开发中使用,比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享,一些大型社区使用了这样的架构。另外,在使用web语言开发的时候,各种语言基本都有自己的缓存模块和方法,PHP有Pear的Cache模块,Java就更多了,.net不是很熟悉,相信也肯定有。

    5、镜像

    镜像是大型网站常采用的提高性能和数据安全性的方式,镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异,比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点,数据进行定时更新或者实时更新。在镜像的细节技术方面,这里不阐述太深,有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路,比如Linux上的rsync等工具。

    6、负载均衡

    负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。

    负载均衡技术发展了多年,有很多专业的服务提供商和产品可以选择,我个人接触过一些解决方法,其中有两个架构可以给大家做参考。

    1)硬件四层交换

    第四层交换使用第三层和第四层信息包的报头信息,根据应用区间识别业务流,将整个区间段的业务流分配到合适的应用服务器进行处理。 第四层交换功能就象是虚IP,指向物理服务器。它传输的业务服从的协议多种多样,有HTTP、FTP、NFS、Telnet或其他协议。这些业务在物理服务器基础上,需要复杂的载量平衡算法。在IP世界,业务类型由终端TCP或UDP端口地址来决定,在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。

    在硬件四层交换产品领域,有一些知名的产品可以选择,比如Alteon、F5等,这些产品很昂贵,但是物有所值,能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了。

    2)软件四层交换

    大家知道了硬件四层交换机的原理后,基于OSI模型来实现的软件四层交换也就应运而生,这样的解决方案实现的原理一致,不过性能稍差。但是满足一定量的压力还是游刃有余的,有人说软件实现方式其实更灵活,处理能力完全看你配置的熟悉能力。

    软件四层交换我们可以使用Linux上常用的LVS来解决,LVS就是Linux Virtual Server,他提供了基于心跳线heartbeat的实时灾难应对解决方案,提高系统的鲁棒性,同时可供了灵活的虚拟VIP配置和管理功能,可以同时满足多种应用需求,这对于分布式的系统来说必不可少。

    一个典型的使用负载均衡的策略就是,在软件或者硬件四层交换的基础上搭建squid集群,这种思路在很多大型网站包括搜索引擎上被采用,这样的架构低成本、高性能还有很强的扩张性,随时往架构里面增减节点都非常容易。这样的架构我准备空了专门详细整理一下和大家探讨。


    一:高并发高负载类网站关注点之数据库

    没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用,数据库的响应是首先要解决的。
    一般来说MySQL是最常用的,可能最初是一个mysql主机,当数据增加到100万以上,那么,MySQL的效能急剧下降。常用的优化措施是M-S(主-从)方式进行同步复制,将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slaves方式,2个主Mysql,多个Slaves,需要注意的是,虽然有2个Master,但是同时只有1个是Active,我们可以在一定时候切换。之所以用2个M,是保证M不会又成为系统的SPOF。
    Slaves可以进一步负载均衡,可以结合LVS,从而将select操作适当的平衡到不同的slaves上。
    以上架构可以抗衡到一定量的负载,但是随着用户进一步增加,你的用户表数据超过1千万,这时那个M变成了SPOF。你不能任意扩充Slaves,否则复制同步的开销将直线上升,怎么办?我的方法是表分区,从业务层面上进行分区。最简单的,以用户数据为例。根据一定的切分方式,比如id,切分到不同的数据库集群去。

    全局数据库用于meta数据的查询。缺点是每次查询,会增加一次,比如你要查一个用户nightsailer,你首先要到全局数据库群找到nightsailer对应的cluster id,然后再到指定的cluster找到nightsailer的实际数据。
    每个cluster可以用m-m方式,或者m-m-slaves方式。这是一个可以扩展的结构,随着负载的增加,你可以简单的增加新的mysql cluster进去。

    需要注意的是:
    1、禁用全部auto_increment的字段
    2、id需要采用通用的算法集中分配
    3、要具有比较好的方法来监控mysql主机的负载和服务的运行状态。如果你有30台以上的mysql数据库在跑就明白我的意思了。
    4、不要使用持久性链接(不要用pconnect),相反,使用sqlrelay这种第三方的数据库链接池,或者干脆自己做,因为php4中mysql的链接池经常出问题。

    二:高并发高负载网站的系统架构之HTML静态化

    其实大家都知道,效率最高、消耗最小的就是纯静态化 http://www.ablanxue.com/shtml/201207/776.shtmlhtml页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是 最有效的方法。但是对于大量内容并且频繁更新的网站,我们无法全部手动去挨个实现,于是出现了我们常见的信息发布系统CMS,像我们常访问的各个门户站点 的新闻频道,甚至他们的其他频道,都是通过信息发布系统来管理和实现的,信息发布系统可以实现最简单的信息录入自动生成静态页面,还能具备频道管理、权限 管理、自动抓取等功能,对于一个大型网站来说,拥有一套高效、可管理的CMS是必不可少的。

      除了门户和信息发布类型的网站,对于交互性要求很高的社区类型网站来说,尽可能的静态化也是提高性能的必要手段,将社区内的帖子、文章进行实时的静态化,有更新的时候再重新静态化也是大量使用的策略,像Mop的大杂烩就是使用了这样的策略,网易社区等也是如此。

     同时,html静态化也是某些缓存策略使用的手段,对于系统中频繁使用数据库查询但是内容更新很小的应用,可以考虑使用html静态化来实现,比如论坛 中论坛的公用设置信息,这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中,这些信息其实大量被前台程序调用,但是更新频率很小,可以考虑将这 部分内容进行后台更新的时候进行静态化,这样避免了大量的数据库访问请求高并发。

    网站HTML静态化解决方案 
    当一个Servlet资源请求到达WEB服务器之后我们会填充指定的JSP页面来响应请求:

    HTTP请求---Web服务器---Servlet--业务逻辑处理--访问数据--填充JSP--响应请求

    HTML静态化之后:

    HTTP请求---Web服务器---Servlet--HTML--响应请求

    静态访求如下

    Servlet:

    public void doGet(HttpServletRequest request, HttpServletResponse response)  
            throws ServletException, IOException {  
        if(request.getParameter("chapterId") != null){  
            String chapterFileName = "bookChapterRead_"+request.getParameter("chapterId")+".html";  
            String chapterFilePath = getServletContext().getRealPath("/") + chapterFileName;  
            File chapterFile = new File(chapterFilePath);  
            if(chapterFile.exists()){response.sendRedirect(chapterFileName);return;}//如果有这个文件就告诉浏览器转向   
            INovelChapterBiz novelChapterBiz = new NovelChapterBizImpl();  
            NovelChapter novelChapter = novelChapterBiz.searchNovelChapterById(Integer.parseInt(request.getParameter("chapterId")));//章节信息   
            int lastPageId = novelChapterBiz.searchLastCHapterId(novelChapter.getNovelId().getId(), novelChapter.getId());  
            int nextPageId = novelChapterBiz.searchNextChapterId(novelChapter.getNovelId().getId(), novelChapter.getId());  
            request.setAttribute("novelChapter", novelChapter);  
            request.setAttribute("lastPageId", lastPageId);  
            request.setAttribute("nextPageId", nextPageId);  
            new CreateStaticHTMLPage().createStaticHTMLPage(request, response, getServletContext(),   
                    chapterFileName, chapterFilePath, "/bookRead.jsp");  
        }  
    }  
    生成HTML静态页面的类:

    package com.jb.y2t034.thefifth.web.servlet;  
    import java.io.ByteArrayOutputStream;  
    import java.io.FileOutputStream;  
    import java.io.IOException;  
    import java.io.OutputStreamWriter;  
    import java.io.PrintWriter;  
    import javax.servlet.RequestDispatcher;  
    import javax.servlet.ServletContext;  
    import javax.servlet.ServletException;  
    import javax.servlet.ServletOutputStream;  
    import javax.servlet.http.HttpServletRequest;  
    import javax.servlet.http.HttpServletResponse;  
    import javax.servlet.http.HttpServletResponseWrapper;  
    /** 
    * 创建HTML静态页面 
    * 功能:创建HTML静态页面 
    * 时间:2009年1011日 
    * 地点:home 
    * @author mavk 

    */  
    public class CreateStaticHTMLPage {  
        /** 
         * 生成静态HTML页面的方法 
         * @param request 请求对象 
         * @param response 响应对象 
         * @param servletContext Servlet上下文 
         * @param fileName 文件名称 
         * @param fileFullPath 文件完整路径 
         * @param jspPath 需要生成静态文件的JSP路径(相对即可) 
         * @throws IOException 
         * @throws ServletException 
         */  
        public void createStaticHTMLPage(HttpServletRequest request, HttpServletResponse response,ServletContext servletContext,String fileName,String fileFullPath,String jspPath) throws ServletException, IOException{  
            response.setContentType("text/html;charset=gb2312");//设置HTML结果流编码(即HTML文件编码)   
            RequestDispatcher rd = servletContext.getRequestDispatcher(jspPath);//得到JSP资源   
            final ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();//用于从ServletOutputStream中接收资源   
            final ServletOutputStream servletOuputStream = new ServletOutputStream(){//用于从HttpServletResponse中接收资源   
                public void write(byte[] b, int off,int len){  
                    byteArrayOutputStream.write(b, off, len);  
                }  
                public void write(int b){  
                    byteArrayOutputStream.write(b);  
                }  
            };  
            final PrintWriter printWriter = new PrintWriter(new OutputStreamWriter(byteArrayOutputStream));//把转换字节流转换成字符流   
            HttpServletResponse httpServletResponse = new HttpServletResponseWrapper(response){//用于从response获取结果流资源(重写了两个方法)   
                public ServletOutputStream getOutputStream(){  
                    return servletOuputStream;  
                }  
                public PrintWriter getWriter(){  
                    return printWriter;  
                }  
            };  
            rd.include(request, httpServletResponse);//发送结果流   
            printWriter.flush();//刷新缓冲区,把缓冲区的数据输出   
            FileOutputStream fileOutputStream = new FileOutputStream(fileFullPath);  
            byteArrayOutputStream.writeTo(fileOutputStream);//把byteArrayOuputStream中的资源全部写入到fileOuputStream中   
            fileOutputStream.close();//关闭输出流,并释放相关资源   
            response.sendRedirect(fileName);//发送指定文件流到客户端   
        }  

    三:高并发高负载类网站关注点之缓存、负载均衡、存储

    缓存是另一个大问题,我一般用memcached来做缓存集群,一般来说部署10台左右就差不多(10g内存池)。需要注意一点,千万不能用使用
    swap,最好关闭linux的swap。


    负载均衡/加速

    可能上面说缓存的时候,有人第一想的是页面静态化,所谓的静态html,我认为这是常识,不属于要点了。页面的静态化随之带来的是静态服务的
    负载均衡和加速。我认为Lighttped+Squid是最好的方式了。
    LVS <------->lighttped====>squid(s) ====lighttpd

    上面是我经常用的。注意,我没有用apache,除非特定的需求,否则我不部署apache,因为我一般用php-fastcgi配合lighttpd,
    性能比apache+mod_php要强很多。

    squid的使用可以解决文件的同步等等问题,但是需要注意,你要很好的监控缓存的命中率,尽可能的提高的90%以上。
    squid和lighttped也有很多的话题要讨论,这里不赘述。


    存储
    存储也是一个大问题,一种是小文件的存储,比如图片这类。另一种是大文件的存储,比如搜索引擎的索引,一般单文件都超过2g以上。
    小文件的存储最简单的方法是结合lighttpd来进行分布。或者干脆使用Redhat的GFS,优点是应用透明,缺点是费用较高。我是指
    你购买盘阵的问题。我的项目中,存储量是2-10Tb,我采用了分布式存储。这里要解决文件的复制和冗余。
    这样每个文件有不同的冗余,这方面可以参考google的gfs的论文。
    大文件的存储,可以参考nutch的方案,现在已经独立为hadoop子项目。(你可以google it)

    其他:
    此外,passport等也是考虑的,不过都属于比较简单的了。
    四:高并发高负载网站的系统架构之图片服务器分离 
    大家知道,对于Web 服务器来说,不管是Apache、IIS还是其他容器,图片是最消耗资源的,于是我们有必要将图片与页面进行分离,这是基本上大型网站都会采用的策略,他 们都有独立的图片服务器,甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力,并且可以保证系统不会因为图片问题而崩溃,在应用 服务器和图片服务器上,可以进行不同的配置优化,比如apache在配置ContentType的时候可以尽量少支持,尽可能少的LoadModule, 保证更高的系统消耗和执行效率。


    利用Apache实现图片服务器的分离
    缘由: 
    起步阶段的应用,都可能部署在一台服务器上(费用上的原因) 
    第一个优先分离的,肯定是数据库和应用服务器。 
    第二个分离的,会是什么呢?各有各的考虑,我所在的项目组重点考虑的节约带宽,服务器性能再好,带宽再高,并发来了,也容易撑不住。因此,我这篇文章的重点在这里。这里重点是介绍实践,不一定符合所有情况,供看者参考吧, 
    环境介绍: 
    WEB应用服务器:4CPU双核2G, 内存4G 
      部署:Win2003/Apache Http Server 2.1/Tomcat6 
    数据库服务器:4CPU双核2G, 内存4G 
      部署:Win2003/MSSQL2000 
    步骤: 
    步骤一:增加2台配置为:2CPU双核2G,内存2G普通服务器,做资源服务器 
      部署:Tomcat6,跑了一个图片上传的简单应用,(记得指定web.xml的<distributable/>),并指定域名为res1.***.com,res2.***.com,采用ajp协议 
    步骤二:修改Apache httpd.conf配置 
      原来应用的文件上传功能网址为: 
       1、/fileupload.html 
       2、/otherupload.html 
      在httpd.conf中增加如下配置

    <VirtualHost *:80>   
      ServerAdmin webmaster@***.com   
      ProxyPass /fileupload.html balancer://rescluster/fileupload lbmethod=byrequests stickysession=JSESSIONID nofailover=Off timeout=5 maxattempts=3      
      ProxyPass /otherupload.html balancer://rescluster/otherupload.html lbmethod=byrequests stickysession=JSESSIONID nofailover=Off timeout=5 maxattempts=3      
      #<!--负载均衡-->   
      <Proxy balancer://rescluster/>   
        BalancerMember ajp://res1.***.com:8009 smax=5 max=500 ttl=120 retry=300 loadfactor=100 route=tomcat1  
        BalancerMember ajp://res2.***.com:8009 smax=5 max=500 ttl=120 retry=300 loadfactor=100 route=tomcat2  
      </Proxy>   
       
    < /VirtualHost>  
    步骤三,修改业务逻辑: 
      所有上传文件在数据库中均采用全url的方式保存,例如产品图片路径存成:http://res1.***.com/upload/20090101/product120302005.jpg

    现在,你可以高枕无忧了,带宽不够时,增加个几十台图片服务器,只需要稍微修改一下apache的配置文件,即可。

    五:高并发高负载网站的系统架构之数据库集群和库表散列

    大型网站都有复杂的应用,这些应用必须使用数据库,那么在面对大量访问的时候,数据库的瓶颈很快就能显现出来,这时一台数据库将很快无法满足应用,于是我们需要使用数据库集群或者库表散列。

      在数据库集群方面,很多数据库都有自己的解决方案,Oracle、Sybase等都有很好的方案,常用的MySQL提供的Master/Slave也是类似的方案,您使用了什么样的DB,就参考相应的解决方案来实施即可。

     上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制,于是我们需要从应用程序的角度来考虑改善系统架构,库表散列是常用并 且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者 功能进行更小的数据库散列,比如用户表,按照用户ID进行表散列,这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的 架构,将论坛的用户、设置、帖子等信息进行数据库分离,然后对帖子、用户按照板块和ID进行散列数据库和表,最终可以在配置文件中进行简单的配置便能让系 统随时增加一台低成本的数据库进来补充系统性能。


    集群软件的分类:
    一般来讲,集群软件根据侧重的方向和试图解决的问题,分为三大类:高性能集群(High performance cluster,HPC)、负载均衡集群(Load balance cluster, LBC),高可用性集群(High availability cluster,HAC)。
    高性能集群(High performance cluster,HPC),它是利用一个集群中的多台机器共同完成同一件任务,使得完成任务的速度和可靠性都远远高于单机运行的效果。弥补了单机性能上的不足。该集群在天气预报、环境监控等数据量大,计算复杂的环境中应用比较多;
    负载均衡集群(Load balance cluster, LBC),它是利用一个集群中的多台单机,完成许多并行的小的工作。一般情况下,如果一个应用使用的人多了,那么用户请求的响应时间就会增大,机器的性能也会受到影响,如果使用负载均衡集群,那么集群中任意一台机器都能响应用户的请求,这样集群就会在用户发出服务请求之后,选择当时负载最小,能够提供最好的服务的这台机器来接受请求并相应,这样就可用用集群来增加系统的可用性和稳定性。这类集群在网站中使用较多;
    高可用性集群(High availability cluster,HAC),它是利用集群中系统 的冗余,当系统中某台机器发生损坏的时候,其他后备的机器可以迅速的接替它来启动服务,等待故障机的维修和返回。最大限度的保证集群中服务的可用性。这类系统一般在银行,电信服务这类对系统可靠性有高的要求的领域有着广泛的应用。
    2 数据库集群的现状
    数据库集群是将计算机集群技术引入到数据库中来实现的,尽管各厂商宣称自己的架构如何的完美,但是始终不能改变Oracle当先,大家追逐的事实,在集群的解决方案上Oracle RAC还是领先于包括微软在内的其它数据库厂商,它能满足客户高可用性、高性能、数据库负载均衡和方便扩展的需求。
    Oracle’s Real Application Cluster (RAC)
    Microsoft SQL Cluster Server (MSCS)
    IBM’s DB2 UDB High Availability Cluster(UDB)
    Sybase ASE High Availability Cluster (ASE)
    MySQL High Availability Cluster (MySQL CS)
    基于IO的第三方HA(高可用性)集群
    当前主要的数据库集群技术有以上六大类,有数据库厂商自己开发的;也有第三方的集群公司开发的;还有数据库厂商与第三方集群公司合作开发的,各类集群实现的功能及架构也不尽相同。
    RAC(Real Application Cluster,真正应用集群)是Oracle9i数据库中采用的一项新技术,也是Oracle数据库支持网格计算环境的核心技术。它的出现解决了传统数据库应用中面临的一个重要问题:高性能、高可伸缩性与低价格之间的矛盾。在很长一段时间里,甲骨文都以其实时应用集群技术(Real Application Cluster,RAC)统治着集群数据库市场

    六:高并发高负载网站的系统架构之缓存

    缓存一词搞技术的都接触过,很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。 
      架构方面的缓存,对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块,也可以使用外加的Squid模块进行缓存,这两种方式均可以有效的提高Apache的访问响应能力。
     网站程序开发方面的缓存,Linux上提供的Memory Cache是常用的缓存接口,可以在web开发中使用,比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享,一些大 型社区使用了这样的架构。另外,在使用web语言开发的时候,各种语言基本都有自己的缓存模块和方法,PHP有Pear的Cache模块,Java就更多 了,.net不是很熟悉,相信也肯定有。

    Java开源缓存框架 
    JBossCache/TreeCache JBossCache是一个复制的事务处理缓存,它允许你缓存企业级应用数据来更好的改善性能。缓存数据被自动复制,让你轻松进行Jboss服务器之间的集群工作。JBossCache能够通过Jboss应用服务或其他J2EE容器来运行一个Mbean服务,当然,它也能独立运行。 JBossCache包括两个模块:TreeCache和TreeCacheAOP。 TreeCache --是一个树形结构复制的事务处理缓存。 TreeCacheAOP --是一个“面向对象”缓存,它使用AOP来动态管理POJO
    OSCache OSCache标记库由OpenSymphony设计,它是一种开创性的JSP定制标记应用,提供了在现有JSP页面之内实现快速内存缓冲的功能。OSCache是个一个广泛采用的高性能的J2EE缓存框架,OSCache能用于任何Java应用程序的普通的缓存解决方案。OSCache有以下特点:缓存任何对象,你可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓存。 拥有全面的API--OSCache API给你全面的程序来控制所有的OSCache特性。 永久缓存--缓存能随意的写入硬盘,因此允许昂贵的创建(expensive-to-create)数据来保持缓存,甚至能让应用重启。 支持集群--集群缓存数据能被单个的进行参数配置,不需要修改代码。 缓存记录的过期--你可以有最大限度的控制缓存对象的过期,包括可插入式的刷新策略(如果默认性能不需要时)。
    JCACHE JCACHE是一种即将公布的标准规范(JSR 107),说明了一种对Java对象临时在内存中进行缓存的方法,包括对象的创建、共享访问、假脱机(spooling)、失效、各JVM的一致性等。它可被用于缓存JSP内最经常读取的数据,如产品目录和价格列表。利用JCACHE,多数查询的反应时间会因为有缓存的数据而加快(内部测试表明反应时间大约快15倍)。
    Ehcache Ehcache出自Hibernate,在Hibernate中使用它作为数据缓存的解决方案。
    Java Caching System JCS是Jakarta的项目Turbine的子项目。它是一个复合式的缓冲工具。可以将对象缓冲到内存、硬盘。具有缓冲对象时间过期设定。还可以通过JCS构建具有缓冲的分布式构架,以实现高性能的应用。 对于一些需要频繁访问而每访问一次都非常消耗资源的对象,可以临时存放在缓冲区中,这样可以提高服务的性能。而JCS正是一个很好的缓冲工具。缓冲工具对于读操作远远多于写操作的应用性能提高非常显著。
    SwarmCache SwarmCache是一个简单而功能强大的分布式缓存机制。它使用IP组播来有效地在缓存的实例之间进行通信。它是快速提高集群式Web应用程序的性能的理想选择。
    ShiftOne ShiftOne Object Cache这个Java库提供了基本的对象缓存能力。实现的策略有先进先出(FIFO),最近使用(LRU),最不常使用(LFU)。所有的策略可以最大化元素的大小,最大化其生存时间。
    WhirlyCache Whirlycache是一个快速的、可配置的、存在于内存中的对象的缓存。它能够通过缓存对象来加快网站或应用程序的速度,否则就必须通过查询数据库或其他代价较高的处理程序来建立。
    Jofti Jofti可对在缓存层中(支持EHCache,JBossCache和OSCache)的对象或在支持Map接口的存储结构中的对象进行索引与搜索。这个框架还为对象在索引中的增删改提供透明的功能同样也为搜索提供易于使用的查询功能。
    cache4j cache4j是一个有简单API与实现快速的Java对象缓存。它的特性包括:在内存中进行缓存,设计用于多线程环境,两种实现:同步与阻塞,多种缓存清除策略:LFU, LRU, FIFO,可使用强引用(strong reference)与软引用(soft reference)存储对象。
    Open Terracotta 一个JVM级的开源群集框架,提供:HTTP Session复制,分布式缓存,POJO群集,跨越群集的JVM来实现分布式应用程序协调(采用代码注入的方式,所以你不需要修改任何)。
    sccache SHOP.COM使用的对象缓存系统。sccache是一个in-process cache和二级、共享缓存。它将缓存对象存储到磁盘上。支持关联Key,任意大小的Key和任意大小的数据。能够自动进行垃圾收集。
    Shoal Shoal是一个基于Java可扩展的动态集群框架,能够为构建容错、可靠和可用的Java应用程序提供了基础架构支持。这个框架还可以集成到不希望绑定到特定通信协议,但需要集群和分布式系统支持的任何Java产品中。Shoal是GlassFish和JonAS应用服务器的集群引擎。
    Simple-Spring-Memcached Simple-Spring-Memcached,它封装了对MemCached的调用,使MemCached的客户端开发变得超乎寻常的简单。

    展开全文
  • 处理高并发的六种方法

    万次阅读 2019-03-19 12:35:02
    处理高并发的六种方法 1:系统拆分,将一个系统拆分为多个子系统,用dubbo来搞。然后每个系统连一个数据库,这样本来就一个库,现在多个数据库,这样就可以抗高并发。 2:缓存,必须得用缓存。大部分的高并发场景,...

    处理高并发的六种方法

    1:系统拆分,将一个系统拆分为多个子系统,用dubbo来搞。然后每个系统连一个数据库,这样本来就一个库,现在多个数据库,这样就可以抗高并发。

    2:缓存,必须得用缓存。大部分的高并发场景,都是读多写少,那你完全可以在数据库和缓存里都写一份,然后读的时候大量走缓存不就得了。毕竟人家redis轻轻松松单机几万的并发啊。没问题的。所以你可以考的虑考虑你的项目里,那些承载主要请求读场景,怎么用缓存来抗高并发。

    3:MQ(消息队列),必须得用MQ。可能你还是会出现高并发写的场景,比如说一个业务操作里要频繁搞数据库几十次,增删改增删改,疯了。那高并发绝对搞挂你的系统,人家是缓存你要是用redis来承载写那肯定不行,数据随时就被LRU(淘汰掉最不经常使用的)了,数据格式还无比简单,没有事务支持。所以该用mysql还得用mysql啊。那你咋办?用MQ吧,大量的写请求灌入MQ里,排队慢慢玩儿,后边系统消费后慢慢写,控制在mysql承载范围之内。所以你得考虑考虑你的项目里,那些承载复杂写业务逻辑的场景里,如何用MQ来异步写,提升并发性。MQ单机抗几万并发也是ok的。

    4:分库分表,可能到了最后数据库层面还是免不了抗高并发的要求,好吧,那么就将一个数据库拆分为多个库,多个库来抗更高的并发;然后将一个表拆分为多个表,每个表的数据量保持少一点,提高sql跑的性能。

    5:读写分离,这个就是说大部分时候数据库可能也是读多写少,没必要所有请求都集中在一个库上吧,可以搞个主从架构,主库写入,从库读取,搞一个读写分离。读流量太多的时候,还可以加更多的从库。

    6:solrCloud:
    SolrCloud(solr 云)是Solr提供的分布式搜索方案,可以解决海量数据的 分布式全文检索,因为搭建了集群,因此具备高可用的特性,同时对数据进行主从备份,避免了单点故障问题。可以做到数据的快速恢复。并且可以动态的添加新的节点,再对数据进行平衡,可以做到负载均衡:


    作者:ALLENsakaru
    来源:CSDN
    原文:https://blog.csdn.net/ALLENsakaru/article/details/85952942
    版权声明:本文为博主原创文章,转载请附上博文链接!

    展开全文
  • 解决高并发的几种方法

    万次阅读 2017-08-07 13:42:39
    一、将数据存到redis缓存 二、使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web...在电商项目中,会有某一件商品许多用户去访问,这个时候就会产生高并发,我解决的方式就是使用redis缓存去解决

    一、将数据存到redis缓存

    二、使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器.

    三、使用Ngnix负载均衡

    电商如何处理高并发

    为了解决高并发访问量我们采用了HttpClient页面静态化技术对首页的信息进行缓存,

    因为首页的页面相对复杂,freemarker需要制作模板会比较麻烦,而httpclient直接将jsp页面的数据拿过来以流的形式生成静态页面

    缓存方面我们使用了eccach。商品搜索方面为了避免传统的SQL搜索带来的耗时大,IO操作频繁等缺点,使用Lucene全文索引技术,

    而在电商项目中,会有某一件商品许多用户去访问,这个时候就会产生高并发,我解决的方式就是使用redis缓存去解决

    展开全文
  • Java高并发处理总结

    万次阅读 2018-12-01 10:42:49
    自己参考大牛博客及视频写了一些关于并发的感悟,高并发处理思路,无外乎以下几种 1 代码层面: 锁优化措施(见本文内容)、尽量简化事务和减少事务 2 应用层面:缓存 队列 限流 熔断  3数据库层面: 分库分表 ...

    自己参考大牛博客及视频写了一些关于并发的感悟,高并发的处理思路,无外乎以下几种

    1 代码层面: 锁优化措施(见本文内容)、尽量简化事务和减少事务

    2 应用层面:缓存 队列 限流 熔断 

    3数据库层面: 分库分表 读写分离

    JDK常见并发包处理工具中,ReentrantLock、countdownlanth、currenthasp、AQS源码一定要多读多看,理解里面的设计精髓。带着问题去思考,去看源码,会更加有效。

    一:ReentrantLock源码分析:

    阻塞队列是利用ReentrantLock配合condition中的asigl、await方法实现的

    读写分离锁:读锁是利用到了共享模式,写锁是用到了独占模式,与synchronize相比,可以避免读读互排斥,降低了锁的范围

    1.Java并发库中ReetrantReadWriteLock实现了ReadWriteLock接口并添加了可重入的特性
    2.ReetrantReadWriteLock读写锁的效率明显高于synchronized关键字
    3.ReetrantReadWriteLock读写锁的实现中,读锁使用共享模式;写锁使用独占模式,换句话说,读锁可以在没有写锁的时候被多个线程同时持有,写锁是独占的
    4.ReetrantReadWriteLock读写锁的实现中,需要注意的,当有读锁时,写锁就不能获得;而当有写锁时,除了获得写锁的这个线程可以获得读锁外,其他线程不能获得读锁

     

    设置了这个 State 变量,我们之前分析过 AQS 的源码,这个变量可以说是 AQS 实现的核心,通过控制这个变量,能够实现共享共享锁或者独占锁。

    那么,如果让我们来设计这个CountDownLatch ,我们该如何设计呢?

    事实上,很简单,我们只需要对 state 变量进行减 1 操作,直到这个变量变成 0,我们就唤醒主线程。

     

    1. 将当前线程包装成一个 Node 对象,加入到 AQS 的队列尾部。
    2. 如果他前面的 node 是 head ,便可以尝试获取锁了。
    3. 如果不是,则阻塞等待,调用的是 LockSupport.park(this);

    CountDown 的 await 方法就是通过 AQS 的锁机制让主线程阻塞等待。而锁的实现就是通过构造器中设置的 state 变量来控制的。当 state 是 0 的时候,就可以获取锁。然后执行后面的逻辑。

    总的来说,CountDownLatch 还是比较简单的。说白了就是通过共享锁实现的。在我们的代码中,只有一个线程会阻塞,那就是我们的主线程,其余的线程就是在不停的释放 state 变量,直到为 0。从 AQS 的角度来讲,整个工作流程如下图:

    简单的一个流程图,CountDownLatch 就是通过使用 AQS 的机制来实现倒计时门栓的。
    作者:莫那一鲁道
    链接:https://www.jianshu.com/p/a7bbba29b171
    來源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

    二:ReentrantLock源码分析: 

    1. 公平锁与非公平锁是如何实现的?
    2. 多个线程,只有一个线程获取锁时,其他线程是如何被唤醒的
    3. 如何线程安全的修改锁状态位?
    4. 得不到锁的线程,如何排队?
    5. 与synchronize区别

    ReentrantLock继承AQS独占式方法,自旋锁的思想是:假设有1000个线程等待获取锁,是根据CAS及volatile 修改的状态变量进行判断的,当前线程的锁释放后,只会通知队列中的第一个线程去竞争锁,减少了并发冲突。(ZK的分布式锁,为了避免惊群效应,也使用了类似的方式:获取不到锁的线程只监听前一个节点)

    为什么说JUC中的实现是基于CLH的“变种”,因为原始CLH队列,一般用于实现自旋锁。而JUC中的实现,获取不到锁的线程,一般会时而阻塞,时而唤醒。阻塞唤醒是通过locksupport中的park、UNpark方法实现的

    流程处理步骤: 

    基于CAS尝试将state(锁数量)从0设置为1

    A、如果设置成功,设置当前线程为独占锁的线程;

    B、如果设置失败,还会再获取一次锁数量,

    B1、如果锁数量为0,再基于CAS尝试将state(锁数量)从0设置为1一次,如果设置成功,设置当前线程为独占锁的线程;

    B2、如果锁数量不为0或者上边的尝试又失败了,查看当前线程是不是已经是独占锁的线程了,如果是,则将当前的锁数量+1;如果不是,则将该线程封装在一个Node内,并加入到等待队列中去。等待被其前一个线程节点唤醒。

    实现锁的关键在于:

    1. 通过CAS操作与volatile变量互相配合,线程安全的修改锁标志位
    2. 基于CLH队列,实现锁的排队策略
    3. 公平锁、非公平锁都是静态内部类,区别就在于hasQueuedPredecessors这个方法,

      因此公平锁和非公平锁的区别 多了需要判断当前线程是否在等待队列首部的逻辑

    public abstract class AbstractQueuedSynchronizer{
             //锁状态标志位:volatile变量(多线程间通过此变量判断锁的状态)
              private volatile int state;
             
              protected final int getState() {
                     return state;
              }
    
     
             protected final void setState(int newState) {
                  state = newState;
             }
    
        }
      
        abstract static  Sync extends AbstractQueuedSynchronizer {
        
            
             final boolean nonfairTryAcquire(int acquires) {
                final Thread current = Thread.currentThread();
                //volatile读,确保了锁状态位的内存可见性
                int c = getState();
                //锁还没有被其他线程占用
                if (c == 0) {
                    //此时,如果多个线程同时进入,CAS操作会确保,只有一个线程修改成功
                    if (compareAndSetState(0, acquires)) {
                        //设置当前线程拥有独占访问权
                        setExclusiveOwnerThread(current);
                        return true;
                    }
                }
                //当前线程就是拥有独占访问权的线程,即锁重入
                else if (current == getExclusiveOwnerThread()) {
                    //重入锁计数+1
                    int nextc = c + acquires;
                    if (nextc < 0) //溢出
                        throw new Error("Maximum lock count exceeded");
                    //只有获取锁的线程,才能进入此段代码,因此只需要一个volatile写操作,确保其内存可见性即可
                    setState(nextc);
                    return true;
                }
                return false;
            }
            
            //只有获取锁的线程才会执行此方法,因此只需要volatile读写确保内存可见性即可
            protected final boolean tryRelease(int releases) {
                //锁计数器-1
                int c = getState() - releases;
                if (Thread.currentThread() != getExclusiveOwnerThread())
                    throw new IllegalMonitorStateException();
                boolean free = false;
                //锁计数器为0,说明锁被释放
                if (c == 0) {
                    free = true;
                    setExclusiveOwnerThread(null);
                }
                setState(c);
                return free;
            }
        }


     

     /**
         * 非公平锁
         */
        static final class NonfairSync extends Sync {
            private static final long serialVersionUID = 7316153563782823691L;
    
            /**
             * Performs lock.  Try immediate barge, backing up to normal
             * acquire on failure.
             */
            final void lock() {
                if (compareAndSetState(0, 1))
                    setExclusiveOwnerThread(Thread.currentThread());
                else
                    acquire(1);
            }
    
            protected final boolean tryAcquire(int acquires) {
                return nonfairTryAcquire(acquires);
            }
        }
      /**
         * 公平锁 
         */
        static final class FairSync extends Sync {
            private static final long serialVersionUID = -3000897897090466540L;
    
            final void lock() {
                acquire(1);
            }
    
            /**
             * Fair version of tryAcquire.  Don't grant access unless
             * recursive call or no waiters or is first.
             */
            protected final boolean tryAcquire(int acquires) {
                final Thread current = Thread.currentThread();
                int c = getState();
                if (c == 0) {
                    if (!hasQueuedPredecessors() &&
                        compareAndSetState(0, acquires)) {
                        setExclusiveOwnerThread(current);
                        return true;
                    }
                }
                else if (current == getExclusiveOwnerThread()) {
                    int nextc = c + acquires;
                    if (nextc < 0)
                        throw new Error("Maximum lock count exceeded");
                    setState(nextc);
                    return true;
                }
                return false;
            }
        }

    公平锁、非公平锁都是静态内部类,区别就在于hasQueuedPredecessors这个方法,

    因此公平锁和非公平锁的区别 多了需要判断当前线程是否在等待队列首部的逻辑

    public final boolean hasQueuedPredecessors() {
        Node t = tail;
        Node h = head;
        Node s;
        return h != t &&
            ((s = h.next) == null || s.thread != Thread.currentThread());
    }

     

    synchronize 优先使用同步代码块,也不使用同步的方法,原因是同步是会锁所有的对象实例

     

    锁优化

    减少锁的持有时间

    例如避免给整个方法加锁

    1     public synchronized void syncMethod(){ 
    2         othercode1(); 
    3         mutextMethod(); 
    4         othercode2(); 
    5     }

    改进后

    复制代码

    1     public void syncMethod2(){ 
    2         othercode1(); 
    3         synchronized(this){ 
    4             mutextMethod(); 
    5         } 
    6         othercode2(); 
    7     }

    复制代码

    减小锁的粒度

    将大对象,拆成小对象,大大增加并行度,降低锁竞争. 如此一来偏向锁,轻量级锁成功率提高. 

    一个简单的例子就是jdk内置的ConcurrentHashMap与SynchronizedMap.

    Collections.synchronizedMap

    其本质是在读写map操作上都加了锁, 在高并发下性能一般.

    ConcurrentHashMap

    内部使用分区Segment来表示不同的部分, 每个分区其实就是一个小的hashtable. 各自有自己的锁. 

    只要多个修改发生在不同的分区, 他们就可以并发的进行. 把一个整体分成了16个Segment, 最高支持16个线程并发修改. 

    代码中运用了很多volatile声明共享变量, 第一时间获取修改的内容, 性能较好.

    读写分离锁替代独占锁

    顾名思义, 用ReadWriteLock将读写的锁分离开来, 尤其在读多写少的场合, 可以有效提升系统的并发能力.

    • 读-读不互斥:读读之间不阻塞。
    • 读-写互斥:读阻塞写,写也会阻塞读。
    • 写-写互斥:写写阻塞。

    锁分离

    在读写锁的思想上做进一步的延伸, 根据不同的功能拆分不同的锁, 进行有效的锁分离.

    一个典型的示例便是LinkedBlockingQueue,在它内部, take和put操作本身是隔离的, 

    有若干个元素的时候, 一个在queue的头部操作, 一个在queue的尾部操作, 因此分别持有一把独立的锁.

    复制代码

     1     /** Lock held by take, poll, etc */
     2     private final ReentrantLock takeLock = new ReentrantLock();
     3 
     4     /** Wait queue for waiting takes */
     5     private final Condition notEmpty = takeLock.newCondition();
     6 
     7     /** Lock held by put, offer, etc */
     8     private final ReentrantLock putLock = new ReentrantLock();
     9 
    10     /** Wait queue for waiting puts */
    11     private final Condition notFull = putLock.newCondition();

    复制代码

    锁粗化

    通常情况下, 为了保证多线程间的有效并发, 会要求每个线程持有锁的时间尽量短, 

    即在使用完公共资源后, 应该立即释放锁. 只有这样, 等待在这个锁上的其他线程才能尽早的获得资源执行任务.

    而凡事都有一个度, 如果对同一个锁不停的进行请求 同步和释放, 其本身也会消耗系统宝贵的资源, 反而不利于性能的优化

    一个极端的例子如下, 在一个循环中不停的请求同一个锁.

    复制代码

     1     for(int i = 0; i < 1000; i++){
     2         synchronized(lock){
     3             
     4         }
     5     }
     6 
     7     // 优化后
     8     synchronized(lock){
     9         for(int i = 0;i < 1000; i++){
    10             
    11         }
    12     }

    复制代码

    锁粗化与减少锁的持有时间, 两者是截然相反的, 需要在实际应用中根据不同的场合权衡使用.

    JDK中各种涉及锁优化的并发类可以看之前的博文: 并发包总结

    ThreadLocal

    除了控制有限资源访问外, 我们还可以增加资源来保证对象线程安全.

    对于一些线程不安全的对象, 例如SimpleDateFormat, 与其加锁让100个线程来竞争获取, 

    不如准备100个SimpleDateFormat, 每个线程各自为营, 很快的完成format工作.

    示例

    复制代码

     1 public class ThreadLocalDemo {
     2 
     3     public static ThreadLocal<SimpleDateFormat> threadLocal = new ThreadLocal();
     4 
     5     public static void main(String[] args){
     6         ExecutorService service = Executors.newFixedThreadPool(10);
     7         for (int i = 0; i < 100; i++) {
     8             service.submit(new Runnable() {
     9                 @Override
    10                 public void run() {
    11                     if (threadLocal.get() == null) {
    12                         threadLocal.set(new SimpleDateFormat("yyyy-MM-dd"));
    13                     }
    14 
    15                     System.out.println(threadLocal.get().format(new Date()));
    16                 }
    17             });
    18         }
    19     }
    20 }

    复制代码

    原理

    对于set方法, 先获取当前线程对象, 然后getMap()获取线程的ThreadLocalMap, 并将值放入map中.

    该map是线程Thread的内部变量, 其key为threadlocal, vaule为我们set进去的值.

    复制代码

    1     public void set(T value) {
    2         Thread t = Thread.currentThread();
    3         ThreadLocalMap map = getMap(t);
    4         if (map != null)
    5             map.set(this, value);
    6         else
    7             createMap(t, value);
    8     }

    复制代码

    对于get方法, 自然是先拿到map, 然后从map中获取数据.

    复制代码

     1     public T get() {
     2         Thread t = Thread.currentThread();
     3         ThreadLocalMap map = getMap(t);
     4         if (map != null) {
     5             ThreadLocalMap.Entry e = map.getEntry(this);
     6             if (e != null)
     7                 return (T)e.value;
     8         }
     9         return setInitialValue();
    10     }

    复制代码

    内存释放

    • 手动释放: 调用threadlocal.set(null)或者threadlocal.remove()即可
    • 自动释放: 关闭线程池, 线程结束后, 自动释放threadlocalmap.

    复制代码

     1 public class StaticThreadLocalTest {
     2 
     3     private static ThreadLocal tt = new ThreadLocal();
     4     public static void main(String[] args) throws InterruptedException {
     5         ExecutorService service = Executors.newFixedThreadPool(1);
     6         for (int i = 0; i < 3; i++) {
     7             service.submit(new Runnable() {
     8                 @Override
     9                 public void run() {
    10                     BigMemoryObject oo = new BigMemoryObject();
    11                     tt.set(oo);
    12                     // 做些其他事情
    13                     // 释放方式一: 手动置null
    14 //                    tt.set(null);
    15                     // 释放方式二: 手动remove
    16 //                    tt.remove();
    17                 }
    18             });
    19         }
    24         // 释放方式三: 关闭线程或者线程池
    25         // 直接new Thread().start()的场景, 会在run结束后自动销毁线程
    26 //        service.shutdown();
    27 
    28         while (true) {
    29             Thread.sleep(24 * 3600 * 1000);
    30         }
    31     }
    32 
    33 }
    34 // 构建一个大内存对象, 便于观察内存波动.
    35 class BigMemoryObject{
    36 
    37     List<Integer> list = new ArrayList<>();
    38 
    39     BigMemoryObject() {
    40         for (int i = 0; i < 10000000; i++) {
    41             list.add(i);
    42         }
    43     }
    44 }

    复制代码

    内存泄露

    内存泄露主要出现在无法关闭的线程中, 例如web容器提供的并发线程池, 线程都是复用的.

    由于ThreadLocalMap生命周期和线程生命周期一样长. 对于一些被强引用持有的ThreadLocal, 如定义为static.

    如果在使用结束后, 没有手动释放ThreadLocal, 由于线程会被重复使用, 那么会出现之前的线程对象残留问题,

    造成内存泄露, 甚至业务逻辑紊乱.

    对于没有强引用持有的ThreadLocal, 如方法内变量, 是不是就万事大吉了呢? 答案是否定的.

    虽然ThreadLocalMap会在get和set等操作里删除key 为 null的对象, 但是这个方法并不是100%会执行到.

    看ThreadLocalMap源码即可发现, 只有调用了getEntryAfterMiss后才会执行清除操作, 

    如果后续线程没满足条件或者都没执行get set操作, 那么依然存在内存残留问题.

    复制代码

     1     private ThreadLocal.ThreadLocalMap.Entry getEntry(ThreadLocal key) {
     2         int i = key.threadLocalHashCode & (table.length - 1);
     3         ThreadLocal.ThreadLocalMap.Entry e = table[i];
     4         if (e != null && e.get() == key)
     5             return e;
     6         else
     7             // 并不是一定会执行
     8             return getEntryAfterMiss(key, i, e);
     9     }
    10 
    11     private ThreadLocal.ThreadLocalMap.Entry getEntryAfterMiss(ThreadLocal key, int i, ThreadLocal.ThreadLocalMap.Entry e) {
    12         ThreadLocal.ThreadLocalMap.Entry[] tab = table;
    13         int len = tab.length;
    14 
    15         while (e != null) {
    16             ThreadLocal k = e.get();
    17             if (k == key)
    18                 return e;
    19             // 删除key为null的value
    20             if (k == null)
    21                 expungeStaleEntry(i);
    22             else
    23                 i = nextIndex(i, len);
    24             e = tab[i];
    25         }
    26         return null;
    27     }

    复制代码

    最佳实践

    不管threadlocal是static还是非static的, 都要像加锁解锁一样, 每次用完后, 手动清理, 释放对象.

    无锁

    与锁相比, 使用CAS操作, 由于其非阻塞性, 因此不存在死锁问题, 同时线程之间的相互影响, 

    也远小于锁的方式. 使用无锁的方案, 可以减少锁竞争以及线程频繁调度带来的系统开销.

    例如生产消费者模型中, 可以使用BlockingQueue来作为内存缓冲区, 但他是基于锁和阻塞实现的线程同步.

    如果想要在高并发场合下获取更好的性能, 则可以使用基于CAS的ConcurrentLinkedQueue. 

    同理, 如果可以使用CAS方式实现整个生产消费者模型, 那么也将获得可观的性能提升, 如Disruptor框架.

    关于无锁, 这边不再赘述, 之前博文已经有所介绍, 具体见: Java高并发之无锁与Atomic源码分析

    展开全文
  • Java高并发解决方案

    万次阅读 多人点赞 2019-03-03 22:23:50
    电商的秒杀和抢购,对我们来说,都不是一个陌生的东西。然而,从技术的角度来说,这对于Web系统是一个巨大的考验。...在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个W...
  • 什么是秒杀秒杀场景一般会在电商网站举行一些活动或者节假日在12306网站上抢票时遇到。对于电商网站中一些稀缺或者特价商品,电商网站一般会在约定时间点对其进行限量销售,因为这些商品的特殊性,会吸引大量用户...
  • 高并发处理

    千次阅读 2017-05-25 17:16:31
    对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来...
  • 什么是高并发 ,高并发处理机制

    千次阅读 2018-08-02 15:53:59
    https://blog.csdn.net/DreamWeaver_zhou/article/details/78587580
  • web项目处理高并发解决思路

    千次阅读 2019-11-08 15:02:56
    一、CDN缓存(网络请求上游) CDN其实是一种资源的分布式存放和备份的方法。解决因分布、带宽、服务器性能带来的访问延迟问题,适用于站点加速、秒杀、点播、直播等场景。使用户可以就近取得所需内容,解决Internet...
  • JavaWeb 并发编程 与 高并发解决方案

    万次阅读 多人点赞 2018-10-04 12:43:06
    现在在各大互联网公司中,随着日益增长的互联网服务需求,高并发处理已经是一个非常常见的问题,在这篇文章里面我们重点讨论两个方面的问题,一是并发编程,二是高并发解决方案。   文章中的代码实现详见   ...
  • C#高并发处理的集中解决方案

    千次阅读 2018-07-28 22:26:25
    https://blog.csdn.net/mss359681091/article/details/52056105
  • 几种解决高并发处理方式

    千次阅读 2018-03-25 20:57:19
    1.将数据保存到redis上,redis是一个美而小的nosql的数据库,处理 速度非常快,每秒10W+的处理速度2.使用性能,服务的关系型数据,优化sql3.使用F5/nginx进行负载均衡(dubbo) (1)一般都是使用软负载nginx,F5的属于...
  • PHP-高并发和大流量的解决方案

    万次阅读 多人点赞 2018-08-18 23:54:24
    高并发的概念 在互联网时代,并发,高并发通常是指并发访问。也就是在某个时间点,有多少个访问同时到来。   二 高并发架构相关概念 1、QPS (每秒查询率) : 每秒钟请求或者查询的数量,在互联网领域,指每秒...
  • java中如何处理高并发情况

    千次阅读 2017-03-01 11:11:11
    在面对大量用户访问,高并发请求方面,基本的解决方案集中在这样几个环节,使用高性能的服务器,高性能的编程语言,还有高性能的web容器,这几个解决思路意味着需要投入大量的。 使用一般的snchronized或者lock 或者...
  • webservice高并发问题

    万次阅读 2015-04-07 16:59:14
    用webservice发布应用,如果某一时间并发量很大,无法全部进行处理,如何处理使其不丢失数据? >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 比较简单的方法就是使用队列缓存,然后从队列...
  • node.js 实现高并发大流量处理网站

    万次阅读 2016-01-02 21:25:47
    优点: 高并发,io密集型处理, 可以作为单页面应用,便于爬虫抓取。 缺点:不适合cpu计算密集型, 对关系数据库支持不好   nodejs 高并发大流量的设计实现 原理:非阻塞事件驱动实现异步开发,通过...
  • 三、基本开发结构---主要用于高并发下的情况,不必设计太多复杂结构 四、高并发下超发现象介绍 五、解决高并发下超发现象的相关方法 (一)采用悲观锁处理 (二)采用乐观锁处理 (三)采用Redis处理 ...
  • 单进程单线程的Redis如何能够高并发

    万次阅读 2017-08-16 18:34:59
    参考文档: (1)http://yaocoder.blog.51cto.com/2668309/888374 ... 采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗) (1)为什么不采用多进程或多线程处理? 多
  • 1、消息队列(以下简称MQ)天生就是处理高并发的有力工具,因为他可以把一个完整的流程拆为多部分,并发进行,或者不是很重要的步骤模块延迟进行。大家所熟悉的是消息队列在大基数用户项目的注册模块和电商项目的...
  • JAVA高并发的三种实现

    万次阅读 多人点赞 2020-09-16 14:10:37
    是用它可以解决一切并发问题,但是,对于系统吞吐量要求更的话,我们这提供几个小技巧。帮助大家减小锁颗粒度,提高并发能力。 初级技巧-乐观锁 乐观锁使用的场景是,读不会冲突,写会冲突。同时读的频率远大于...
1 2 3 4 5 ... 20
收藏数 533,562
精华内容 213,424
关键字:

高并发处理