精华内容
下载资源
问答
  • 提高linux并发处理能力 提高linux并发处理能力
  • 如何提高服务器并发处理能力

    千次阅读 2017-04-10 21:31:26
    原文:...什么是服务器并发处理能力一台服务器在单位时间里能处理的请求越多,服务器的能力越高,也就是服务器并发处理能力越强有什么方法衡量服务器并发处理能力 吞吐率 吞吐率,单位时间里

    原文:http://www.cnblogs.com/zengjin93/p/5569556.html

    如何提高服务器并发处理能力

    说明

    以下内容为入门级介绍,意在对老技术作较全的总结而不是较深的研究。主要参考《构建高性能Web站点》一书。

    什么是服务器并发处理能力

    一台服务器在单位时间里能处理的请求越多,服务器的能力越高,也就是服务器并发处理能力越强

    有什么方法衡量服务器并发处理能力

    1. 吞吐率

    吞吐率,单位时间里服务器处理的最大请求数,单位req/s

    从服务器角度,实际并发用户数的可以理解为服务器当前维护的代表不同用户的文件描述符总数,也就是并发连接数。服务器一般会限制同时服务的最多用户数,比如apache的MaxClents参数。

    这里再深入一下,对于服务器来说,服务器希望支持高吞吐率,对于用户来说,用户只希望等待最少的时间,显然,双方不能满足,所以双方利益的平衡点,就是我们希望的最大并发用户数。

    1. 压力测试

    有一个原理一定要先搞清楚,假如100个用户同时向服务器分别进行10个请求,与1个用户向服务器连续进行1000次请求,对服务器的压力是一样吗?实际上是不一样的,因对每一个用户,连续发送请求实际上是指发送一个请求并接收到响应数据后再发送下一个请求。这样对于1个用户向服务器连续进行1000次请求, 任何时刻服务器的网卡接收缓冲区中只有1个请求,而对于100个用户同时向服务器分别进行10个请求,服务器的网卡接收缓冲区最多有100个等待处理的请求,显然这时的服务器压力更大。

    压力测试前提考虑的条件

    并发用户数: 指在某一时刻同时向服务器发送请求的用户总数(HttpWatch)

    总请求数

    请求资源描述

    请求等待时间(用户等待时间)

    用户平均请求的等待时间

    服务器平均请求处理的时间

    硬件环境

    压力测试中关心的时间又细分以下2种:

    用户平均请求等待时间(这里暂不把数据在网络的传输时间,还有用户PC本地的计算时间计算入内)

    服务器平均请求处理时间

    用户平均请求等待时间主要用于衡量服务器在一定并发用户数下,单个用户的服务质量;而服务器平均请求处理时间就是吞吐率的倒数,一般来说,用户平均请求等待时间 = 服务器平均请求处理时间 * 并发用户数

    怎么提高服务器的并发处理能力

    1. 提高CPU并发计算能力

    服务器之所以可以同时处理多个请求,在于操作系统通过多执行流体系设计使得多个任务可以轮流使用系统资源,这些资源包括CPU,内存以及I/O. 这里的I/O主要指磁盘I/O, 和网络I/O。

    多进程 & 多线程

    多执行流的一般实现便是进程,多进程的好处可以对CPU时间的轮流使用,对CPU计算和IO操作重叠利用。这里的IO主要是指磁盘IO和网络IO,相对CPU而言,它们慢的可怜。

    而实际上,大多数进程的时间主要消耗在I/O操作上。现代计算机的DMA技术可以让CPU不参与I/O操作的全过程,比如进程通过系统调用,使得CPU向网卡或者磁盘等I/O设备发出指令,然后进程被挂起,释放出CPU资源,等待I/O设备完成工作后通过中断来通知进程重新就绪。对于单任务而言,CPU大部分时间空闲,这时候多进程的作用尤为重要。

    多进程不仅能够提高CPU的并发度。其优越性还体现在独立的内存地址空间和生命周期所带来的稳定性和健壮性,其中一个进程崩溃不会影响到另一个进程。

    但是进程也有如下缺点:

    fork()系统调用开销很大: prefork

    进程间调度和上下文切换成本: 减少进程数量

    庞大的内存重复:共享内存

    IPC编程相对比较麻烦

    减少进程切换

    当硬件上下文频繁装入和移出时,所消耗的时间是非常可观的。可用Nmon工具监视服务器每秒的上下文切换次数。

    为了尽量减少上下文切换次数,最简单的做法就是减少进程数,尽量使用线程并配合其它I/O模型来设计并发策略。

    还可以考虑使用进程绑定CPU技术,增加CPU缓存的命中率。若进程不断在各CPU上切换,这样旧的CPU缓存就会失效。

    减少使用不必要的锁

    服务器处理大量并发请求时,多个请求处理任务时存在一些资源抢占竞争,这时一般采用“锁”机制来控制资源的占用,当一个任务占用资源时,我们锁住资源,这时其它任务都在等待锁的释放,这个现象称为锁竞争。

    通过锁竞争的本质,我们要意识到尽量减少并发请求对于共享资源的竞争。比如在允许情况下关闭服务器访问日志,这可以大大减少在锁等待时的延迟时间。要最大程度减少无辜的等待时间。

    这里说下无锁编程,就是由内核完成这个锁机制,主要是使用原子操作替代锁来实现对共享资源的访问保护 ,使用原子操作时,在进行实际的写操作时,使用了lock指令,这样就可以阻止其他任务写这块内存,避免出现数据竞争现象。原子操作速度比锁快,一般要快一倍以上。

    例如fwrite(), fopen(),其是使用append方式写文件,其原理就是使用了无锁编程,无锁编程的复杂度高,但是效率快,而且发生死锁概率低。

    考虑进程优先级

    进程调度器会动态调整运行队列中进程的优先级,通过top观察进程的PR值

    考虑系统负载

    可在任何时刻查看/proc/loadavg, top中的load average也可看出

    考虑CPU使用率

    除了用户空间和内核空间的CPU使用率以外,还要关注I/O wait,它是指CPU空闲并且等待I/O操作完成的时间比例(top中查看wa的值)。

    1. 考虑减少内存分配和释放

    服务器的工作过程中,需要大量的内存,使得内存的分配和释放工作尤为重要。

    可以通过改善数据结构和算法复制度来适当减少中间临时变量的内存分配及数据复制时间,而服务器本身也使用了各自的策略来提高效率。

    例如Apache,在运行开始时一次申请大片的内存作为内存池,若随后需要时就在内存池中直接获取,不需要再次分配,避免了频繁的内存分配和释放引起的内存整理时间。

    再如Nginx使用多线程来处理请求,使得多个线程之间可以共享内存资源,从而令它的内存总体使用量大大减少,另外,nginx分阶段的内存分配策略,按需分配,及时释放,使得内存使用量保持在很小的数量范围。

    另外,还可以考虑共享内存。

    共享内存指在多处理器的计算机系统中,可以被不同中央处理器(CPU)访问的大容量内存,也可以由不同进程共享,是非常快的进程通信方式。

    但是使用共享内存也有不好的地方,就是对于多机器时数据不好统一。

    shell命令ipcs可用来显示系统下共享内存的状态,函数shmget可以创建或打开一块共享内存区,函数shmat将一个存在的共享内存段连接到本进程空间, 函数shmctl可以对共享内存段进行多种操作,函数shmdt函数分离该共享内存。

    1. 考虑使用持久连接

    持久连接也为长连接,它本身是TCP通信的一种普通方式,即在一次TCP连接中持续发送多分数据而不断开连接,与它相反的方式称为短连接,也就是建立连接后发送一份数据就断开,然后再次建立连接发送下一份数据, 周而复始。是否采用持久连接,完全取决于应用特点。从性能角度看,建立TCP连接的操作本身是一项不小的开销,在允许的情况下,连接次数越少,越有利于性能的提升; 尤其对于密集型的图片或网页等小数据请求处理有明显的加速所用。

    HTTP长连接需要浏览器和web服务器的共同协作,目前浏览器普遍支持长连接,表现在其发出的HTTP请求数据头中包含关于长连接的声明,如下: Connection: Keep-Alive

    主流的web服务器都支持长连接,比如apache中,可以用KeepAlive off关闭长连接。

    对于长连接的有效使用,还有关键一点在于长连接超时时间的设置,即长连接在什么时候关闭吗? Apache的默认设置为5s, 若这个时间设置过长,则可能导致资源无效占有,维持大量空闲进程,影响服务器性能。

    1. 改进I/O 模型

    I/O操作根据设备的不同分为很多类型,比如内存I/O, 网络I/O, 磁盘I/O. 对于网络I/O和磁盘I/O, 它们的速度要慢很多,尽管使用RAID磁盘阵列可通过并行磁盘磁盘来加快磁盘I/O速度,购买大连独享网络带宽以及使用高带宽网络适配器可以提高网络i/O的速度。但这些I/O操作需要内核系统调用来完成,这些需要CPU来调度,这使得CPU不得不浪费宝贵的时间来等待慢速I/O操作。我们希望让CPU足够少的时间在i/O操作的调度上,如何让高速的CPU和慢速的I/O设备更好地协调工作,是现代计算机一直探讨的话题。各种I/O模型的本质区别在于CPU的参与方式。

    1. DMA技术

    I/O设备和内存之间的数据传输方式由DMA控制器完成。在DMA模式下,CPU只需向DMA下达命令,让DMA控制器来处理数据的传送,这样可以大大节省系统资源。

    1. 异步I/O

    异步I/O指主动请求数据后便可以继续处理其它任务,随后等待I/O操作的通知,这样进程在数据读写时不发生阻塞。

    异步I/O是非阻塞的,当函数返回时,真正的I/O传输已经完成,这让CPU处理和I/O操作达到很好的重叠。

    1. I/O多路复用

    epoll服务器同时处理大量的文件描述符是必不可少的,若采用同步非阻塞I/O模型,若同时接收TCP连接的数据,就必须轮流对每个socket调用接收数据的方法,不管这些socket有没有可接收的数据,都要询问一次。假如大部分socket并没有数据可以接收,那么进程便会浪费很多CPU时间用于检查这些socket有没有可以接收的数据。多路I/O就绪通知的出现,提供了对大量文件描述符就绪检查的高性能方案,它允许进程通过一种方法同时监视所有文件描述符,并可以快速获得所有就绪的文件描述符,然后只针对这些文件描述符进行数据访问。

    epoll可以同时支持水平触发和边缘触发,理论上边缘触发性能更高,但是代码实现复杂,因为任何意外的丢失事件都会造成请求处理错误。

    epoll主要有2大改进:

    epoll只告知就绪的文件描述符,而且当调用epoll_wait()获得文件描述符时,返回并不是实际的描述符,而是一个代表就绪描述符数量的值,然后只需去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里使用了内存映射(mmap)技术,这样彻底省掉了这些文件描述符在系统调用时复制的开销。

    epoll采用基于事件的就绪通知方式。其事先通过epoll_ctrl()注册每一个文件描述符,一旦某个文件描述符就绪时,内核会采用类似callback的回调机制,当进程调用epoll_wait()时得到通知

    关于IO模型,可以参考笔者前面写的相关文章Java NIO.2; 关于epoll,可以参考笔者前面写的文章select、poll和epoll简介。

    1. Sendfile

    大多数时候,我们都向服务器请求静态文件,比如图片,样式表等,在处理这些请求时,磁盘文件的数据先经过内核缓冲区,然后到用户内存空间,不需经过任何处理,其又被送到网卡对应的内核缓冲区,接着再被送入网卡进行发送。

    Linux提供sendfile()系统调用,可以讲磁盘文件的特定部分直接传送到代表客户端的socket描述符,加快了静态文件的请求速度,同时减少CPU和内存的开销。

    适用场景: 对于请求较小的静态文件,sendfile发挥的作用不那么明显,因发送数据的环节在整个过程中所占时间的比例相比于大文件请求时小很多。

    1. 内存映射

    Linux内核提供一种访问磁盘文件的特殊方式,它可以将内存中某块地址空间和我们指定的磁盘文件相关联,从而对这块内存的访问转换为对磁盘文件的访问。这种技术称为内存映射。

    多数情况下,内存映射可以提高磁盘I/O的性能,无须使用read()或write()等系统调用来访问文件,而是通过mmap()系统调用来建立内存和磁盘文件的关联,然后像访问内存一样自由访问文件。

    缺点:在处理较大文件时,内存映射会导致较大的内存开销,得不偿失。

    1. 直接I/O

    在linux 2.6中,内存映射和直接访问文件没有本质差异,因为数据需要经过2次复制,即在磁盘与内核缓冲区之间以及在内核缓冲区与用户态内存空间。

    引入内核缓冲区的目的在于提高磁盘文件的访问性能,然而对于一些复杂的应用,比如数据库服务器,它们为了进一步提高性能,希望绕过内核缓冲区,由自己在用户态空间实现并管理I/O缓冲区,比如数据库可根据更加合理的策略来提高查询缓存命中率。另一方面,绕过内核缓冲区也可以减少系统内存的开销,因内核缓冲区本身就在使用系统内存。

    Linux在open()系统调用中增加参数选项O_DIRECT,即可绕过内核缓冲区直接访问文件,实现直接I/O。

    在Mysql中,对于Innodb存储引擎,自身进行数据和索引的缓存管理,可在my.cnf配置中分配raw分区跳过内核缓冲区,实现直接I/O。

    改进服务器并发策略

    服务器并发策略的目的,是让I/O操作和CPU计算尽量重叠进行,一方面让CPU在I/O等待时不要空闲,另一方面让CPU在I/O调度上尽量花最少的时间。

    一个进程处理一个连接,非阻塞I/O

    这样会存在多个并发请求同时到达时,服务器必然要准备多个进程来处理请求。其进程的开销限制了它的并发连接数。但从稳定性和兼容性的角度,则其相对安全,任何一个子进程的崩溃不会影响服务器本身,父进程可以创建新的子进程;这种策略典型的例子就是Apache的fork和prefork模式。对于并发数不高(如150以内)的站点同时依赖Apache其它功能时的应用选择Apache还是可以的。

    一个线程处理一个连接,非阻塞IO

    这种方式允许在一个进程中通过多个线程来处理多个连接,一个线程处理一个连接。Apache的worker模式就是这种典型例子,使其可支持更多的并发连接。不过这种模式的总体性能还不如prefork,所以一般不选用worker模式。

    一个进程处理多个连接,异步I/O

    一个线程同时处理多个连接,潜在的前提条件就是使用IO多路复用就绪通知。

    这种情况下,将处理多个连接的进程叫做worker进程或服务进程。worker的数量可以配置,如Nginx中的worker_processes 4。

    一个线程处理多个连接,异步IO

    即使有高性能的IO多路复用就绪通知,但磁盘IO的等待还是无法避免的。更加高效的方法是对磁盘文件使用异步IO,目前很少有Web服务器真正意义上支持这种异步IO。

    1. 改进硬件环境

    还有一点要提及的是硬件环境,服务器的硬件配置对应用程序的性能提升往往是最直接,也是最简单的方式,这就是所谓的scale up。这里不做论述。

    展开全文
  • 服务器并发处理能力+-+IO模型服务器并发处理能力+-+IO模型
  • 教案之优化Linux的内核参数来提高服务器并发处理能力.pdf
  • 服务器并发处理能力

    千次阅读 2011-11-20 21:06:59
    这篇讲的是服务器的并发处理能力,从哪几点来评测服务器的并发处理能力呢?吞吐率、CPU并发处理能力、系统调用、内存分配、持久连接、I/O模型、服务器并发策略,这里的每一点都是非常值得深究的 1. 吞吐率 定义:...

    读了郭欣的《构建高性能站点指南》,收获颇丰,这里算是一点读后感、总结+小体验,向作者致敬

    这篇讲的是服务器的并发处理能力,从哪几点来评测服务器的并发处理能力呢?吞吐率、CPU并发处理能力、系统调用、内存分配、持久连接、I/O模型、服务器并发策略,这里的每一点都是非常值得深究的

    1. 吞吐率

    定义:web服务器单位时间内处理的请求个数

    工具:apache的ab压力测试工具,详情见http://blog.csdn.net/fly_heart_yuan/article/details/6970509

    分析:压力测试中,不断增大并发数,从1开始到1000,我们会得到一系列结果,在结果中,应重点关注四个数据:并发用户数、吞吐率、请求等待时间、请求处理时间,后三项的时间都会随着并发用户数的增多而发生变化,或增或减,我们会在这四个数据之间权衡,找到一个平衡点,具体这个平衡点在哪里,根据自己的情况去确定

    2. CPU并发计算

    定义:无

    工具:top命令

    分析:

    参考:http://www.slideshare.net/myw58/jiangjiangwei

    3  系统调用

    工具:strace 命令

    strace命令可以跟踪某一个进程,列出该进程所有调用的系统函数

    做这个实验的时候,为了方便,我把php-cgi的数目配成一个,使用 ps aux|grep php-cgi 可以查看到php-cgi的进程号,后使用strace -p XXX(进程号)可以跟踪该进程

    4. 内存分配


    5.  持久连接 

    建立一次TCP链接的操作是很一项不小的开销,所以链接的次数越少,越有利于性能的提升,适用于密集型图片或网页等小数据请求处理

    6. I/O模型

    7. 服务器并发策略



    展开全文
  • [试读]服务器并发处理能力+-+进程切换
  • 浅谈如何提高服务器并发处理能力

    千次阅读 2017-08-29 21:13:33
    (一)什么是服务器并发处理能力 (二)有什么方法衡量服务器并发处理能力 1.吞吐率 2.压力测试 (三)怎么提高服务器的并发处理能力 1,提高CPU并发计算能力 (1)多进程&多线程 (2)减少进程切换...

    目录

     

    (一)什么是服务器并发处理能力

    (二)有什么方法衡量服务器并发处理能力

    1.吞吐率

    2.压力测试

    (三)怎么提高服务器的并发处理能力

    1,提高CPU并发计算能力
    (1)多进程&多线程
    2)减少进程切换,使用线程,考虑进程绑定CPU
    3)减少使用不必要的锁,考虑无锁编程
    (4)考虑进程优先级
    (5)关注系统负载
    (6)关注CPU使用率,除了用户空间和内核空间的CPU使用率以外,还要关注I/O wait

    2,减少系统调用

    3,考虑减少内存分配和释放

    (1)改善数据结构和算法复制度

    (2)使用内存池

    (3)考虑使用共享内存

    4,考虑使用持久连接

    5,改进I/O模型

    (1)DMA技术

    (2)异步I/O
    (3)改进多路I/O就绪通知策略,epoll
    (4)Sendfile
    (5)内存映射
    (6)直接I/O

    6,改进服务器并发策略

    1)一个进程处理一个连接,非阻塞I/O,使用长连接

     

    2)一个进程处理多个连接,异步I/O, 使用长连接

     

    7,改进硬件环境

     

     

     

    (一)什么是服务器并发处理能力?

     

     

    一台服务器在单位时间里能处理的请求越多,服务器的能力越高,也就是服务器并发处理能力越强

     

    服务器的本质工作就是,争取以最快的速度将内核缓冲区中的用户请求数据一个不剩地都拿出来,然后尽快处理,再将响应数据放到一块又能够与发送数据的缓冲区中,接着处理下一拨请求。

     

     

    (二)有什么方法衡量服务器并发处理能力?

     

    一,吞吐率

     

    量化指标:吞吐率,单位时间里服务器处理的最大请求数,单位req/s

     

    再深入一些,HTTP请求通常是对不同资源的请求,也就是请求不同的URL,有的是请求图片,有的是获取动态内容,有的是静态页面,显然这些请求所花费的时间各不相同,而这些请求再不同时间的组成比例又是不确定的,所以实际情况下的吞吐率是非常复杂的。

     

     

    正因为这些请求的性质不同,所以服务器并发能力强弱关键在于如何正对不同的请求性质来设计最优并发策略。如一台服务器处理诸多不同性质的请求,在一定程度上使得服务器的性能无法充分发挥。而并发策略的设计就是在服务器同时处理较多请求时,合理协调和充分利用CPU计算和I/O操作,使其在较大并发用户数的情况下提供较高吞吐率。

     

     

    另外,实际上多少用户同时发来请求并不是服务器所能决定的,一旦实际并发用户数过多,则势必影响站点质量。所以得出最大并发用户数的意义,在于了解服务器的承载能力,并且结合用户规模考虑适当的扩展方案

     

    在考虑用户模型时,用户访问 web站点时通常使用浏览器,浏览器对于同一域名下URL的并发下载是多线程的,不过有最大限制的,所以前面说到的最大并发数,具体到真实的用户,可能不是一对一的关系。

     

    而从服务器角度,实际并发用户数的可以理解为服务器当前维护的代表不同用户的文件描述符总数,也就是并发连接数。服务器一般会限制同时服务的最多用户数,比如apache的MaxClents参数。

     

    这里再深入一下,对于服务器来说,服务器希望支持高吞吐率,对于用户来说,用户只希望等待最少的时间,显然,双方不能满足,所以双方利益的平衡点,就是我们希望的最大并发用户数。

     

     

     

    二,压力测试

     

    有一个原理一定要先搞清楚,假如100个用户同时向服务器分别进行10个请求,与1个用户向服务器连续进行1000次请求,对服务器的压力是一样吗?实际上是不一样的,因对每一个用户,连续发送请求实际上是指发送一个请求并接收到响应数据后再发送下一个请求。这样对于1个用户向服务器连续进行1000次请求任何时刻服务器的网卡接收缓冲区中只有1个请求,而对于100个用户同时向服务器分别进行10个请求,服务器的网卡接收缓冲区最多有100个等待处理的请求,显然这时的服务器压力更大。

     

    压力测试前提考虑的条件:

    1) 并发用户数

    2) 总请求数

    3) 请求资源描述

     

    并发用户数是指某一时刻同时向服务器发送请求的用户总数。

     

     

    压力测试中关系的时间有细分以下2种,

    (1) 用户平均请求等待时间 

    (这里暂不把数据在网络的传输时间,还有用户PC本地的计算时间计算入内)

    (2) 服务器平均请求处理时间

     

     

    用户平均请求等待时间主要用于衡量服务器在一定并发用户数下,单个用户的服务质量;而服务器平均请求处理时间就是吞吐率的倒数,一般来说,用户平均请求等待时间=服务器平均请求处理时间*并发用户数

     

      

     

    (三)怎么提高服务器的并发处理能力呢?

     

    一,提高CPU并发计算能力

     

     

    服务器之所以可以同时处理多个请求,在于操作系统通过多执行流体系设计使得多个任务可以轮流使用系统资源,这些资源包括CPU,内存以及I/O. 这里的I/O主要指磁盘I/O, 和网络I/O

     

     

    (1)多进程&多线程

     

    多执行流的一般实现就是进程。多进程的好处不仅在于CPU时间的轮流使用,还在于对CPU计算和I/O操作进行很好的重叠利用,这里的I/O主要指磁盘I/O和网络I/O. 实际上,大多数进程的时间主要消耗在I/O操作上,现代计算机的DMA技术可以让CPU不参与I/O操作的全过程,比如进程通过系统调用,使得CPU向网卡或者磁盘等I/O设备发出指令,然后进程被挂起,释放出CPU资源,等待I/O设备完成工作后通过中断来通知进程重新就绪。对于单任务而言,CPU大部分时间空闲,这时候多进程的作用尤为重要。

     

    而且进程的优越性还在其相互独立带来的稳定性和健壮性方面

     

    进程的缺点每个进程都有自己的独立空间和生命周期。当子进程被父进程创建后,便将父进程地址空间的所有数据复制到自己的地址空间中,完全继承父进程的上下文信息。进程的创建使用fork()系统调用,还是有一定的开销的,这个开销若太频繁,其可能成为影响性能的主要因素。

     

     

     

     

     

     

    那是否越多进程数越好呢请看下面讨论:

    2)减少进程切换

     

    进程拥有独立的内存空间,每个进程都只能共享CPU寄存器。一个进程被挂起的本质是将它在CPU寄存器中的数据拿出来暂存在内存态堆栈着那个,而一个进程恢复工作的本质就是把它的数据重新装入CPU寄存器,这段装入和移出的数据称为“硬件上下文”,除此之外,进程上下文还包含进程允许所需的一切状态信息。

     

    当硬件上下文频繁装入和移出时,所消耗的时间是非常可观的。可用Nmon工具监视服务器每秒的上下文切换次数。

     

    为了尽量减少上下文切换次数,最简单的做法就是减少进程数,尽量使用线程并配合其它I/O模型来设计并发策略。

     
    还可以考虑使用进程绑定CPU技术,增加CPU缓存的命中率。若进程不断在各CPU上切换,这样旧的CPU缓存就会失效。

     

    3)减少使用不必要的锁

    服务器处理大量并发请求时,多个请求处理任务时存在一些资源抢占竞争,这时一般采用“锁”机制来控制资源的占用,当一个任务占用资源时,我们锁住资源,这时其它任务都在等待锁的释放,这个现象称为锁竞争。

     

    通过锁竞争的本质,我们要意识到尽量减少并发请求对于共享资源的竞争。比如在允许情况下关闭服务器访问日志,这可以大大减少在锁等待时的延迟时间。要最大程度减少无辜的等待时间。

     

    这里说下无锁编程,就是由内核完成这个锁机制,主要是使用原子操作替代锁来实现对共享资源的访问保护 ,使用原子操作时,在进行实际的写操作时,使用了lock指令,这样就可以阻止其他任务写这块内存,避免出现数据竞争现象。原子操作速度比锁快,一般要快一倍以上。

     

    例如fwrite(), fopen(),其是使用append方式写文件,其原理就是使用了无锁编程,无锁编程的复杂度高,但是效率快,而且发生死锁概率低。

     

    4除了上述所说,要优化服务器的并发处理能力,还要考虑进程优先级(可由进程决定),进程调度器会动态调整运行队列中进程的优先级,通过top观察进程的PR

     

     

    5还要关注系统负载,可在任何时刻查看/proc/loadavg, top中的load average也可看出

     

     

    6还要关注CPU使用率,除了用户空间和内核空间的CPU使用率以外,还要关注I/O wait,它是指CPU空闲并且等待I/O操作完成的时间比例。(top中查看wa的值)

     

     

    二,考虑系统调用

     

    进程若运行在用户态,这时可使用CPU和内存来完成一些任务,而当进程需要对硬件外设进行操作的时候(如读取磁盘文件,发送网络数据等),就必须切换到内核态,这时它拥有更多的权力来操纵整个计算机。

     

    系统调用涉及进程从用户态到内核态的切换,导致一定的内存交换,这也是一定程度上的上下文切换,所以系统调用的开销通常认为比较昂贵的

     

    所以要减少不必要的系统调用,也是服务器性能优化的一个方面。例如在apache中,修改httpd.conf文件,可以减少对文件路径中各级目录下检测是否存在.htacess文件这个open()系统调用; 还可以修改httpd.conf文件来减少多余的gettimeofday()系统调用。

     

     但有时若使用一些简单的系统调用能代替大量的逻辑运算,这样反而使用系统调用更能优化性能

     

     

     

     

    三,考虑减少内存分配和释放

     

    服务器的工作过程中,需要大量的内存,使得内存的分配和释放工作尤为重要。

     

    可以通过改善数据结构和算法复制度来适当减少中间临时变量的内存分配及数据复制时间,而服务器本身也使用了各自的策略来提高效率。

     

    例如Apache,在运行开始时一次申请大片的内存作为内存池,若随后需要时就在内存池中直接获取,不需要再次分配,避免了频繁的内存分配和释放引起的内存整理时间。

     

     

    再如Nginx使用多线程来处理请求,使得多个线程之间可以共享内存资源,从而令它的内存总体使用量大大减少,另外,nginx分阶段的内存分配策略,按需分配,及时释放,使得内存使用量保持在很小的数量范围。

     

     

    顺便说下 Linux进程的地址空间分段

    1、栈(存放着局部变量和函数参数等数据),向下生长   (可读可写可执行)

    2、堆(给动态分配内存是使用),向上生长        (可读可写可执行)

    3、数据段(保存全局数据和静态数据)              (可读可写不可执行)

    4、代码段(保存代码)                       (可读可执行不可写)

     

     

     

    (1)  代码段(.text)。这里存放的是CPU要执行的指令。代码段是可共享的,相同的代码在内存中只会有一个拷贝,同时这个段是只读的,防止程序由于错误而修改自身的指令。

    (2)  初始化数据段(.data)。这里存放的是程序中需要明确赋初始值的变量,例如位于所有函数之外的全局变量:int val=100。需要强调的是,以上两段都是位于程序的可执行文件中,内核在调用exec函数启动该程序时从源程序文件中读入。

    (3)    未初始化数据段(.bss)。位于这一段中的数据,内核在执行该程序前,将其初始化为0或者null。例如出现在任何函数之外的全局变量:int sum;

    (4)    堆(Heap)。这个段用于在程序中进行动态内存申请,例如经常用到的malloc,new系列函数就是从这个段中申请内存。

    (5)    栈(Stack)。函数中的局部变量以及在函数调用过程中产生的临时变量都保存在此段中

     

     

    还可以考虑使用共享内存

    共享内存指在多处理器的计算机系统中,可以被不同中央处理器(CPU)访问的大容量内存,也可以由不同进程共享,是非常快的进程通信方式。

    但是使用共享内存也有不好的地方,就是对于多机器时数据不好统一

     

    shell命令ipcs可用来显示系统下共享内存的状态函数shmget可以创建或打开一块共享内存区函数shmat将一个存在的共享内存段连接到本进程空间函数shmctl可以对共享内存段进行多种操作,函数shmdt函数分离该共享内存

     

     

    四,考虑使用持久连接

     

    持久连接也为长连接,它本身是TCP通信的一种普通方式,即在一次TCP连接中持续发送多分数据而不断开连接,与它相反的方式称为短连接,也就是建立连接后发送一份数据就断开,然后再次建立连接发送下一份数据, 周而复始。是否采用持久连接,完全取决于应用特点。从性能角度看,建立TCP连接的操作本身是一项不小的开销,在允许的情况下,连接次数越少,越有利于性能的提升尤其对于密集型的图片或网页等小数据请求处理有明显的加速所用

     

     

     

    HTTP长连接需要浏览器和web服务器的共同协作,目前浏览器普遍支持长连接,表现在其发出的HTTP请求数据头中包含关于长连接的声明,如下: Connection: Keep-Alive

     

    主流的web服务器都支持长连接,比如apache中,可以用KeepAlive off关闭长连接。

     

    对于长连接的有效使用,还有关键一点在于长连接超时时间的设置,即长连接在什么时候关闭吗? Apache的默认设置为5s, 若这个时间设置过长,则可能导致资源无效占有,维持大量空闲进程,影响服务器性能。

     

     

     

     

    五,改进I/O 模型

    I/O操作根据设备的不同分为很多类型,比如内存I/O, 网络I/O, 磁盘I/O.  对于网络I/O和磁盘I/O, 它们的速度要慢很多,尽管使用RAID磁盘阵列可通过并行磁盘磁盘来加快磁盘I/O速度,购买大连独享网络带宽以及使用高带宽网络适配器可以提高网络i/O的速度。但这些I/O操作需要内核系统调用来完成,这些需要CPU来调度,这使得CPU不得不浪费宝贵的时间来等待慢速I/O操作我们希望让CPU足够少的时间在i/O操作的调度上,如何让高速的CPU和慢速的I/O设备更好地协调工作,是现代计算机一直探讨的话题。各种I/O模型的本质区别在于CPU的参与方式。

     

    (1)DMA技术I/O设备和内存之间的数据传输方式由DMA控制器完成。在DMA模式下,CPU只需向DMA下达命令,让DMA控制器来处理数据的传送,这样可以大大节省系统资源。

     

    (2)异步I/O

     

    异步I/O指主动请求数据后便可以继续处理其它任务,随后等待I/O操作的通知,这样进程在数据读写时不发生阻塞。而同步则在数据就绪后在读写时必须阻塞。

     

     

     

    异步I/O是非阻塞的,当函数返回时,真正的I/O传输还没开始,这让CPU处理和I/O操作达到很好的重叠。

     

     

     

     

     

    顺便说说同步阻塞I/O的缺点,其虽然可以和多进程有效利用CPU资源,但代价是占用了大量的内存开销。而同步非阻塞I/O需要进程执行多次轮训查看数据是否就绪,花费了大量的CPU时间

     

    (3)改进多路I/O就绪通知策略,epoll服务器同时处理大量的文件描述符是必不可少的,若采用同步非阻塞I/O模型,若同时接收TCP连接的数据,就必须轮流对每个socket调用接收数据的方法,不管这些socket有没有可接收的数据,都要询问一次,假如大部分socket并没有数据可以接收,那么进程便会浪费很多CPU时间用于检查这些socket.有没有可以接收的数据, 多路I/O就绪通知的出现,提供了对大量文件描述符就绪检查的高性能方案,它允许进程通过一种方法同时监视所有文件描述符,并可以快速获得所有就绪的文件描述符,然后只针对这些文件描述符进行数据访问。

     

     

     

    下面详细介绍被公认为linux 2.6下性能最好的多路I/O就绪通知方法epoll., 几乎具备select, poll, /dev/poll等模型的全部优点

     

     

     

    epoll可以同时支持水平触发和边缘触发,理论上边缘触发性能更高,但是代码实现复杂,因为任何意外的丢失事件都会造成请求处理错误。

     

     

     

    epoll主要有2大改进:

     

    (1)epoll只告知就绪的文件描述符,而且当调用epoll_wait()获得文件描述符时,返回并不是实际的描述符,而是一个代表就绪描述符数量的值,然后只需去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里使用了内存映射(mmap)技术,这样彻底省掉了这些文件描述符在系统调用时复制的开销。

     

     

     

    (2)epoll采用基于事件的就绪通知方式。其事先通过epoll_ctrl()注册每一个文件描述符,一旦某个文件描述符就绪时,内核会采用类似callback的回调机制,当进程调用epoll_wait()时得到通知

     

     

     

     

     

    (4)Sendfile

     

     

     

    大多数时候,我们都向服务器请求静态文件,比如图片,样式表等,在处理这些请求时,磁盘文件的数据先经过内核缓冲区,然后到用户内存空间,不需经过任何处理,其又被送到网卡对应的内核缓冲区,接着再被送入网卡进行发送。

     

     

     

    Linux提供sendfile()系统调用,可以讲磁盘文件的特定部分直接传送到代表客户端的socket描述符,加快了静态文件的请求速度,同时减少CPU和内存的开销。

     

     

     

    适用场景: 对于请求较小的静态文件,sendfile发挥的作用不那么明显,因发送数据的环节在整个过程中所占时间的比例相比于大文件请求时小很多。

     

     

     

     

     

     

     

    (5)内存映射

     

    Linux内核提供一种访问磁盘文件的特殊方式,它可以将内存中某块地址空间和我们指定的磁盘文件相关联,从而对这块内存的访问转换为对磁盘文件的访问。这种技术称为内存映射。

     

     

     

     

     

    多数情况下,内存映射可以提高磁盘I/O的性能,无须使用read()write()等系统调用来访问文件,而是通过mmap()系统调用来建立内存和磁盘文件的关联,然后像访问内存一样自由访问文件。

     

     

     

    缺点:在处理较大文件时,内存映射会导致较大的内存开销,得不偿失。

     

     

     

     

     

     

     

    (6)直接I/O

     

     

     

    linux 2.6中,内存映射和直接访问文件没有本质差异,因为数据需要经过2次复制,即在磁盘与内核缓冲区之间以及在内核缓冲区与用户态内存空间。

     

     

     

    引入内核缓冲区的目的在于提高磁盘文件的访问性能,然而对于一些复杂的应用,比如数据库服务器,它们为了进一步提高性能,希望绕过内核缓冲区,由自己在用户态空间实现并管理I/O缓冲区,比如数据库可根据更加合理的策略来提高查询缓存命中率。另一方面,绕过内核缓冲区也可以减少系统内存的开销,因内核缓冲区本身就在使用系统内存。

     

     

     

    Linux在open()系统调用中增加参数选项O_DIRECT,即可绕过内核缓冲区直接访问文件,实现直接I/O。

     

     

     

    Mysql中,对于Innodb存储引擎,自身进行数据和索引的缓存管理,可在my.cnf配置中分配raw分区跳过内核缓冲区,实现直接I./O

     

     

     

     

     

    六,改进服务器并发策略

     

     

     

    服务器并发策略的目的,是让I/O操作和CPU计算尽量重叠进行,一方面让CPUI/O等待时不要空闲,另一方面让CPUI/O调度上尽量花最少的时间。

     

     

     

     

     

     

     

    1)一个进程处理一个连接,非阻塞I/O,使用长连接

     

     

     

    Apache使用这个模型,其进程的开销限制了它的并发连接数,但从稳定性和兼容性的角度,则其相对安全,任何一个子进程的崩溃不会影响Apache本身,Apache父进程可以创建新的子进程;另一方面,Apache经过长期的考验和广发的使用,功能模块非常丰富。所以对于一些并发数要求不高(如150以内),还对其它功能有依赖,那么可考虑Apache这个模型。

     

     

     

     

     

    2)一个进程处理多个连接,异步I/O, 使用长连接

     

     

     

    一个进程处理多个连接,潜在条件就是多路I/O就绪通知的应用。

     

     

     

    服务器通常维护者大量的空闲连接,有些可能由于使用长连接而在等待超时,有些可能是网络传输的延时等等,这时epoll只会关注活跃连接,而不在死连接上浪费时间,但是selectpoll会扫描所有文件描述符,这个是个非常昂贵的开销。一个典型的应用就是图片服务器,它们希望为用户提供网页中大量图片的快速下载,采用长连接,但是这些大量连接在等待超时关闭前,处于空闲状态,这种情况下,epoll依然能很好工作。

     

     

    POSIX的标准库(aio.h)中定义了AIO的一系列接口,它几乎屏蔽了一切网络通信的细节,对使用者而言非常简单。AIO没有提供非阻塞的open()方法,进程仍使用open()系统调用来打开文件,然后填充一些I/O请求的数据结构(struct aiocb),接下来调用aid_read()或aid_write()来发起异步I/O操作,一旦请求进入操作队列后,函数便返回,进程可以在此调用aid_error()来检查正在运行的I/O操作的状态

     

     

     

     

    aiocb中相关的域

     

     

     

    AIO接口API 

     

     

     

     

    关于进程的数量,这个不是越多越好的。大量的进程可以维持更多的活跃连接数,但每个连接的下载速度要远远小于前者(因上下文切换的CPU时间减少,有更多的时间用于发起sendfile()系统调用),则怎么决定worker的进程数取决于应用,例如是希望为更多的用户同时提供慢速下载服务,还是希望为有限的用户提供快速的下载服务。

     

     

     

     

     

    对于动态内容,如PHP脚本,worker进程通常只是负责转发请求给独立的fastcgi进程,或者作为反向代理服务器将请求转发给后端服务器,worker进程不太依赖太多的本地资源,可以适当提高并发连接数,但太多的worker进程又会带来更多的上下文切换开销和内存开销,从而整体上所有连接的相应时间变长。

     

     

     

    读取磁盘文件可以考虑使用异步I/O,在某些场景比性能sendfile()更出色。

     

     

    七,改进硬件环境

     

    还有一点要提及的是硬件环境,服务器的硬件配置对站点代理的性能提升肯定是有的,但这里不作详细讨论。

    展开全文
  • Tomcat的并发处理能力

    2020-02-04 14:07:47
    Tomcat默认配置的最大请求数是150,也就是说同时支持150个并发,当然了,也可以将其改大。 当某个应用拥有250个以上并发的时候,应考虑应用服务器的集群。 具体能承载多少并发,需要看硬件的配置,CPU越多性能越高...

    当一个进程有 500 个线程在跑的话,那性能已经是很低很低了。Tomcat 默认配置的最大请求数是 150,也就是说同时支持 150 个并发,当然了,也可以将其改大。

            当某个应用拥有 250 个以上并发的时候,应考虑应用服务器的集群。
    具体能承载多少并发,需要看硬件的配置,CPU 越多性能越高,分配给 JVM 的内存越多性能也就越高,但也会加重 GC 的负担。


    操作系统对于进程中的线程数有一定的限制:
    Windows 每个进程中的线程数不允许超过 2000
    Linux 每个进程中的线程数不允许超过 1000
    另外,在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。

    Tomcat的最大并发数是可以配置的,实际运用中,最大并发数与硬件性能和CPU数量都有很大关系的。更好的硬件,更多的处理器都会使Tomcat支持更多的并发。
    Tomcat 默认的 HTTP 实现是采用阻塞式的 Socket 通信,每个请求都需要创建一个线程处理。这种模式下的并发量受到线程数的限制,但对于 Tomcat 来说几乎没有 BUG 存在了。
    Tomcat 还可以配置 NIO 方式的 Socket 通信,在性能上高于阻塞式的,每个请求也不需要创建一个线程进行处理,并发能力比前者高。但没有阻塞式的成熟。


    这个并发能力还与应用的逻辑密切相关,如果逻辑很复杂需要大量的计算,那并发能力势必会下降。如果每个请求都含有很多的数据库操作,那么对于数据库的性能也是非常高的。
    对于单台数据库服务器来说,允许客户端的连接数量是有限制的。
    并发能力问题涉及整个系统架构和业务逻辑。
    系统环境不同,Tomcat版本不同、JDK版本不同、以及修改的设定参数不同。并发量的差异还是满大的。
    maxThreads="1000" 最大并发数 
    minSpareThreads="100"///初始化时创建的线程数
    maxSpareThreads="500"///一旦创建的线程超过这个值,Tomcat就会关闭不再需要的socket线程。
    acceptCount="700"// 指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理

    展开全文
  • 简介 ...但是硬件资源额定有限的情况下,最大的压榨服务器的性能,提高服务器的并发处理能力,是很多运维技术人员思考的问题。要提高Linux系统下的负载能力,可以使用nginx等原生并发处理能力就很
  • 目录 (一)什么是服务器并发处理能力(二)有什么方法衡量服务器并发处理能力1.吞吐率2.压力测试(三)怎么提高服务器的并发处理能力1,提高CPU并发计算能力(1)多进程&多线程(2)减少进程切换,使用线程,考虑...
  • 在Java8中,CompletableFuture提供了非常强大的Future的扩展功能,可以帮助我们简化异步编程的复杂性,并且提供了函数式编程的能力,可以通过回调的方式处理计算结果,也提供了转换和组合 CompletableFuture 的方法...
  • 测试运行在linux服务器上面的服务,当测试程序连接服务器的socket超过1000个,测试程序就会通过recv接收到“connection reset bypeer”,服务器的并发能力是完全可以处理至少2000链接的,求大牛传授
  • IIS调优--增加并发处理能力

    万次阅读 2018-05-24 13:48:51
    原文链接:http://www.cnblogs.com/hgamezoom/p/3082538.html一个ASP.NET项目在部署到生产环境时,当用户并发量达到200左右时,IIS出现了明显的请求排队现象,发送的请求都进入等待,无法及时响应,系统基本处于不...
  • 如何提高服务器并发能力

    千次阅读 2016-05-07 22:43:45
    什么是服务器并发处理能力  一台服务器在单位时间里能处理的请求越多,服务器的能力越高,也就是服务器并发处理能力越强。如何提高服务器的处理能力,是目前计算机界的一个关键问题。服务器的本质工作就是,争取以...
  • 并发处理

    千次阅读 2019-06-14 20:09:15
    何谓高并发 所谓高并发指的是 在同时或极短时间内,有大量的请求到达服务端,每 个请求都需要服务端耗费资源进行处理,并做出相应的反馈。 从服务端视角看高并发 服务端处理请求需要耗费服务端的资源,比如能同时...
  • 通过channel、互斥锁、定时器三者结合,完成了一个并发处理的函数接口。 通过传入协程池数、超时时间来限制协程的并发处理(协程池的数量应该小于数据循环处理的次数)。 参数中指定待处理的数据以及循环的次数,...
  • 并发处理方案

    千次阅读 2018-02-17 19:07:18
    并发和大流量:并发:在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行。但是我们所说的并发是:...
  • asp.net 并发处理

    万次阅读 2011-03-26 18:30:00
    ASP.NET并发处理讲到并发处理,我们一般会分为两个方面来说:a)服务器级别的并发控制; b)程序级别的并发控制。服务器级别的并发控制:Ø 调整服务器应用程序池中的最大连接数。对于Web 服务器,dudu在优化博客园的...
  • 提高并发处理能力可以从一下几方面入手: 1、更改5.X版本TP框架 2、使用PHP7 3、S方法缓存改用redis ,session改用redis 4、数据库主从分离 5、增加机器并且利用Nginx做负载均衡 6、加...
  • Java高并发处理总结

    万次阅读 2018-09-07 21:03:20
    自己参考大牛博客及视频写了一些关于并发的感悟,高并发处理思路,无外乎以下几种 1 代码层面: 锁优化措施(见本文内容)、尽量简化事务和减少事务 2 应用层面:缓存 队列 限流 熔断  3数据库层面: 分库分表 ...
  • Guava中EventBus并发处理事件

    千次阅读 2017-04-28 11:54:44
    使用到了EventBus,用法和上述类似,但是发现效果却和想象中的不一样,我理解的异步事件分发是指1发送事件可以异步、并发 2消费事件同样异步(即事件的订阅方是基于线程池的能力进行事件的并发处理,而不是排队...
  • ————————目录————————-1、硬件升级 2、...2、数据库读写分离 3、表建立相应的索引 7、禁止盗链 8、控制大文件的上传下载服务器并发处理1、什么是服务器并发处理能力 一台服务器在单位时间里能处...
  • redis并发处理

    万次阅读 2017-01-09 14:42:56
    摘要: netty,redis处理并发请求 最近项目一上线,就问题颇多,本地测试,ok,上线后,大用户量的时候,顶不住。用了一个礼拜的时间发现的问题,总结下来。 项目是netty4.0,reids2.8,nginx等框架。目前是4台proxy...
  • asp.net MVC EF+并发处理

    千次阅读 2017-11-07 17:19:10
    还是那句老话:十年河东,十年河西,莫欺骚年穷!~_~ 打错个字,应该是莫欺少年穷! 学历代表你的过去,能力代表你的现在,学习代表你的将来。 ...学无止境,精益求精。...针对并发处理,又分为悲
  • Nginx--大型网站高并发处理

    千次阅读 2018-12-20 19:26:47
    大型网站高并发处理 文章目录**Nginx**-->**大型网站高并发处理**一,产生背景二,负载均衡(Load Balance)2.1 高并发2.2 负载均衡2.3 tomcat并发图三,Nginx简介3.1 什么是 Nginx?3.2 哪些地方使用了...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 301,873
精华内容 120,749
关键字:

并发处理能力