修改linux打开文件数_修改java文件打开数 linux - CSDN
  • vim /etc/security/limits.conf 添加 * - nofile 65535 然后reboot

    vim /etc/security/limits.conf

    添加

    *                -       nofile          65535


    然后reboot



    Linux下高并发socket最大连接数所受的限制问题

      1、修改用户进程可打开文件数限制

      在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当前用户进程打开的文件数限制:

      [speng@as4 ~]$ ulimit -n

      1024

      这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket,进程间通讯的unix域socket等文件,那么剩下的可用于客户端socket连接的文件数就只有大概1024-10=1014个左右。也就是说缺省情况下,基于Linux的通讯程序最多允许同时1014个TCP并发连接。

      对于想支持更高数量的TCP并发连接的通讯处理程序,就必须修改Linux对当前用户的进程同时打开的文件数量的软限制(soft limit)和硬限制(hardlimit)。其中软限制是指Linux在当前系统能够承受的范围内进一步限制用户同时打开的文件数;硬限制则是根据系统硬件资源状况(主要是系统内存)计算出来的系统最多可同时打开的文件数量。通常软限制小于或等于硬限制。

      修改上述限制的最简单的办法就是使用ulimit命令:

      [speng@as4 ~]$ ulimit -n

      上述命令中,在中指定要设置的单一进程允许打开的最大文件数。如果系统回显类似于"Operation notpermitted"之类的话,说明上述限制修改失败,实际上是因为在中指定的数值超过了Linux系统对该用户打开文件数的软限制或硬限制。因此,就需要修改Linux系统对用户的关于打开文件数的软限制和硬限制。

      第一步,修改/etc/security/limits.conf文件,在文件中添加如下行:

      speng soft nofile 10240

      speng hard nofile 10240

      其中speng指定了要修改哪个用户的打开文件数限制,可用'*'号表示修改所有用户的限制;

      soft或hard指定要修改软限制还是硬限制;10240则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。修改完后保存文件。

      第二步,修改/etc/pam.d/login文件,在文件中添加如下行:

      session    required     /lib/security/pam_limits.so

     这是告诉Linux在用户完成系统登录后,应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制),而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置这些限制值。修改完后保存此文件。

      第三步,查看Linux系统级的最大打开文件数限制,使用如下命令:

      [speng@as4 ~]$ cat /proc/sys/fs/file-max

      12158

      这表明这台Linux系统最多允许同时打开(即包含所有用户打开文件数总和)12158个文件,是Linux系统级硬限制,所有用户级的打开文件数限制都不应超过这个数值。通常这个系统级硬限制是Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不应该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值。

      修改此硬限制的方法是修改/etc/rc.local脚本,在脚本中添加如下行:

      echo 22158 > /proc/sys/fs/file-max

      这是让Linux在启动完成后强行将系统级打开文件数硬限制设置为22158.修改完后保存此文件。

      完成上述步骤后重启系统,一般情况下就可以将Linux系统对指定用户的单一进程允许同时打开的最大文件数限制设为指定的数值。如果重启后用 ulimit-n命令查看用户可打开文件数限制仍然低于上述步骤中设置的最大值,这可能是因为在用户登录脚本/etc/profile中使用ulimit -n命令已经将用户可同时打开的文件数做了限制。由于通过ulimit-n修改系统对用户可同时打开文件的最大数限制时,新修改的值只能小于或等于上次 ulimit-n设置的值,因此想用此命令增大这个限制值是不可能的。

      所以,如果有上述问题存在,就只能去打开/etc/profile脚本文件,在文件中查找是否使用了ulimit-n限制了用户可同时打开的最大文件数量,如果找到,则删除这行命令,或者将其设置的值改为合适的值,然后保存文件,用户退出并重新登录系统即可。 通过上述步骤,就为支持高并发TCP连接处理的通讯处理程序解除关于打开文件数量方面的系统限制。

      2、修改网络内核对TCP连接的有关限制

      在Linux上编写支持高并发TCP连接的客户端通讯处理程序时,有时会发现尽管已经解除了系统对用户同时打开文件数的限制,但仍会出现并发TCP连接数增加到一定数量时,再也无法成功建立新的TCP连接的现象。出现这种现在的原因有多种。

      第一种原因可能是因为Linux网络内核对本地端口号范围有限制。此时,进一步分析为什么无法建立TCP连接,会发现问题出在connect()调用返回失败,查看系统错误提示消息是"Can't assign requestedaddress".同时,如果在此时用tcpdump工具监视网络,会发现根本没有TCP连接时客户端发SYN包的网络流量。这些情况说明问题在于本地Linux系统内核中有限制。

      其实,问题的根本原因在于Linux内核的TCP/IP协议实现模块对系统中所有的客户端TCP连接对应的本地端口号的范围进行了限制(例如,内核限制本地端口号的范围为1024~32768之间)。当系统中某一时刻同时存在太多的TCP客户端连接时,由于每个TCP客户端连接都要占用一个唯一的本地端口号(此端口号在系统的本地端口号范围限制中),如果现有的TCP客户端连接已将所有的本地端口号占满,则此时就无法为新的TCP客户端连接分配一个本地端口号了,因此系统会在这种情况下在connect()调用中返回失败,并将错误提示消息设为"Can't assignrequested address".

      有关这些控制逻辑可以查看Linux内核源代码,以linux2.6内核为例,可以查看tcp_ipv4.c文件中如下函数:

      static int tcp_v4_hash_connect(struct sock *sk)

      请注意上述函数中对变量sysctl_local_port_range的访问控制。变量sysctl_local_port_range的初始化则是在tcp.c文件中的如下函数中设置:

      void __init tcp_init(void)

      内核编译时默认设置的本地端口号范围可能太小,因此需要修改此本地端口范围限制。

      第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:

      net.ipv4.ip_local_port_range = 1024 65000

      这表明将系统对本地端口范围限制设置为1024~65000之间。请注意,本地端口范围的最小值必须大于或等于1024;而端口范围的最大值则应小于或等于65535.修改完后保存此文件。

      第二步,执行sysctl命令:

      [speng@as4 ~]$ sysctl -p

      如果系统没有错误提示,就表明新的本地端口范围设置成功。如果按上述端口范围进行设置,则理论上单独一个进程最多可以同时建立60000多个TCP客户端连接。

      第二种无法建立TCP连接的原因可能是因为Linux网络内核的IP_TABLE防火墙对最大跟踪的TCP连接数有限制。此时程序会表现为在 connect()调用中阻塞,如同死机,如果用tcpdump工具监视网络,也会发现根本没有TCP连接时客户端发SYN包的网络流量。由于 IP_TABLE防火墙在内核中会对每个TCP连接的状态进行跟踪,跟踪信息将会放在位于内核内存中的conntrackdatabase中,这个数据库的大小有限,当系统中存在过多的TCP连接时,数据库容量不足,IP_TABLE无法为新的TCP连接建立跟踪信息,于是表现为在connect()调用中阻塞。此时就必须修改内核对最大跟踪的TCP连接数的限制,方法同修改内核对本地端口号范围的限制是类似的:

      第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:

      net.ipv4.ip_conntrack_max = 10240

      这表明将系统对最大跟踪的TCP连接数限制设置为10240.请注意,此限制值要尽量小,以节省对内核内存的占用。

      第二步,执行sysctl命令:

      [speng@as4 ~]$ sysctl -p

      如果系统没有错误提示,就表明系统对新的最大跟踪的TCP连接数限制修改成功。如果按上述参数进行设置,则理论上单独一个进程最多可以同时建立10000多个TCP客户端连接。

      3、使用支持高并发网络I/O的编程技术在Linux上编写高并发TCP连接应用程序时,必须使用合适的网络I/O技术和I/O事件分派机制。可用的I/O技术有同步I/O,非阻塞式同步I/O(也称反应式I/O),以及异步I/O.在高TCP并发的情形下,如果使用同步I/O,这会严重阻塞程序的运转,除非为每个TCP连接的I/O创建一个线程。

      但是,过多的线程又会因系统对线程的调度造成巨大开销。因此,在高TCP并发的情形下使用同步 I/O是不可取的,这时可以考虑使用非阻塞式同步I/O或异步I/O.非阻塞式同步I/O的技术包括使用select(),poll(),epoll等机制。异步I/O的技术就是使用AIO.

      从I/O事件分派机制来看,使用select()是不合适的,因为它所支持的并发连接数有限(通常在1024个以内)。如果考虑性能,poll()也是不合适的,尽管它可以支持的较高的TCP并发数,但是由于其采用"轮询"机制,当并发数较高时,其运行效率相当低,并可能存在I/O事件分派不均,导致部分TCP连接上的I/O出现"饥饿"现象。而如果使用epoll或AIO,则没有上述问题(早期Linux内核的AIO技术实现是通过在内核中为每个 I/O请求创建一个线程来实现的,这种实现机制在高并发TCP连接的情形下使用其实也有严重的性能问题。但在最新的Linux内核中,AIO的实现已经得到改进)。

      综上所述,在开发支持高并发TCP连接的Linux应用程序时,应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制,这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。

      内核参数sysctl.conf的优化

      /etc/sysctl.conf 是用来控制linux网络的配置文件,对于依赖网络的程序(如web服务器和cache服务器)非常重要,RHEL默认提供的最好调整。

      推荐配置(把原/etc/sysctl.conf内容清掉,把下面内容复制进去):

      net.ipv4.ip_local_port_range = 1024 65536

      net.core.rmem_max=16777216

      net.core.wmem_max=16777216

      net.ipv4.tcp_rmem=4096 87380 16777216

      net.ipv4.tcp_wmem=4096 65536 16777216

      net.ipv4.tcp_fin_timeout = 10

      net.ipv4.tcp_tw_recycle = 1

      net.ipv4.tcp_timestamps = 0

      net.ipv4.tcp_window_scaling = 0

      net.ipv4.tcp_sack = 0

      net.core.netdev_max_backlog = 30000

      net.ipv4.tcp_no_metrics_save=1

      net.core.somaxconn = 262144

      net.ipv4.tcp_syncookies = 0

      net.ipv4.tcp_max_orphans = 262144

      net.ipv4.tcp_max_syn_backlog = 262144

      net.ipv4.tcp_synack_retries = 2

      net.ipv4.tcp_syn_retries = 2

      这个配置参考于cache服务器varnish的推荐配置和SunOne 服务器系统优化的推荐配置。

      varnish调优推荐配置的地址为:http://varnish.projects.linpro.no/wiki/Performance

      不过varnish推荐的配置是有问题的,实际运行表明"net.ipv4.tcp_fin_timeout = 3"的配置会导致页面经常打不开;并且当网友使用的是IE6浏览器时,访问网站一段时间后,所有网页都会

      打不开,重启浏览器后正常。可能是国外的网速快吧,我们国情决定需要调整"net.ipv4.tcp_fin_timeout = 10",在10s的情况下,一切正常(实际运行结论)。

      修改完毕后,执行:

      /sbin/sysctl -p /etc/sysctl.conf

      /sbin/sysctl -w net.ipv4.route.flush=1

      命令生效。为了保险起见,也可以reboot系统。

      调整文件数:

      linux系统优化完网络必须调高系统允许打开的文件数才能支持大的并发,默认1024是远远不够的。

      执行命令:

      Shell代码

      echo ulimit -HSn 65536 》 /etc/rc.local

      echo ulimit -HSn 65536 》/root/.bash_profile

      ulimit -HSn 65536


    展开全文
  • 内容: 今天记录下linux修改文件最大打开数量的方法,默认情况下是1024的。当你的进程需要支持更高的并发连接时,那么1024显然不能满足你的要求,这时候你就需要修改最大的文件打开数量。我讲的是永久修改的方法,要...

    内容: 今天记录下linux修改文件最大打开数量的方法,默认情况下是1024的。当你的进程需要支持更高的并发连接时,那么1024显然不能满足你的要求,这时候你就需要修改最大的文件打开数量。我讲的是永久修改的方法,要修改配置文件/etc/security/limits.conf,这样才能保持重启后仍然能生效。

    修改方法:编辑如下的语句
    在这里插入图片描述
    上述步骤:修改你的配置文件,也就是修改限制的值。我这里设置为60000,你也可以设置为你想要的值。

    接下来:
    在这里插入图片描述
    上述步骤:修改你的文件最大打开数量

    接下来可以查看结果:
    在这里插入图片描述
    分析:上述方法修改了最大文件打开数量,同时重启后生效。如果你不想永久修改,那你就直接使用ulimit进行修改就好了,但是要注意本机的限制值。

    为了方便大家修改:给一个修改的脚本哈

    #!/bin/bash
    cat >> /etc/security/limits.conf <<EOF
    * soft nofile  65536
    * hard nofile  65536
    EOF
    

    大三学生一枚,文章均非抄袭或者模仿,均为原创,仅代表个人观点,如果文章有错误的地方,欢迎在下方提出,每条评论我都会去认真看并回复,同时感谢指正的前辈。

    展开全文
  • 因此,本文从进程本身和系统上说明如何更改linux最大文件数的限制! 1.首先通过命令ulimit -a查看当前进程可以打开的最大文件数,如下图所示,显示是1024 2.另外还可以通过命令ulimit -n 直接查看当前进程可以打开...

    linux系统对文件打开的数量有最大的限制,它通常设置为1024,这个数值很容易会达到,从而造成系统程序或者系统的瓶颈。因此,本文从进程本身和系统上说明如何更改linux最大文件数的限制!

    1.首先通过命令ulimit -a查看当前进程可以打开的最大文件数,如下图所示,显示是1024
    在这里插入图片描述
    2.另外还可以通过命令ulimit -n 直接查看当前进程可以打开文件的最大数量
    在这里插入图片描述
    3.上面两个命令是查看当前进程最大文件数,而系统也有最大文件数,它指的是所有进程可以打开的文件数量,如下图所示的命令可以查看当前系统的最大文件数
    在这里插入图片描述
    4.说明如何查看文件数量限制之后,接下来就说明如何更改最大文件数,通过命令ulimit -a 65535可以进行更改
    在这里插入图片描述
    5.通过命令ulimit -n 65535只对当前进程生效,如下图所示,退出shell进程,再进入查看最大文件数变成原来的值1024
    在这里插入图片描述
    6.如果想要永久生效,可以通过输入下图所示的两条命令来达到更改最大文件数永久生效的目的
    在这里插入图片描述
    7.通过下图看,退出shell进程,重新查看最大文件数,已经是更改的值65535,说明永久生效的命令是正确的!
    在这里插入图片描述
    8.上面更改最大文件数的命令只针对进程而言,如果想要更改整个系统的最大文件数,那么通过下图红色方框的命令可以进行更改
    在这里插入图片描述
    9.同样上面更改系统最大文件数的命令只是临时生效,当退出进程就会失效,因此,如果想要永久生效,通过在文件/etc/sysctl.conf添加下图红色方框标示的命令就可以永久生效!
    在这里插入图片描述

    展开全文
  • 1,linux 默认的进程打开文件上限是1024个,可以通过ulimit -n查看。很多系统上限可以通过修改/etc/security/limits.conf文件改变,这个文件有详细的注释,对如何修改做了说明。如果希望 把所有用户的进程打开文件...

    使用ulimit -a查看相关消息。
       
    1,linux 默认的进程打开文件上限是1024个,可以通过ulimit -n查看。很多系统上限可以通过修改/etc/security/limits.conf文件改变,这个文件有详细的注释,对如何修改做了说明。如果希望 把所有用户的进程打开文件上限改为65536,可以加入下面两行
     
    * soft nofile 8192
    * hard nofile 8192
    还可以只真对某个用户或某个组做修改,具体方法参见文件注释。修改后需要重新启动系统才能生效
     
    或者
    ulimit -HSn 8192
       
    2,在Linux内核2.2.x中可以用如下命令修改:
     
      # echo '8192' >; /proc/sys/fs/file-max
      # echo '32768' >; /proc/sys/fs/inode-max
     
    并将以上命令加到/etc/rc.c/rc.local文件中,以使系统每次重新启动时配置以上值。
     
    3,在Linux下,我们使用ulimit -n命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。
       
       对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有 点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?
     
    下面一段小脚本可以帮你查看:lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more  
      在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:
    # lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more    
    131 24204 
    57 24244  
    57 24231  
    56 24264
      其中第一列是打开的文件句柄数量,第二列是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。    
     
    ps -aef|grep 24204
    mysql  24204 24162 99 16:15 ?    00:24:25 /usr/sbin/mysqld
      哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024。
     
      但是如果系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就 必须要调整系统参数,以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下,以root用户运行以下命 令:ulimit -HSn 4096
     
      以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件 句柄数量。个人觉得最好不要超过4096,毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下 来,可以修改.bash_profile文件,可以修改 /etc/profile 把上面命令加到最后

    展开全文
  • 使用java socket来实现,在centos6.5系统上...linux和mac默认最大打开文件数256.上限是65535.在创建socket连接时,每个连接需要占用一个文件打开,所以256是远不能满足需求的。需要进行参数修改。另外,linux系统的最
  • 前几天查看heka日志的错误日志的时候,发现报错信息 too many open files,很明显打开文件数过多了。 第一个问题来了,如何查看当前进程打开的文件数和最大打开文件数呢? 当前进程打开文件数  ls /proc/...
  • Linux最大进程文件最大打开数
  • Linux打开文件限制

    2018-05-16 15:59:06
    Linux打开文件限制1、修改用户进程可打开文件数限制在linux平台上,无论是客户端程序还是服务器端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为...
  • 1、修改 /etc/security/limits.conf 追加如下内容: * hard nofile 1024000 * soft nofile 1024000 2、修改/etc/profile 最后添加如下内容: ulimit -SHn 1024000 ...-n 打开文件数的最大值
  • 昨天有个应用要求我给他改...文章来源:在修改linux文件打开数限制一般会涉及三个方面: 在修改linux文件打开数限制一般会涉及三个方面:  ulimit命令  /etc/security/limits.conf文件  /proc/sys/fs/file-nr, /proc
  • 先来看man的一段解析: /proc/sys/fs/file-max This file defines a system-wide limit on the number of open files for all processes. (See also setrlimit(2), which can be use
  • Linux最大文件打开数

    2018-10-19 22:24:05
    介绍 在Linux下有时会遇到Socket/File : Can't ...其实Linux是有文件句柄限制的,而且Linux默认一般都是1024(阿里云主机默认是65535)。在生产环境中很容易到达这个值,因此这里就会成为系统的瓶颈。 1.查看方法...
  • 一、设置linux系统最大打开文件数和单个进程最大打开文件数 1. 系统最大打开文件描述符数:/proc/sys/fs/file-max a. 查看 $ cat /proc/sys/fs/file-max 186405 2. 设置 a. 临时性 # echo 1000000 > /proc/sys/...
  •  文件Linux系统中的一切事物的存在形式,计算机中的数据和硬件都是通过文件的形式进行管理,Linux文件主要有普通文件、文件夹、设备文件、链接文件、管道文件、套接字文件(数据通信的接口)等类型,Linux 中的...
  • 1. 查看进程打开文件在/proc下,对应每个进程有一个以进程号命名的目录...2. 修改进程打开文件数上限Linux默认的进程打开文件上限是1024个,可以通过ulimit -n查看。很多系统上限可以通过修改/etc/security/limits.con
  • 做高并发服务器或者像聊天这种长连接服务时,需要修改系统能够打开文件句柄。否则会出现 too many open files 的错误。socket句柄和文件句柄是相同的,像聊天这种长链接服务,此时too many open files 指的就是...
  • 为了提升服务器并发访问能力,有时我们需要修改最大支持打开文件的数量, 使用 ulimit 工具将很容易实现这点1. 首先,查看当前能够打开文件的数量# ulimit -a 可以看到,open files 为1024, 而且提示了参数为 -n...
  • linux 打开文件句柄

    2015-06-04 10:08:33
    首先可以通过ulimit –a 命令来查看 如下: Redhat系统 [root@120lg_3 ut]# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited ...file size (blocks, -f) u
  • 1. 系统最大打开文件描述符:/proc/sys/fs/file-max a. 查看 $ cat /proc/sys/fs/file-max 186405 2. 设置 a. 临时性 # echo 1000000 > /proc/sys/fs/file-max 2. 永久性:在/etc/sysctl.conf中设置 ...
1 2 3 4 5 ... 20
收藏数 515,424
精华内容 206,169
关键字:

修改linux打开文件数