精华内容
下载资源
问答
  • Linux进程关于文件描述符的数量限制

    千次阅读 2014-11-21 14:51:34
    Linux进程关于文件描述符的数量限制
    
    

    文件描述符fd是Linux相对有限的资源,单个进程中的fd数量有限制,一般默认是1024。

    查看当前session的fd数量限制
    # ulimit -n

    修改当前session的fd数量限制,注意只对当前session有效
    # ulimit -n your_need

     

    程序中可利用系统函数修改fd限制,只对当前进程有效。

    复制代码
    #include <sys/resource.h>
    
    struct rlimit {
        rlim_t rlim_cur; // soft limit
        rlim_t rlim_max; // hard limit    
    };
    
    // get resource limit
    int getrlimit(int resource, struct rlimit *rlim);
    
    // set resource limit
    int setrlimit(int resource, const struct rlimit *rlim);
    复制代码

    api详细说明可参考http://www.kernel.org/doc/man-pages/online/pages/man2/setrlimit.2.html

    rlimit结构中,rlim_cur对应于soft limit,rlim_max对应于hard limit,需要说明一下:

    soft limit是内核允许进程使用的资源上限,比如fd;hard limit是soft limit的上限,rlim_max >= rlim_cur;具有root权限的用户才能修改hard limit。

    展开全文
  • 具体ulimit命令参考 https://www.cnblogs.com/wangkangluo1/archive/2012/06/06/2537677.html 转载于:https://www.cnblogs.com/zhizihuakai66/p/8870733.html

    具体ulimit命令参考

     https://www.cnblogs.com/wangkangluo1/archive/2012/06/06/2537677.html

    转载于:https://www.cnblogs.com/zhizihuakai66/p/8870733.html

    展开全文
  • 我通过运行lsof -u root | wc -l检查了打开文件描述符的数量,得到了2500 fds.这远远超过1024,所以我猜这意味着每个进程的数字是1024,而不是每个用户,就像我一样.好吧,我跑了lsof -p $PidOfGlassfish | wc -l...

    我们的服务器最近耗尽了文件描述符,关于这一点,我有一些问题. ulimit -n应该给我最大数量的打开文件描述符.这个数字是1024.我通过运行lsof -u root | wc -l检查了打开文件描述符的数量,得到了2500 fds.这远远超过1024,所以我猜这意味着每个进程的数字是1024,而不是每个用户,就像我一样.好吧,我跑了lsof -p $PidOfGlassfish | wc -l并得到1300.这是我没有得到的部分.如果ulimit -n不是每个用户或每个进程的最大进程数,那么它有什么用呢?它不适用于root用户吗?如果是这样,我怎么能得到关于用完文件描述符的错误消息?

    编辑:我能从ulimit -n中理解的唯一方法是它是否应用了打开文件的数量(如bash手册中所述)而不是文件句柄的数量(不同的进程可以打开同一个文件).如果是这种情况,那么只需列出打开文件的数量(点击’/’,从而排除内存映射文件)是不够的:

    lsof -u root |grep /|sort -k9 |wc -l #prints '1738'

    要实际查看打开文件的数量,我需要在名称列上过滤仅打印唯一条目.因此以下可能更正确:

    lsof -u root |grep /|sort -k9 -u |wc -l #prints '604'

    上面的命令期望从lsof输出以下格式:

    java 32008 root mem REG 8,2 11942368 72721 /usr/lib64/locale/locale-archive

    vmtoolsd 4764 root mem REG 8,2 18624 106432 /usr/lib64/open-vm-tools/plugins/vmsvc/libguestInfo.so

    这至少给了我小于1024的数字(ulimit -n报告的数字),所以这似乎是朝着正确方向迈出的一步. “不幸的是”我没有遇到任何用完文件描述符的问题,所以我很难验证这一点.

    展开全文
  • 文件描述符的定义数量文件描述符的有效范围是0 到 OPEN_MAX。Linux2.4.22 强制规定最多不能超过 1,048,576 。文件描述符是由无符号整数表示的句柄,进程使用它来标识打开的文件。文件描述符与包括相关信息(如文件的...

    文件描述符的定义数量

    文件描述符的有效范围是

    0 到 OPEN_MAX。Linux

    2.4.22 强制规定最多不能超过 1,048,576 。文件描述符是由无符号整数表示的句柄,进程使用它来标识打开的文件。文件描述符与包括相关信息(如文件的打开模式、文件的位置类型、文件的初始类型等)的文件对象相关联,这些信息被称作文件的上下文。

    如何创建文件描述符进程获取文件描述符最常见的方法是通过本机子例程open或create获取或者通过从父进程继承。后一种方法允许子进程同样能够访问由父进程使用的文件。文件描述符对于每个进程一般是唯一的。当用fork子例程创建某个子进程时,该子进程会获得其父进程所有文件描述符的副本,这些文件描述符在执行fork时打开。在由fcntl、dup和dup2子例程复制或拷贝某个进程时,会发生同样的复制过程。第二个异常在JVM进程缺乏文件描述符时出现(尽管在执行forkAndExec()子例程时不需要新的文件描述符来复制父进程的文件描述符)。对于每个进程,操作系统内核在u_block结构中维护文件描述符表,所有的文件描述符都在该表中建立索引。

    如何在不同平台上定义的数量

    缺点文件描述符的概念存在两大缺点:在非UNIX/Linux操作系统上(如Windows

    NT),无法基于这一概念进行编程。由于文件描述符在形式上不过是个整数,当代码量增大时,会使编程者难以分清哪些整数意味着数据,那些意味着文件描述符。因此,完成的代码可读性也就会变得很差。极限以及可分配给进程的最大大小由资源限制来定义。这些值应当按照在WebLogicServer文档中建议的、特定于操作系统的值来设置:对于WLS8.1:调整硬件、操作系统和网络性能对于WLS7.0:调整硬件、操作系统和网络性能对于WLS6.1:调整硬件、操作系统和网络性能Unix和Linux都有文件描述符。不过,二者的主要区别在于如何设置文件描述符的硬极限值、和配置过程。Solaris

    /usr/bin/ulimit实用程序定义允许单个进程使用的文件描述符的数量。它的最大值在rlim_fd_max中定义,在缺省情况下,它设置为65,536。只有root用户才能修改这些内核值。Linux管理用户可以在etc/security/limits.conf配置文件中设置他们的文件描述符极限,如下例所示。softnofile1024

    hardnofile4096系统级文件描述符极限还可以通过将以下三行添加到/etc/rc.d/rc.local启动脚本中来设置:#Increasesystem-widefiledescriptorlimit.

    echo4096>/proc/sys/fs/file-max

    echo16384>/proc/sys/fs/inode-max

    Windows在上,文件描述符被称作。在Windows2000服务器上,打开文件的句柄极限设置为16,384。此数量可以在的性能摘要中监视。HP-UX

    nfile定义打开文件的最大数量。此值通常由以下公式来确定:((NPROC*2)+1000),其中NPROC通常为:((MAXUSERS*5)+64)。如果MAXUSERS等于400,则经过计算得到此值为5128。通常可以将此值设高一些。maxfiles是每个进程的软文件极限,maxfiles_lim是每个进程的硬文件极限。

    文件描述符极限在/etc/security/limits文件中设置,它的缺省值是2000。此极限可以通过ulimit命令或setrlimit子例程来更改。最大大小由OPEN_MAX常数来定义。另外解决方法对于ANSI

    C规范中定义的标准库的文件I/O操作。ANSI

    C规范给出了一个解决方法,就是使用FILE结构体的指针。事实上,UNIX/Linux平台上的FILE结构体的实现中往往都是封装了文件描述符变量在其中。AIX文件描述符极限在/etc/security/limits文件中设置,它的是2000。此极限可以通过ulimit命令或setrlimit子例程来更改。最大大小由OPEN_MAX常数来定义。

    linux下最大文件描述符的限制有两个方面,一个是用户级的限制,另外一个则是系统级限制,文件描述符是一个简单的整数,用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0,第二个是1,依此类推。Unix

    操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是,unix 通常有一个系统级的限制。

    1.系统最大打开文件描述符数:/proc/sys/fs/file-max

    a.查看

    $ cat /proc/sys/fs/file-max

    186405

    2.设置

    a.临时性

    # echo 1000000 > /proc/sys/fs/file-max

    2.永久性:在/etc/sysctl.conf中设置

    fs.file-max = 1000000

    2.进程最大打开文件描述符数:user

    limit中nofile的soft

    limit

    a.查看

    $ ulimit -n

    1700000

    2.设置

    a.临时性:通过ulimit

    -Sn设置最大打开文件描述符数的soft

    limit,注意soft

    limit不能大于hard

    limit(ulimit

    -Hn可查看hard

    limit),另外ulimit

    -n默认查看的是soft

    limit,但是ulimit

    -n 1800000则是同时设置soft

    limit和hard

    limit。对于非root用户只能设置比原来小的hard

    limit。但这个变更只对当前的session有效,当断开连接重新连接后更改就失效了

    查看hard limit:

    $ ulimit -Hn

    1700000

    设置soft limit,必须小于hard

    limit:

    $ ulimit -Sn 1600000

    2.修改用户级的限制

    永久性:上面的方法只是临时性的,注销重新登录就失效了,而且不能增大hard

    limit,只能在hard

    limit范围内修改soft

    limit。若要使修改永久有效,则需要在/etc/security/limits.conf中进行设置(需要root权限),可添加如下两行,表示用户chanon最大打开文件描述符数的soft

    limit为1800000,hard

    limit为2000000。以下设置需要注销之后重新登录才能生效:

    chanon soft nofile 1800000

    chanon hard nofile 2000000

    * hard nofile 65536

    * soft nofile 65536

    保存退出后重新登录,其最大文件描述符已经被永久更改了。这只是修改用户级的最大文件描述符限制,也就是说每一个用户登录后执行的程序占用文件描述符的总数不能超过这个限制。

    设置nofile的hard

    limit还有一点要注意的就是hard

    limit不能大于/proc/sys/fs/nr_open,假如hard

    limit大于nr_open,注销后无法正常登录。可以修改nr_open的值:

    # echo 2000000 > /proc/sys/fs/nr_open

    3.查看当前系统使用的打开文件描述符数(系统级的限制)

    它是限制所有用户打开文件描述符的总和,可以通过修改内核参数来更改该限制:sysctl -w fs.file-max=65536

    使用sysctl命令更改也是临时的,如果想永久更改需要在/etc/sysctl.conf添加fs.file-max=65536保存退出后使用sysctl

    -p 命令使其生效。

    与file-max参数相对应的还有file-nr,这个参数是只读的,可以查看当前文件描述符的使用情况。

    下面是摘自kernel document中关于file-max和file-nr参数的说明

    file-max & file-nr:

    The kernel allocates file handles dynamically, but as yet it

    doesn't free them again.内核可以动态的分配文件句柄,但到目前为止是不会释放它们的The value in file-max denotes the maximum number of file handles

    that the Linux kernel will allocate. When you get lots of error

    messages about running out of file handles, you might want to

    increase this limit.

    file-max的值是linux内核可以分配的最大文件句柄数。如果你看到了很多关于打开文件数已经达到了最大值的错误信息,你可以试着增加该值的限制Historically, the three values in file-nr denoted the number of

    allocated file handles, the number of allocated but unused file

    handles, and the maximum number of file handles. Linux 2.6 always

    reports 0 as the number of free file handles -- this is not an

    error, it just means that the number of allocated file handles

    exactly matches the number of used file

    handles.在kernel

    2.6之前的版本中,file-nr

    中的值由三部分组成,分别为:1.已经分配的文件句柄数,2.已经分配单没有使用的文件句柄数,3.最大文件句柄数。但在kernel

    2.6版本中第二项的值总为0,这并不是一个错误,它实际上意味着已经分配的文件句柄无一浪费的都已经被使用了

    file-max的默认值大概是系统内存的10%(系统内存以kb计算),

    [root@localhost bin]# cat /proc/sys/fs/file-nr

    5664 0 186405

    其中第一个数表示当前系统已分配使用的打开文件描述符数,第二个数为分配后已释放的(目前已不再使用),第三个数等于file-max。

    4.总结:

    a.所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max

    b.单个进程打开的文件描述符数不能超过user

    limit中nofile的soft

    limit

    c. nofile的soft

    limit不能超过其hard

    limit

    d. nofile的hard

    limit不能超过/proc/sys/fs/nr_open

    展开全文
  • 目录1简介2特点▪ 优点▪ 缺点3定义数量4解决方法1简介编辑文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护该进程打开文件记录表。当程序打开一...
  • ulimit -n 查看 单进程或线程,可打开最大文件描述符数 通过ulimit -n 10240 设置文件描述符数: (当前shell生效,这真是个坑啊) 永久生效:(需要重启系统,也是个坑,好好系统是不会去重启)[root@...
  • 在CentOS 6.5, mysql版本为5.1...lsof -n |awk '{print $2, $NF}' | sort | uniq -c | sort -nr | grep 1697 | more可以看到每个数据库文件打开文件数量只占用了一个文件描述符,即使当前mysql启动了多个子进程但在
  • 一、linux的文件描述符 文件描述符(FD:filedescriptors),也可以说是文件句柄,当某个程序打开文件时,内核返回相应的文件描述符,程序为了处理该文件必须引用此描述符。文件描述符是一个正整数,用以标明每一个被...
  • SQUID最大文件描述符数量的设定 一、系统设置 1、查看系统设置 cat /proc/sys/fs/file-max ulimit -a 2、更改系统设置方式 第一种 ulimit -HSn 65536 重启后会失效 建议放到/etc/rc.local中 第二种 ...
  • lsof-n|awk'{print$2}'|sort|uniq-c|sort-nr结果是以 打开的文件描述符数量:进程号 格式排序 。降序排序 转载于:https://blog.51cto.com/khaozi/1842127...
  • 当用epoll监听accpet时候,如果线程打开的文件描述符数量已经达到上限。 当有新连接到来时候,epoll被唤醒,accpet返回值为EMFILE。 如果不处理EMFILE,那么下一轮epoll_wait,会被继续唤醒,形成类似轮询...
  • Linux上文件描述符数量限制

    千次阅读 2017-01-05 10:31:10
     在linux环境下,任何事物都以文件形式存在,通过文件不...如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等,系统在后台都为该应用程序分配了一个文件描述符,该文件描述符提供了大量关于这个应用程序本
  • 文件描述符

    千次阅读 2019-01-08 13:25:50
    在系统头文件posix_types.h中定义了文件描述符的最大数量1024,意味着文件描述符的取值范围是0~1023,并且0、1、2已经被分配了,0表示标准输入,1表示标准输出,2表示标准错误输出,而通过socket()分配的socket文件...
  • 文件描述符 Linux通过文件描述符来访问文件,他们是一些整数(windows一般称之为句柄,我们可以理解为文件描述符就是我们访问文件“手柄”)。通过open来将文件与描述符建立关联,一般来讲,Linux会为每一个进程...
  • 2.2 计算PostgreSQL可以安全使用文件句柄个数2.3 当PostgreSQL可使用fd数量小于48,则进程启动失败2.4 成功获可安全使用最大文件描述符数量 1. 关于文件描述符 1.1 什么是文件描述符     文件描述符(file...
  • 增加这个数值需要调整两个配置:第一步,修改系统最大允许的文件描述符查看当前设置:$cat /proc/sys/fs/file-max2390251或者$sysctl -afs.file-max= 2390251该系统是CentOS5.x x64版本,安装好后没有做过优化设定...
  • 文件描述符检查

    2020-07-20 11:22:35
    心得:软件开发代码发布之前要检查内存泄露情况以及文件...通过lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr查看进程打开的文件描述符数量 #其中按进程统计句柄数 第一列是打开句柄数,第二列是进程ID。 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,108
精华内容 443
关键字:

文件描述符的数量