2016-07-15 16:50:24 ikscher 阅读数 2953

关于inode的理解,请参考 阮一峰的文章 http://www.ruanyifeng.com/blog/2011/12/inode.html

我们需要时候,可能把中文或者其他的乱码文件传到Linux服务器上。

直接使用rm -rf xx这样的方法删不掉文件,于是我们就需要来通过删除inode来删除该文件。

使用命令ls  /db/mysql -i 查看文件的inode号。

然后使用以下命令来删除文件。

find /db/mysql -inum 165119090 -exec rm -i {} \;

然后出现

rm: remove regular file `./114+\246圈-\331115-\260+\246\246\246\244\335+-+\246+\360\372\274-+\246\274\244应息\246\246\246\372\274\246\246\302\355\372\274\300\376\251\261-\372\246\325\301+.url'?

输入 y 表示确认。然后回车即可删除该文件。

2017-03-17 14:08:09 LX18792732127 阅读数 222

Linux中一个重要的知识点就是inode,现在,我们就来了解一下什么是inode:

什么是inode:


       inode译成中文就是索引节点,每个存储设备(例如硬盘)或存储设备的分区被格式化为文件系统后,应该有两部份,一部份是inode,另一部份是Block,Block是用来存储数据用的。而inode呢,就是用来存储这些数据的信息,这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引,所以就有了inode的数值。操作系统根据指令,能通过inode值最快的找到相对应的文件。

       硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性读取一个"块"(block),每个"块"(block)由八个连续的sector组成。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,文件数据都储存在"块"中,那么还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。每一个文件都有对应的inode,里面包含了与该文件有关的一些信息。

inode里面的内容:

       * 文件的字节数

  * 文件拥有者的User ID

  * 文件的Group ID

  * 文件的读、写、执行权限

  * 文件的时间戳,共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间。

  * 链接数,即有多少文件名指向这个inode

  * 文件数据block的位置 

inode的大小:

       inode也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。

       每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小就会达到128MB,占整块硬盘的12.8%。

inode的号码:

       每个inode都有一个号码,Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。

inode的作用:


       由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。
  1. 有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。
  2. 移动文件或重命名文件,只是改变文件名,不影响inode号码。
  3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。
       第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。



2017-04-14 16:50:37 ljheee 阅读数 836

概论

        inode是 Unix/Linux文件系统和硬盘储存的基础,也是Linux文件系统管理文件的方式,蕴含着背后设计思想的精髓;也正是这些精髓,使得我们在Linux系统中使用find等文件操作的命令时,完虐Windows速度。Unix/Linux系统中,“一切都是文件”,目录(directory),管道、套接字也都是是一种文件。

        Linux采用VFS(VirtualFile System)虚拟文件系统,VFS是异构的文件系统之上的软件粘合层,因为VFS可以无缝的使用多个不同类型的文件系统,通过VFS,可以访问文件系统的的系统调用提供统一的抽象接口,使得操作目录、管道、套接字等,都是通过open()、write()、read()、close()完成,而不用考虑底层。通过VFS就可以抽象的访问接口而屏蔽了底层文件系统和物理介质之间的差异。

 

        Unix/Linux文件系统组织和管理文件,采用inode方式,完全不同于Windows采用文件名的方式。inode译成中文就是索引节点,每个存储设备(例如硬盘)或存储设备的分区被格式化为文件系统后,应该有两部份,一部份是inode,另一部份是Block,Block是用来存储数据用的。而inode呢,就是用来存储这些数据的信息,这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引,所以就有了inode的数值。操作系统根据指令,能通过inode值最快的找到相对应的文件。每个inode节点的大小,一般是128字节或256字节。

、inode是什么?

        理解inode,要从文件储存说起。

        文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。

        操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个 sector组成一个block。

        文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。

        每一个文件都有对应的inode,里面包含了与该文件有关的一些信息。                                                                                  

二、inode的内容

        inode包含文件的元信息,也就是除了文件名以外的所有文件信息,都存在inode之中。inode具体来说有以下内容:

//come from /usr/src/kernel/'uname -r'/include/linux/fs.h
struct inode{

      struct hlist_node  i_hash;
      struct hlist_head  i_list;
      struct hlist_head  i_sb_list;
      struct hlist_head  i_dentry;
      unsigned long i_ino;//索引节点值
      atomic_t i_count;
      umode_t i_mode;//文件类型访问权限(读、写、执行权限)
      unsigned int i_nlink;//文件硬链接数
      uid_t i_uid;//文件拥有者ID
      gid_t i_gid;//文件拥有者组ID
      dev_t i_rdev//次设备号
      loff_t i_size;//文件大小
      struct timespec i_atime;//文件最后访问时间
      struct timespec i_mtime;//文件最后修改内容时间
      struct timespec i_ctime;//最后修改属性时间			
      unsigned long i_blksize;//块大小
      unsigned long i_version;//版本号
      unsigned long i_blocks;//文件所占块数
      //.........
}

        可以用stat命令,查看某个文件的inode信息:

三、inode号码

        每个inode都有一个号码,操作系统用inode号码来识别不同的文件。

        这里值得重复一遍,Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。

        在同一个文件分区,inode唯一;在不同文件分区,inode可能重复。

四、硬链接

        一般情况下,文件名和inode号码是"一一对应"关系,每个inode号码对应一个文件名。但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。这意味着,可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是,删除一个文件名,不影响另一个文件名的访问。这种情况就被称为"硬链接"(hardlink)。

        ln命令可以创建硬链接:ln 源文件 目标文件运行上面这条命令以后,源文件与目标文件的inode号码相同,都指向同一个inode。

        inode信息中,一项叫做"链接数",记录指向该inode的文件名总数,这时就会增加1。反过来,删除一个文件名,就会使得inode节点中的"链接数"减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域。

        这里顺便说一下目录文件的"链接数"。创建目录时,默认会生成两个目录项:"."和".."。前者的inode号码就是当前目录的inode号码,等同于当前目录的"硬链接";后者的inode号码就是当前目录的父目录的inode号码,等同于父目录的"硬链接"。所以,任何一个目录的"硬链接"总数,总是等于2加上它的子目录总数(含隐藏目录)。

 

五、软链接

        除了硬链接以外,还有一种特殊情况。

        文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的"软链接"(soft link)或者"符号链接(symbolic link)。这意味着,文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:"No such file or directory"。这是软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode"链接数"不会因此发生变化。

ln -s命令可以创建软链接。

ln -s 源文文件或目录 目标文件或目录

六、inode的特殊作用

由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。

  1. 有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。

  2. 移动文件或重命名文件,只是改变文件名,不影响inode号码。

  3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。

第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。

 

www.ruanyifeng.com/blog/2011/12/inode.html

2016-05-23 14:16:31 Angela_success 阅读数 357
转自:http://www.ruanyifeng.com/blog/2011/12/inode.html
转自:http://blog.csdn.net/iefreer/article/details/6124761

如上写得不错,转载一下。

inode是一个重要概念,是理解Unix/Linux文件系统和硬盘储存的基础。

我觉得,理解inode,不仅有助于提高系统操作水平,还有助于体会Unix设计哲学,即如何把底层的复杂性抽象成一个简单概念,从而大大简化用户接口。

下面就是我的inode学习笔记,尽量保持简单。

===================================

理解inode

作者:阮一峰

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

一、inode是什么?

理解inode,要从文件储存说起。

文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。

操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个 sector组成一个 block。

文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。

每一个文件都有对应的inode,里面包含了与该文件有关的一些信息。

二、inode的内容

inode包含文件的元信息,具体来说有以下内容:

  * 文件的字节数

  * 文件拥有者的User ID

  * 文件的Group ID

  * 文件的读、写、执行权限

  * 文件的时间戳,共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间。

  * 链接数,即有多少文件名指向这个inode

  * 文件数据block的位置

可以用stat命令,查看某个文件的inode信息:

  stat example.txt

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

总之,除了文件名以外的所有文件信息,都存在inode之中。至于为什么没有文件名,下文会有详细解释。

三、inode的大小

inode也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。

每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小就会达到128MB,占整块硬盘的12.8%。

查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令。

  df -i

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

查看每个inode节点的大小,可以用如下命令:

  sudo dumpe2fs -h /dev/hda | grep "Inode size"

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

由于每个文件都必须有一个inode,因此有可能发生inode已经用光,但是硬盘还未存满的情况。这时,就无法在硬盘上创建新文件。

四、inode号码

每个inode都有一个号码,操作系统用inode号码来识别不同的文件。

这里值得重复一遍,Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。

表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。

使用ls -i命令,可以看到文件名对应的inode号码:

  ls -i example.txt

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

五、目录文件

Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。

目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:所包含文件的文件名,以及该文件名对应的inode号码。

ls命令只列出目录文件中的所有文件名:

  ls /etc

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

ls -i命令列出整个目录文件,即文件名和inode号码:

  ls -i /etc

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

如果要查看文件的详细信息,就必须根据inode号码,访问inode节点,读取信息。ls -l命令列出文件的详细信息。

  ls -l /etc

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

理解了上面这些知识,就能理解目录的权限。目录文件的读权限(r)和写权限(w),都是针对目录文件本身。由于目录文件内只有文件名和inode号码,所以如果只有读权限,只能获取文件名,无法获取其他信息,因为其他信息都储存在inode节点中,而读取inode节点内的信息需要目录文件的执行权限(x)。

六、硬链接

一般情况下,文件名和inode号码是"一一对应"关系,每个inode号码对应一个文件名。但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。

这意味着,可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是,删除一个文件名,不影响另一个文件名的访问。这种情况就被称为"硬链接"(hard link)。

ln命令可以创建硬链接:

  ln 源文件 目标文件

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

运行上面这条命令以后,源文件与目标文件的inode号码相同,都指向同一个inode。inode信息中有一项叫做"链接数",记录指向该inode的文件名总数,这时就会增加1。

反过来,删除一个文件名,就会使得inode节点中的"链接数"减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域。

这里顺便说一下目录文件的"链接数"。创建目录时,默认会生成两个目录项:"."和".."。前者的inode号码就是当前目录的inode号码,等同于当前目录的"硬链接";后者的inode号码就是当前目录的父目录的inode号码,等同于父目录的"硬链接"。所以,任何一个目录的"硬链接"总数,总是等于2加上它的子目录总数(含隐藏目录)。

七、软链接

除了硬链接以外,还有一种特殊情况。

文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的"软链接"(soft link)或者"符号链接(symbolic link)。

这意味着,文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:"No such file or directory"。这是软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode"链接数"不会因此发生变化。

ln -s命令可以创建软链接。

  ln -s 源文文件或目录 目标文件或目录

[20140330][理解linux 的 inode][解决inode耗尽问题][转载] - 2.5次元的某E - Everhythm的幻想乡

八、inode的特殊作用

由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。

  1. 有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。

  2. 移动文件或重命名文件,只是改变文件名,不影响inode号码。

  3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。

第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。



第2个链接给出了 inode耗尽如何进行处理:

网站后台上传文件一直没有问题,突然不能上传。且无错误提示。

查看磁盘空间使用情况:

[root@srv-jigocity-web1 iplocate]# df -m
Filesystem           1M-blocks      Used Available Use% Mounted on


/dev/mapper/datavg-www
6048      3594      2147  63% /var/www

 

网站目录已使用63%,还有很多没使用,因此不是磁盘空间的问题。

 

查看文件索引节点情况:

[root@srv-jigocity-web1 helpers]# df -i
Filesystem            Inodes   IUsed   IFree IUse% Mounted on

/dev/mapper/datavg-www
786432  786432   0   100% /var/www

 

已经没有空余inode可用,因此导致无法创建新的文件。

 

原因是大量的cache小文件导致。比如记录用户GEO信息的缓存文件随着用户访问量的增长将会持续快速增长耗尽索引节点资源。

因此在设计时应该尽量避免产生大量琐碎的小文件,大量很小的文件应该把内容放入数据库进行管理。并及时清理临时文件。




2017-10-23 15:37:57 bdss58 阅读数 458

缘起

周末接到告警,一个线上服务对机器磁盘占用率100%了。马不停蹄地登上线上机器df了一把,果然100%了。赶紧去服务对log目录下删了一批日志文件。然后又df一下确认…,怎么占用率还是100%?!明明刚刚删除了一些大文件,为什么df报告占用率还是满的?赶紧用du看了看各个目录占用情况,发现没有占用到100%啊。经过一番搜索,发现 那些大文件虽然被删除了,但是仍然被某进程打开,所以占用对磁盘空间并没有被释放
使用

lsof +L1
# 或者
lsof | grep deleted

找到删除但仍被进程打开的文件。命令输出的第二列是进程对pid,重启该pid就行了。
这时再df一下,一切正常了。

rm删除文件

通过上面对情景,我意识到,使用rm命令删除文件的时候并没有真正删除文件占用对空间。那么它干了些啥呢?
要回答这个问题,那就要解释一下Linux系统中文件名和文件链接了。
新建一个test.txt

echo "hello world" >> test.txt

ls查看一下

ls -l test.txt
-rw-rw-r-- 1 damon damon 13 Oct 23 14:35 test.txt

注意ls命令输出对第二列,数字1表示文件的链接个数。
下面,给文件新建一个链接,取名为test.txt1

ln test.txt test.txt1

这时再用ls命令查看一下

ls -l

-rw-rw-r-- 2 damon damon  13 Oct 23 14:35 test.txt
-rw-rw-r-- 2 damon damon  13 Oct 23 14:35 test.txt1

此时,文件已经有两个链接了,而文件名字test.txttest.txt1只是链接的名字而已。
顺便提一下软链接,软链接只是文件名的另外一个符号而已(alias)。用ln -s命令新建一个软链接。

ln -s test.txt1 test.txt2
ls -l 

-rw-rw-r-- 2 damon damon  13 Oct 23 14:35 test.txt
-rw-rw-r-- 2 damon damon  13 Oct 23 14:35 test.txt1
lrwxrwxrwx 1 damon damon   9 Oct 23 15:07 test.txt2 -> test.txt1

发现test.txt和test.txt1代表对文件对链接数还是2. 软链接不会增加文件的链接个数。而软链接test.txt2指向文件名test.txt1.
这里写图片描述

好了,做了这么多准备工作,终于可以rm一下做实验了。
先删除test.txt1

rm test.txt1

ls -al

-rw-rw-r-- 1 damon damon  13 Oct 23 14:35 test.txt
lrwxrwxrwx 1 damon damon   9 Oct 23 15:07 test.txt2 -> test.txt1

发现文件的链接个数只剩下1,既·test.txt.由于test.txt1这个链接被删除掉了,指向这个链接的软链接test.txt2也失效了。
总结,rm命令删除的只是文件的链接而已,没有删除磁盘上对应的文件。当一个文件的链接数为0,操作系统会认为该inode对应的磁盘空间被释放出来。

inode 和 文件描述符的关系

Linux里每个进程都有0,1,2三个标准文件描述符,分别对应着输入输出和错误输出。如果进程使用open系统调用打开一个文件tmp.txt,那么进程就会有一个新的文件描述符3,如果再打开其他文件,就会有4,5,6...这样的数字表示的文件描述符。
进程里的文件描述符和 inode 有什么关系呢?Linux内核是如何对应起来的呢?
这里写图片描述

Linux的inode的理解

阅读数 697

Linux inode相关知识

阅读数 255

没有更多推荐了,返回首页