精华内容
下载资源
问答
  • Windows系统常见文件系统格式

    千次阅读 2019-05-12 08:43:17
    FAT文件系统诞生于1977年,它最初是为软盘设计的文件系统,但是后来随着微软推出dos和win 9x系统,FAT文件系统经过适配被逐渐用到了硬盘上,并且在那时的20年中,一直是主流的文件系统。 后来随着硬件技术的进步...

    1、FAT,文件配置表(英语:File Allocation Table,首字母缩略字:FAT)

          FAT文件系统诞生于1977年,它最初是为软盘设计的文件系统,但是后来随着微软推出dos和win 9x系统,FAT文件系统经过适配被逐渐用到了硬盘上,并且在那时的20年中,一直是主流的文件系统。

           后来随着硬件技术的进步,硬盘的容量也越来越大,这种文件格式逐渐被扩展了,出现了FAT12,FAT16,FAT32等文件系统,甚至后来还出现了FAT64的文件系统。

           在今天,FAT已经不是windows系统的主流文件系统了,但是它在U盘,闪存,以及很多嵌入式设备上还是很常见的。

           最通用的的是FAT32,很多U盘上都是FAT32格式,有时候,我们向U盘拷贝大文件时,会发现拷不进去,实际上就是因为这个U盘是FAT32格式的,单个文件最大为4G

     

    2、NTFS(New Technology File System,新技术文件系统)

          NTFS是 WindowsNT 环境的文件系统。NTFS取代了老式的FAT文件系统,是一种比FAT32功能更加强大的文件系统。从Windows 2000之后的Windows系统的默认文件系统都是NTFS,而且这些Windows系统只能够安装在NTFS格式的磁盘上。

        NTFS系统是一个日志性的文件系统,系统中对文件的操作都可以被记录下来,当系统崩溃之后,利用日志功能可以修复数据。

     

    我们所熟悉的WindowsXP,win7,win8,win10,包括Windows Server都是WindowsNT系列的

     

    3. ExFAT(Extended File Allocation Table File System,扩展文件分配表)

          ExFAT又叫FAT64,看名字就知道它是对FAT文件系统的扩展。它微软专门为闪存盘设计的文件系统,单个文件突破了4G的限制。对于闪存,NTFS文件系统不适合使用,exFAT更为适用。对于磁盘则不太适用。

         ExFAT在windows,Linux以及Mac系统上,都可以读写,作为U盘或者是移动硬盘的格式还是比较合适的。


        FAT格式和FAT32没有考虑对安全性方面的更高需求,例如无法设置用户访问权限等。

        NTFS文件系统是windows操作系统中的一种安全的文件系统,管理员或用户可以设置每个文件夹的访问权限,从而限制一些用户和用户组的访问,以保障数据的安全。

    展开全文
  • 常见文件系统的格式

    万次阅读 2015-08-28 16:56:57
    文件系统(File System)是文件管理系统的简称,根据维基百科的描述,文件系统是用来组织数据在存储介质上的存储方式以及检索方式的。没有文件系统,信息在存储介质上会是一个很大的信息块

    写这篇博客的原因是,今天买了一块移动硬盘(NTFS格式的),然后发现,在Mac OS X下,硬盘里的文件是只读的,不能像里面写入数据,于是就整理了一下几种不同文件系统的区别。

    本文的大部分内容来源于维基百科,由笔者进行整理,由于知识水平有限,有些理解可能有偏差,具体以原文为准(文中已标记了出处),本文内容仅供参考

    文件系统的概念

    wikipedia文件系统

      文件系统(File System)是文件管理系统的简称,根据维基百科的描述,文件系统是用来组织数据在存储介质上的存储方式以及检索方式的。没有文件系统,信息在存储介质上会是一个很大的信息块,没法知道一条信息什么时候会结束,也没法知道信息在什么时候开始,对信息的管理就会十分的麻烦。

      文件系统的种类有很多,每一种文件系统的结构,逻辑,存取速度,灵活性,安全性,大小,等等都不一样。

      文件系统可以被使用在很多不同的存储设备(storage devices)上,这些存储设备使用不同的媒介(media),比如磁带,移动硬盘,闪存等,有时候,计算机的主存(RAM)甚至会创建一个临时的文件系统来临时使用。

      总之,文件系统的类别有很多,也很复杂,又想弄明白文件系统的原理,需要学习的东西有很多,这里只介绍一些平时在使用不同的操作系统时可能用到的一些知识,几种不同系统下的常见文件系统格式。

    常见文件系统的格式

    windows系统常见的文件系统

    1. FAT

      wikipedia FAT文件系统

        FAT(File Allocation Table)文件系统诞生于1977年,它最初是为软盘设计的文件系统,但是后来随着微软推出dos和win 9x系统,FAT文件系统经过适配被逐渐用到了硬盘上,并且在那时的20年中,一直是主流的文件系统。

        后来随着硬件技术的进步,硬盘的容量也越来越大,这种文件格式逐渐被扩展了,出现了FAT12,FAT16,FAT32等文件系统,甚至后来还出现了FAT64的文件系统。

        在今天,FAT已经不是windows系统的主流文件系统了,但是它在软盘,闪存(u盘),以及很多嵌入式设备上还是很常见的。

        详细的情况wikipedia上有几张表,相关信息都可查看到。
        目前最通用的的是FAT32,很多U盘上都是FAT32格式,关于FAT32文件系统,以下几点值得注意:

      • 单个文件最大为4G
      • 最大文件数量268,435,437
      • 分区最大容量8TB
      • 可在多种操作系统读写

      有时候,我们向U盘拷贝大文件时,会发现拷不进去,实际上就是因为这个U盘是FAT32格式的。

    2. NTFS

        NTFS全称是New Technology File System,它是一种比FAT32功能更加强大的文件系统。
        从windows 2000之后的windows系统的默认文件系统都是NTFS,而且这些windows系统只能够安装在NTFS格式的磁盘上。
      NTFS具有以下特点:

      • 理论上最大文件尺寸可达16EB-1KB,实际上有16TB-64KB(1EB = 1024PB 1PB = 1024TB,至于理论和实际为什么差这么多,没有进行过深入研究,有可能是现在的科技还不足以制造出这么大的磁盘的)
      • 最大文件数量可达232-1个
      • 操作系统支持大部分windows系统,Unix/Linux系统,Mac OS(在Mac OS 10.4+系统上,NTFS格式是只读的,即在Mac系统下,你只能从NTFS格式的磁盘上读取数据,而不能写入数据)
      • NTFS系统是一个日志性的文件系统,系统中对文件的操作都可以被记录下来,当系统崩溃之后,利用日志功能可以修复数据

      由于在Mac系统下,ntfs是只读的,所以要想在Mac下想ntfs格式的硬盘写入数据,要装一个插件Paragon NTFS,但据说不是太稳定。
    3. ExtFAT

       ExFAT(Extended File Allocation Table)又叫FAT64,看名字就知道它是对FAT文件系统的扩展。
      E下FAT是虽然也是微软开发的文件系统,但说它是windows下的文件系统并不合适,它是专门为闪存盘设计的文件系统,单个文件突破了4G的限制,而且分区的最大容量可达64ZB(比EB大一级的),建议512TB。
      ExFAT在windows,Linux以及Mac系统上,都可以读写,作为U盘或者是移动硬盘的格式还是比较合适的。

    Mac OS系统常见的文件系统

    1. HFS/HFS+
        HFS全称叫分层文件系统(Hierarchical File System,HFS),诞生于1985年,最初被设计用于软盘和硬盘,同时也可以在在只读媒体如CD-ROM上见到。
        HFS+是一个HFS的改进版本,支持更大的文件,并用Unicode来命名文件或文件夹,代替了Mac OS Roman或其他一些字符集。
        HFS+的最大文件尺寸可以达到8EB,文件数量可以达到232 - 1个。
         由于这两种文件格式是苹果专有的文件系统,所以在windows系统下,是看不到HFS分区的。

    Linux系统常见的文件系统

       这几种文件系统wikipedia上资料也不多,所以就直接拷过来了。

    1. Ext2
        wikipedia英文:https://en.wikipedia.org/wiki/Ext2
        wikipedia中文:https://zh.wikipedia.org/wiki/Ext2

        第二代扩展文件系统(英语:second extended filesystem,缩写为 ext2),是LINUX内核所用的文件系统。它开始由RémyCard设计,用以代替ext,于1993年1月加入linux核心支持之中。ext2的经典实现为LINUX内核中的ext2fs文件系统驱动,最大可支持2TB的文件系统,至linux核心2.6版时,扩展到可支持32TB。其他的实现包括GNU Hurd,Mac OS X (第3方),Darwin(第3方),BSD。
        ext2为数个LINUX发行版的默认文件系统,如Debian、Red Hat > Linux等。

    2. Ext3
        wikipedia英文:https://en.wikipedia.org/wiki/Ext3
        wikipedia中文:https://zh.wikipedia.org/wiki/Ext3

        第三代扩展文件系统(英语:Third extended filesystem,缩写为ext3),是一个日志文件系统,常用于Linux操作系统。它是很多Linux发行版的默认文件系统。Stephen Tweedie在1999年2月的内核邮件列表[2]中,最早显示了他使用扩展的ext2,该文件系统从2.4.15版本的内核开始,合并到内核主线中[3]。
        它的性能(速度)不如它的竞争对手,例如JFS2,ReiserFS和XFS,但它具有重要的优势,那就是它允许在适当的时候从流行的ext2文件系统升级,而无需备份和恢复数据;除此之外,它还具有比ReiserFS和XFS更低的的CPU使用率。
        尽管Ext3相对于Ext2有了不少的优势,但是它还是有一些劣势:
      (1)ext3会在删除文件时把文件的节点(inode)中的块指标清除。这样做可以在unclean载入文件系统后,重放日志时,可以减少对文件系统的访问。但也同样也增加了文件在反删除上面的困难。用户唯一的补救是在硬盘中捞取数据,并且要知道文件的起始到结束的块指标。尽管提供了比 ext2在删除文件上稍微高一些的安全性,却也无可避免的带来了不便之处。
      (2)Ext3不支持透明压缩(Ext2以非官方补丁支持)。
      (3)大小限制,见下表。

      块尺寸 最大文件尺寸 最大文件系统尺寸
      1KB 16GB 2TB
      2KB 256GB 8TB
      4KB 2GB 16TB
      8KB 16GB 32TB

      (4)Ext3在写入日志时,并不做校验和。如果barrier=1没有作为加载参数(在文件/etc/fstab),并且如果硬件在无次序的写入缓存,在崩溃时会严重损坏文件系统(该选项在大多数流行的Linux发行版中都没有被启用,所以大多数发行版的处境都很危险。)

    3 . Ext4
      wikipedia英文:https://en.wikipedia.org/wiki/Ext4
      wikipedia中文:https://zh.wikipedia.org/wiki/Ext4
    Ext4具有以下特点

    • 大型文件系统
        ext4文件系统可支持最高1 Exbibyte的分区[6]与最大16 Tebibyte的文件。
    • Extents
        ext4引进了Extent文件存储方式,以替换ext2/3使用的block mapping方式。Extent指的是一连串的连续实体block,这种方式可以增加大型文件的效率并减少分裂文件。ext4支持的单一Extent,在单一block为4KB的系统中最高可达128MB[1]。单一inode中可存储4笔Extent;超过四笔的Extent会以Htree方式被索引。
    • 向下兼容
        ext4向下兼容于ext3与ext2,因此可以将ext3和ext2的文件系统挂载为ext4分区。由于某些ext4的新功能可以直接运用在ext3和ext2上,直接挂载即可提升少许性能。
      ext3文件系统可以部分向上兼容于ext4(也就是说ext4文件系统可以被挂载为ext3分区)。然而若是使用到Extent技术的ext4将无法被挂载为ext3。
    • 预留空间
        ext4允许对一文件预先保留磁盘空间。目前大多数文件系统做到这点的方式是直接产生一个填满0的文件;ext4和XFS可以使用Linux核心中的一个新的系统调用“fallocate()”获取足够的预留空间。
    • 延迟获取空间
        ext4使用一种称为allocate-on-flush的方式,可以在数据将被写入磁盘(sync)前才开始获取空间;大多数文件系统会在之前便获取需要的空间。这种方式可以增加性能并减少文件分散程度。
    • 突破32000子目录限制
        ext3的一个目录下最多只能有32000个子目录。ext4的子目录最高可达64000,且使用“dir_nlink”功能后可以达到更高(虽然父目录的link count会停止增加)。为了避免性能受到大量目录的影响,ext4默认打开Htree(一种特殊的B树)索引功能。该功能已经实现于Linux核心2.6.23版。
    • 日志校验和
        Ext4使用校验和特性来提高文件系统可靠性,因为日志是磁盘上被读取最频繁的部分之一。这个特性还有一个好处就是可以安全地避免日志处理时磁盘I/O的等待,而稍微提高一些性能。日志校验和的技术源于威斯康辛大学的一篇名为IRON File Systems的研究论文(见第六节 transaction checksums校验和处理)[7]
    • 在线磁盘整理
        对于在线磁盘整理工具有许多草案,但是这些草案都没有被包含在主流的内核当中。即使Ext4包含有许多避免磁盘碎片的技术,但是磁盘碎片还是难免会在一个长时间使用过的文件系统中存在。Ext4将会有一个具有磁盘整理功能的工具[8]。
    • 快速文件系统检查
        Ext4将未使用的区块标记在inode当中,这样可以使诸如e2fsck之类的工具在磁盘检查时将这些区块完全跳过,而节约大量的文件系统检查的时间。这个特性已经在2.6.24版本的Linux内核中实现。

    展开全文
  • windows下三种常见文件系统

    千次阅读 2017-11-15 16:46:00
    windows下常见种文件系统格式,FAT 、FAT32和NTFS,简单说明一下它们的区别. 一:FAT与FAT32 基于MS-DOS,Win 95等系统都采用了FAT16文件系统。在Win 9X下,FAT16支持的分区最大为2GB。计算机将信息保存在硬盘...

    windows下常见的有三种文件系统格式,FAT 、FAT32和NTFS,简单说明一下它们的区别.

    一:FAT与FAT32

    基于MS-DOS,Win 95等系统都采用了FAT16文件系统。在Win 9X下,FAT16支持的分区最大为2GB。计算机将信息保存在硬盘上称为“簇”的区域内。使用的簇越小,保存信息的效率就越高。在FAT16的情况下,分区越大簇就相应的要增大,存储效率就越低。随着计算机硬件和应用的不断提高,FAT16文件系统已不能很好地适应系统的要求。在这种情况下,推出了增强的文件系统FAT32。同FAT16相比,FAT32主要具有以下特点:


    1. 同FAT16相比FAT32最大的优点是可以支持的磁盘大小达到2TB(2047GB),但是不能支持小于512MB的分区。基于FAT32的Win 2000可以支持分区最大为32GB;而基于 FAT16的Win 2000支持的分区最大为4GB。


    2. 由于采用了更小的簇,FAT32文件系统可以更有效率地保存信息。如两个分区大小都为2GB,一个分区采用了FAT16文件系统,另一个分区采用了FAT32文件系统。采用FAT16的分区的簇大小为32KB,而FAT32分区的簇只有4KB的大小。这样FAT32就比FAT16的存储效率要高很多,通常情况下可以提高15%。


    3. FAT32文件系统可以重新定位根目录和使用FAT的备份副本。另外FAT32分区的启动记录被包含在一个含有关键数据的结构中,减少了计算机系统崩溃的可能性.

    二:NTFS文件系统

    1. NTFS 支持文件加密和分别管理功能(也就是著名的EFS加密格式),可为用户提供更高层次的安全保证。

    2. NTFS 具有更好的磁盘压缩性能,可进一步满足小硬盘用户的需要(读取会慢一些)。

    3. NTFS 最大支持高达 2TB (1TB=1024GB)的大硬盘,而且它的性能不会随着磁盘容量的增大而降低。

    NTFS 格式具有许多独特的优点,不过,它也有一个缺点,那就是该磁盘文件格式不能被除它自己之外的其他操作系统所识别(NT 4.0也不例外),这就对数据交流造成了一定的影响,也就不支持DOS操作系统。

    三、只使用 Windows 2000 的用户应首选使用 NTFS 格式,要是同时使用 Windows 2000 和其他操作系统,则应谨慎从事。最好将磁盘划分为多个不同的磁盘分区,将 Windows 2000 安装到其中的一个磁盘分区并选择使用 NTFS 格式;将其他操作系统安装到另外的磁盘分区中并使用 FAT 或 FAT32 格式。


    NTFS文件系统是一个基于安全性的文件系统,是Windows NT内核系统所采用的独特的文件系统结构,它是建立在保护文件和目录数据基础上,同时照顾节省存储资源、减少磁盘占用量的一种先进的文件系统。使用非常广泛的Windows NT 4.0采用的就是NTFS 4.0文件系统,Win 2000采用了更新版本的NTFS文件系统NTFS 5.0。


    1. NTFS可以支持的分区(如果采用动态磁盘则称为卷)大小可以达到2TB。而Win 2000中的FAT32支持分区的大小最大为32GB。


    2. NTFS是一个可恢复的文件系统。在NTFS分区上用户很少需要运行磁盘修复程序。NTFS通过使用标准的事物处理日志和恢复技术来保证分区的一致性。发生系统失败事件时,NTFS使用日志文件和检查点信息自动恢复文件系统的一致性。


    3. NTFS支持对分区、文件夹和文件的压缩。任何基于Windows的应用程序对NTFS分区上的压缩文件进行读写时不需要事先由其他程序进行解压缩,当对文件进行读取时,文件将自动进行解压缩;文件关闭或保存时会自动对文件进行压缩。


    4. NTFS采用了更小的簇,可以更有效率地管理磁盘空间。在Win 2000的FAT32文件系统的情况下,分区大小在2GB~8GB时簇的大小为4KB;分区大小在8GB~16GB时簇的大小为8KB;分区大小在16GB~32GB时,簇的大小则达到了16KB。而Win 2000的NTFS文件系统,当分区的大小在2GB以下时,簇的大小都比相应的FAT32簇小;当分区的大小在2GB以上时(2GB~2TB),簇的大小都为4KB。相比之下,NTFS可以比FAT32更有效地管理磁盘空间,最大限度地避免了磁盘空间的浪费。


    5. 在NTFS分区上,可以为共享资源、文件夹以及文件设置访问许可权限。许可的设置包括两方面的内容:一是允许哪些组或用户对文件夹、文件和共享资源进行访问;二是获得访问许可的组或用户可以进行什么级别的访问。访问许可权限的设置不但适用于本地计算机的用户,同样也应用于通过网络的共享文件夹对文件进行访问的网络用户。与FAT32文件系统下对文件夹或文件进行访问相比,安全性要高得多。另外,在采用NTFS格式的Win 2000中,应用审核策略可以对文件夹、文件以及活动目录对象进行审核,审核结果记录在安全日志中,通过安全日志就可以查看哪些组或用户对文件夹、文件或活动目录对象进行了什么级别的操作,从而发现系统可能面临的非法访问,通过采取相应的措施,将这种安全隐患减到最低。这些在FAT32文件系统下,是不能实现的。


    6. 在Win 2000的NTFS文件系统下可以进行磁盘配额管理。磁盘配额就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。设置磁盘配额后,可以对每一个用户的磁盘使用情况进行跟踪和控制,通过监测可以标识出超过配额报警阈值和配额限制的用户,从而采取相应的措施。磁盘配额管理功能的提供,使得管理员可以方便合理地为用户分配存储资源,避免由于磁盘空间使用的失控可能造成的系统崩溃,提高了系统的安全性。


    7. NTFS使用一个“变更”日志来跟踪记录文件所发生的变更













    本文转自lzf0530377451CTO博客,原文链接: http://blog.51cto.com/8757576/1630067,如需转载请自行联系原作者




    展开全文
  • 常见的分布式文件系统介绍

    千次阅读 2018-10-08 10:34:53
    常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。 Google学术论文,这是众多...

    常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。


    Google学术论文,这是众多分布式文件系统的起源
    Google File System(大规模分散文件系统)
    MapReduce (大规模分散FrameWork)
    BigTable(大规模分散数据库)
    Chubby(分散锁服务)
    一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。


    GFS(Google File System)
    Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。
    下面分布式文件系统都是类 GFS的产品。


    HDFS
    Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,

    后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。


    Ceph
    是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
    说 ceph 性能最高,C++编写的代码,支持Fuse,并且没有单点故障依赖, 于是下载安装, 由于 ceph 使用 btrfs 文件系统, 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
    可是ceph太不成熟了,它基于的btrfs本身就不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中。


    Lustre
    Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。
    该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。
    目前Lustre已经运用在一些领域,例如HP SFS产品等。
    适合存储小文件、图片的分布文件系统研究

    ------------------------------------------------------------------------------

    目前Lustre已经运用在一些领域,例如HP SFS产品等。
      集群存储简介:
      在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一
    的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。
      集群存储系统需要解决的最基本的问题:
    (1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡;
    (2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求
      与分布式文件系统相比:
      数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多;
      集群可以为文件和文件系统提供更多的空间;
      因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实;
      用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。
    ------------------------------------------------------------------------------
    用于图片等小文件大规模存储的分布式文件系统调研
    架构高性能海量图片服务器的技术要素
    nginx性能改进一例(图片全部存入google的leveldb)
    FastDFS分布文件系统
    TFS(Taobao File System)安装方法
    动态生成图片 Nginx + GraphicsMagick 


    MogileFS
    由memcahed的开发公司danga一款perl开发的产品,目前国内使用mogielFS的有图片托管网站yupoo等。
    MogileFS是一套高效的文件自动备份组件,由Six Apart开发,广泛应用在包括LiveJournal等web2.0站点上。
    MogileFS由3个部分组成:
      第1个部分是server端,包括mogilefsd和mogstored两个程序。前者即是 mogilefsd的tracker,它将一些全局信息保存在数据库里,例如站点domain,class,host等。后者即是存储节点(store node),它其实是个HTTP Daemon,默认侦听在7500端口,接受客户端的文件备份请求。在安装完后,要运行mogadm工具将所有的store node注册到mogilefsd的数据库里,mogilefsd会对这些节点进行管理和监控。
      第2个部分是utils(工具集),主要是MogileFS的一些管理工具,例如mogadm等。
      第3个部分是客户端API,目前只有Perl API(MogileFS.pm)、PHP,用这个模块可以编写客户端程序,实现文件的备份管理功能。


    mooseFS
    持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多
    MooseFS与MogileFS的性能测试对比 


    FastDFS
    是一款类似Google FS的开源分布式文件系统,是纯C语言开发的。
    FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
    官方论坛 
    FastDfs google Code 
    分布式文件系统FastDFS架构剖析 


    TFS
    TFS(Taobao !FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器 集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化 了文件的访问流程,一定程度上为TFS提供了良好的读写性能。


    GridFS文件系统
    MongoDB是一种知名的NoSql数据库,GridFS是MongoDB的一个内置功能,它提供一组文件操作的API以利用MongoDB存储文件,GridFS的基本原理是将文件保存在两个Collection中,一个保存文件索引,一个保存文件内容,文件内容按一定大小分成若干块,每一块存在一个Document中,这种方法不仅提供了文件存储,还提供了对文件相关的一些附加属性(比如MD5值,文件名等等)的存储。

    展开全文
  • SpringMVC实现文件下载的两种方法

    万次阅读 多人点赞 2016-12-06 16:50:33
    这种方法很多局限性,其中一个很明显的局限性就是不易统计下次状态,还有就是需要http服务器来保存文件,不可访问服务器本机文件系统的文件,综上所述,我们需要一易于统计并可下载本地文件系统中文件的方法:那...
  • 导读: ... 大家可以关注我个人公众号,所有分享内容,会在公众号第一时间推送,且阅读排版更好。 愿大家的学习,轻松且愉快。 如果大家觉得有用,希望...其中,我们提到:如果其他外部公司要与自己企业内部的系统有...
  • 台Linux系统之间传输文件的几方法

    万次阅读 多人点赞 2016-06-14 17:11:23
    scp传输当台LINUX主机之间要互传文件时可使用SCP命令来实现scp传输速度较慢,但使用ssh通道保证了传输的安全性复制文件 将本地文件拷贝到远程 scp 文件名 –用户名@计算机IP或者计算机名称:远程路径 从远程将文件拷...
  • linux系统文件的几类型

    千次阅读 2015-04-19 21:01:34
    Linux文件类型常见:普通文件、目录、字符设备文件、块设备文件、符号链接文件等,如果想了解这方面知识的弟兄,就进来了解了解。 Linux系统不同于window系统,两者文件类型也很大的差异...
  • Linux文件系统详解

    万次阅读 多人点赞 2019-05-29 16:07:53
    从操作系统的角度详解Linux文件系统层次、文件系统分类、文件系统的存储结构、不同存储介质的区别(RAM、ROM、Flash)、存储节点inode。本文参考: http://blog.chinaunix.net/uid-8698570-id-1763151.html ...
  • Spring Boot的两种配置文件

    万次阅读 2019-05-28 22:08:56
    在Spring Boot中,配置文件有两种不同的格式,一个是properties,另一个是yaml。properties文件比较常见相对于properties而言,yaml更加简洁明了,而且使用的场景也更多,很多的开源项目都是使用ya...
  • 嵌入式文件系统详解

    千次阅读 2018-04-26 21:41:27
    在嵌入式领域,FLASH是一种常用的存储设备,Flash闪存作为嵌入式系统的主要存储设备其自身的特性。Fash的写入操作只能把对应位置的1修改成0,而不能...闪存主要NOR和NAND两种技术。因为Flash存储器的擦写次数是...
  • Macbook系统清理的两种方式

    万次阅读 2016-04-25 15:29:59
    你在使用mac系统吗?很多的用户朋友都以为mac系统是不需要清理的,其实不是这样的。虽然其自动清理功能,还是会一些垃圾残留的。Macbook系统清理有两种常见的方式:手动清理和使用第三方软件。
  • linux 的几种文件系统

    千次阅读 2011-05-07 17:30:00
    在Linux系统中,每个分区都是一个文件系统,都自己的目录层次结构。Linux的最重要特征之一就是支持多种文件系统,这样它更加灵活,并可以和许多其它操作系统共存。Virtual File System(虚拟文件系统)使得Linux...
  • 常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。Google学术论文,这是众多...
  • 文件系统

    万次阅读 2018-09-05 09:17:21
    在工程架构领域里,存储是一个非常重要的方向,这个方向从底至上,我分成了如下几个... 单机引擎层:常见存储系统对应单机引擎原理大概介绍,利用文件系统接口提供更高级别的存储系统接口; 分布式层:如何将多个...
  • 种常见的嵌入式操作系统

    万次阅读 2018-10-09 14:21:29
    同标准的Linux相比,μClinux的内核非常小,但是它仍然继承了Linux操作系统的主要特性,包括良好的稳定性和移植性、强大的网络功能、出色的文件系统支持、标准丰富的API,以及TCP/IP网络协议等。因为没有MMU内存...
  • 种常见系统架构 —— 进阶篇

    千次阅读 2020-06-04 15:58:51
    种常见系统架构 —— 进阶篇 常见的几种系统架构设计,接下来讲后面三个: 1、单库单应用架构:最简单的,可能大家都见过 2、内容分发架构:目前用的比较多 3、读写分离架构:对于大并发的查询、业务 4、微服务...
  • 再用最通俗的说法简要介绍一下,磁盘如sd卡只能存放0和1这两种二进制状态序列,数字文件本质上也是一串0和1的序列。那么磁盘存储文件怎么存放呢?你说这个简单,把一个个的文件紧挨着排列在磁盘中不就可以了吗。那么...
  • 常见的操作系统有哪些?

    千次阅读 2019-12-26 19:33:42
    一、常见的操作系统有哪些? 1、Windows操作系统 应用比较广泛。 2、Linux操作系统 免费使用,类UNIX 3、Unix操作系统 无界面,使用命令操作,一般安装在服务器上面。 4、Mac操作系统 苹果公司开发的,一般...
  • linux系统下创建文件系统

    万次阅读 2018-06-16 23:51:04
    任何硬盘和u盘等存储介质都需要建立文件系统之后,才能使用。我们u盘和硬盘之所以跟买的容量不一样...文件系统有很多,不能的文件系统适合不同的用处。常见FAT16、FAT32、NTFS、Ext2、Ext3。下面讲的是Ext文件...
  • Linux文件系统目录结构详解

    万次阅读 2017-10-08 13:09:34
    对于每一个Linux学习者来说,了解Linux文件系统的目录结构,是学好Linux的至关重要的一步.,深入了解linux文件目录结构的标准和每个目录的详细功能,对于我们用好linux系统只管重要,下面我们就开始了解一下linux...
  • 肯定会遇到各种系统格式,比如常见的ISO和GHO格式,但最近win官方发的系统镜像采用了WIM和ESD等格式,这些格式相对iso来说压缩率更高,可以节约更多的空间,所以今天就教大家怎么安装WIM 和 ESD两种系统镜像。...
  • 常见文件系统格式:autofs、coda、Ext(Extended File sytem,扩展文件系统)、Ext2、Ext3、VFAT、ISO9660(通常是CD-ROM)、UFS(Unix File System,Unix文件系统)、FAT(File Allocation Table,文
  • 首先介绍点背景知识,关于inittab的:init进程是系统中所有进程的父进程,init进程繁衍出完成通常操作所需的子进程,这些操作包括:设置机器名、检查和安装磁盘及文件系统、启动系统日志、配置网络接口并启动网络和...
  • 一口气搞懂「文件系统」,就靠这 25 张图了

    万次阅读 多人点赞 2020-08-13 21:48:43
    文件系统的基本数据单位是文件,它的目的是对磁盘上的文件进行组织管理,那组织的方式不同,就会形成不同的文件系统。 Linux 最经典的一句话是:「一切皆文件」,不仅普通的文件和目录,就连块设备、管道、socket 等...
  • FAT32文件系统结构详解

    万次阅读 多人点赞 2018-04-13 15:38:58
    1. SD卡中FAT32文件系统快速入门 1.1. 理论知识 1.1.1. MBR(Main Boot Record) 主引导记录,占446字节, 为计算机启动后从可启动介质上首先装入内存并且执行的代码,通常用来解释分区结构 1.1.2. DBR(DOS Boot ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 585,415
精华内容 234,166
关键字:

常见文件系统有哪两种