精华内容
下载资源
问答
  • 在磁盘上新建一个顺序文件
    千次阅读
    2020-12-05 10:52:58

    Python 练习实例99

    题目:有两个磁盘文件A和B,各存放一行字母,要求把这两个文件中的信息合并(按字母顺序排列), 输出到一个新文件C中。

    程序分析:无。

    程序源代码:#!/usr/bin/python

    # -*- coding: UTF-8 -*-

    if __name__ == '__main__':

    import string

    fp = open('test1.txt')

    a = fp.read()

    fp.close()

    fp = open('test2.txt')

    b = fp.read()

    fp.close()

    fp = open('test3.txt','w')

    l = list(a + b)

    l.sort()

    s = ''

    s = s.join(l)

    fp.write(s)

    fp.close()

    运行以上程序前,你需要在脚本执行的目录下创建 test1.txt、test2.txt 文件。

    以上程序执行成功后,打开 test3.txt 文件可以看到内容如下所示:123456

    更多相关内容
  • 有两个磁盘文件A和B,各存放行字母,要求把这两个文件中的信息合并(按字母顺序排列), 输出到一个文件C中Python实例题目:有两个磁盘文件A和B,各存放行字母,要求把这两个文件中的信息合并(按字母顺序排列), 输出...

    有两个磁盘文件A和B,各存放一行字母,要求把这两个文件中的信息合并(按字母顺序排列), 输出到一个新文件C中Python实例

    题目:有两个磁盘文件A和B,各存放一行字母,要求把这两个文件中的信息合并(按字母顺序排列), 输出到一个新文件C中。

    程序分析:无。

    程序源代码:

    #!/usr/bin/python

    # -*- coding: UTF-8 -*-

    if __name__ == '__main__':

    import string

    fp = open('test1.txt')

    a = fp.read()

    fp.close()

    fp = open('test2.txt')

    b = fp.read()

    fp.close()

    fp = open('test3.txt','w')

    l = list(a + b)

    l.sort()

    s = ''

    s = s.join(l)

    fp.write(s)

    fp.close()

    运行以上程序前,你需要在脚本执行的目录下创建 test1.txt、test2.txt 文件。

    以上程序执行成功后,打开 test3.txt 文件可以看到内容如下所示:

    123456

    展开全文
  • 标识符:一个系统内的各文件标识符唯一,对用户来说亳无可读性,因此标识符只是操作系统用于区分各个文件种内部名称。 类型:指明文件的类型位置:文件存放的路径(让用户使用)、在外存中的地址(操作系统使用...

    文件系统层次接口各组成部分,分别对应本节的大标题

    文件管理

    在这里插入图片描述

    文件属性

    • 文件名:由创建文件的用户决定文件名,主要是为了方便用户找到文件,同一目录下不允许有重名文件。
    • 标识符:一个系统内的各文件标识符唯一,对用户来说亳无可读性,因此标识符只是操作系统用于区分各个文件的一种内部名称。
    • 类型:指明文件的类型位置:文件存放的路径(让用户使用)、在外存中的地址(操作系统使用,对用户不可见)
    • 大小:指明文件大小
    • 创建时间、上次修改时间
    • 文件所有者信息
    • 保护信息:对文件进行保护的访问控制信息

    文件组织

    文件内部组织方式

    在这里插入图片描述

    文件之间组织方式

    在这里插入图片描述

    操作系统向上提供的功能

    • 创建文件( create系统调用)
    • 删除文件( delete系统调用)
    • 读文件(read系统调用)
    • 写文件( write系统调用)
    • 打开文件(open系统调用
    • 关闭文件( close系统调用)

    文件在外存的存储

    类似于内存分为一个个“内存块”,外存会分为一个个“块磁盘块/物理块”。每个磁盘块的大小是相等的,每块一般包含2的整数幂个地址。同样类似的是,文件的逻辑地址也可以分为(逻辑块号,块内地址),操作系统同样需要将逻辑地址转换为外存的物理地址(物理块号,块内地址)的形式。块内地址的位数取决于磁盘块的大小

    操作系统以“块”为单位为文件分配存储空间,因此即使一个文件大小只有10B,但它依然需要占用1KB的磁盘块。外存中的数据读入内存时同样以块为单位

    在这里插入图片描述

    文件逻辑结构

    “逻辑结构”,就是指在用户看来,文件内部的数据应该是如何组织起来的
    “物理结构”,指的是在操作系统看来,文件的数据是如何存放在外存中的

    按文件是杏有结构分类,可以分为无结构文件、有结构文件两种。

    • 无结构文件:文件内部的数据就是一系列二进制流或字符流组成。又称“流式文件”。如Windows操作系统中的txt文件。
    • 有结构文件:由一组相似的记录组成,又称“记录式文件”。每条记录又若干个数据项组成。如:数据库表文件。一般来说,每条记录有一个数据项可作为关键字(作为识别不同记录的D)根据各条记录的长度(占用的存储空间)是否相等,又可分为定长记录(char)和可变长记录(varchar)两种。

    有结构文件

    顺序文件

    顺序文件:文件中的记录一个接一个地顺序排列(逻辑上),记录可以是定长的或可变长的。各个记录在物理上可以顺序存储或链式存储

    在这里插入图片描述

    对于可变长记录文件,要找到第i个记录,必须先顺序第查找前ⅰ-1个记录,但是很多应用场景中又必须使用可变长记录。如何解决这个问题?

    索引文件

    索引表本身是定长记录的顺序文件。因此可以快速找到第ⅰ个记录对应的索引项可将关键字作为索引号内容,若按关键字顺序排列,则还可以支持按照关键字折半查找

    每当要增加/删除一个记录时,需要对索引表进行修改。由于索引文件有很快的检索速度,因此主要用于对信息处理的及时性要求比较高的场合。

    在这里插入图片描述

    索引顺序文件

    思考索引文件的缺点:每个记录对应一个索引表项,因此索引表可能会很大。
    比如:文件的每个记录平均只占8B,而每个索引表项占32个字节,那么索引表都要比文件内容本身大4倍,这样对存储空间的利用率就太低了

    索引顺序文件是索引文件和顺序文件思想的结合。索引顺序文件中,同样会为文件建立张索引表,但不同的是:并不是每个记录对应一个索引表项,而是一组记录对应一个索引表项。
    在这里插入图片描述
    为了进一步提高检索效率,可以为顺序文件建立多级索引表。例如,对于一个含106个记录的文件,可先为该文件建立一张低级索引表,每100个记录为一组,故低级索引表中共有10000个表项(即10000个定长记录),再把这10000个定长记录分组,每组100个,为其建立顶级索引表,故顶级索引表中共有100个表项。

    在这里插入图片描述

    文件目录

    在这里插入图片描述

    文件控制块

    目录本身就是一种有结构文件,由条条记录组成。每条记录对应一个在该放在该目录下的文件

    FCB的有序集合称为“文件目录”,一个FCB就是一个文件目录项。

    FCB中包含了文件的基本信息(文件名、物理地址、逻辑结构、物理结构等),存取控制信息(是否可读/可写、禁止访问的用户名单等),使用信息(如文件的建立时间、修改时间等)。

    FCB实现了文件名和文件之间的映射。使用户(用户程序)可以实现“按名存取”。最重要,最基本的还是文件名、文件存放的物理地址。

    目录操作

    • 搜索:当用户要使用一个文件时,系统要根据文件名搜索目录,找到该文件对应的目录项
    • 创建文件:创建一个新文件时,需要在其所属的目录中增加一个目录项
    • 删除文件:当删除一个文件时,需要在目录中删除相应的目录项
    • 显示目录:用户可以请求显示目录的内容,如显示该目录中的所有文件及相应属性
    • 修改目录:某些文件属性保存在目录中,因此这些属性变化时需要修改相应的目录项(如:文件重命名)

    目录结构

    单级目录结构

    早期操作系统并不支持多级目录,整个系统中只建立一张目录表,每个文件占一个目录项

    单级目录实现了“按名存取”,但是不允许文件重名。
    在创建一个文件时,需要先检查目录表中有没有重名文件,确定不重名后才能允许建立文件,并将新文件对应的目录项插入目录表中。

    不适用于多用户OS

    两级目录结构

    早期的多用户操作系统,采用两级目录结构。分为主文件目录(MFD, Master File Directory)和用户文件目录(UFD, User Flie Directory)

    在这里插入图片描述

    多级(树形)目录结构

    系统根据绝对路径一层一层地找到下一级目录。刚开始从外存读入根目录的目录表;找到“照片”目录的最后才找到文件“自拍jpg”的存放位置。整个过程需要3次读磁盘IO操作。

    用户(或用户进程)要访问某个文件时要用文件路径名标识文件,文件路径名是个字符串。各级目录之间用“/”隔开。从根目录岀发的路径称为绝对路径。

    例如:自拍.jpg的绝对路径是“/照片/2015·08/自拍jpg每次都从根目录开始査找,是很低效的。因此可以设置一个“当前目录”。在 Linux中,“.”表示当前目录。

    树形目录结构可以很方便地对文件进行分类,层次结构清晰,也能够更有效地进行文件的管理和保护。但是,树形结构不便于实现文件的共享。为此,提出了“无环图目录结构”(软连接和硬链接)。

    无环图目录结构

    在树形目录结构的基础上,可以用不同的文件名指向同一个文件,甚至可以指向同一个目录(共享同一目录下的所有内容)。

    需要为每个共享结点设置一个共享计数器,用于记录此时有多少个地方在共享该结点。用户提出删除结点的请求时,只是删除该用户的FCB、并使共享计数器减1,并不会直接删除共享结点。

    只有共享计数器减为0时,才删除结点。

    注意:共享文件不同于复制文件。在共享文件中,由于各用户指向的是同一个文件,因此只要其中一个用户修改了文件数据,那么所有用户都可以看到文件数据的变化

    索引节点(改进FCB)

    实际上就是linux的inode和文件名的关系
    在这里插入图片描述
    当找到文件名对应的目录项时,才需槊将索引结点调入内存,索引结点中记录了文件的各种信息,包括文件在外存中的存放位置,根据“存放位置”即可找到文件。

    存放在外存中的索引结点称为“磁盘索引结点”,当索引结点放入内存后称为“内存索引结点”。
    相比之下内存索引结点中需要增加一些信息,比如:文件是否被修改、此时有几个进程正在访问该文件等

    可以据此实现一个模拟操作系统

    在这里插入图片描述

    文件的物理结构(非空闲磁盘块的管理)

    文件块和磁盘块

    在内存管理中,进程的逻辑地址空间被分为一个一个页面同样的,在外存管理中,为了方便对文件数据的管理,文件的逻辑地址空间也被分为了一个一个的文件“块”。

    于是文件的逻辑地址也可以表示为(逻辑块号,块内地址)的形式。

    操作系统为文件分配存储空间都是以块为单位的
    用户通过逻辑地址来操作自己的文件,操作系统要负责实现从逻地址到物理地址的映射

    在这里插入图片描述

    将文件逻辑块映射为物理块

    连续分配

    连续分配方式要求每个文件在磁盘上占有一组连续的块

    找到该文件对应的目录项(ECB)多用户给出要访问的逻辑块号,操作物理块号≡起始块号+逻辑块号当然,还需要检查用户提供的逻辑块号是否合法(逻辑块号≥长度就不合法)

    可以直接算出逻辑块号对应的物理块号,因此连续分配支持顺序访问和直接访问(即随机访问

    在这里插入图片描述
    读取某个磁盘块时,需要移动磁头。访问的两个磁盘块相隔越远,移动磁头所需时间就越长,

    总结:

    • 连续分配的文件在顺序读/写时速度最快
    • 物理上采用连续分配的文件不方便拓展,
    • 物理上采用连续分配,存储空间利用率低,会产生难以利用的磁盘碎片可以用紧凑来处理碎片,但是需要耗费很大的时间代价。

    链接分配

    链接分配釆取离散分配的方式,可以为文件分配离散的磁盘块。分为隐式链接和显式链接两种。

    隐式链接

    从目录项中找到起始块号(即0号块),将0号逻辑块读入内存,由此知道1号逻辑块存放的物理块号,于是读入1号逻辑块,再找到2号逻辑块的存放位置……以此类推。
    因此,读入i号逻辑块,总共需要1次磁盘/O。

    总结:

    • 采用链式分配(隐式链接)方式的文件,只支持顺序访问,不支持随机访问,查找效率低。另外,指向下一个盘块的指针也需要耗费少量的存储空间。
    • 采用隐式链接的链接分配方式,很方便文件拓展。另外,所有的空闲磁盘块都可以被利用,不会有碎片问题,外存利用率高
      在这里插入图片描述

    显式链接

    把用于链接文件各物理块的指针显式地存放在一张表中。即文件分配表(FAT, File Allocation Table)
    在这里插入图片描述
    注意:一个磁盘仅设置一张FAT。
    开机时,将FAT读入内存,并常驻内存。FAT的各个表项在物理上连续存储,且每一个表项长度相同,因此“物理块号”字段可以是隐含的。

    从目录项中找到起始块号,若i>0,则查询内存中的文件分配表FAT,往后找到ⅰ号逻辑块对应的物理块号。逻辑块号转换成物理块号的过程不需要读磁盘操作。

    总结:

    • 采用链式分配(显式链接)方式的文件,支持顺序访问,也支持随机访问(想访问i号逻辑块时,并不需要依次访问之前的0~ⅰ-1号逻辑块)
    • 由于块号转换的过程不需要访问磁盘,因此相比于隐式链接来说,访问速度快很多
    • 优点:很方便文件拓展,不会有碎片问题,外存利用率高,并且支持随机访问。相比于隐式链接来说,地址转换时不需要访尙磁盘,因此文件的访问效率更高。
    • 缺点:文件分配表的需要占用一定的存储空间

    索引分配

    索引分配允许文件离散地分配在各个磁盘块中,系统会为每个文件建立一张索引表,索引表中记录了文件的各个逻辑块对应的物理块(索引表的功能类似于内存管理中的页表—一建立逻辑页面到物理页之间的映射关系)。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块。
    在这里插入图片描述注:在显式链接的链式分配方式中,文件分配表FAT是一个磁盘对应一张。而索引分配方式中,索引表是一个文件对应一张。

    可以用固定的长度表示物理块号(如:假设磁盘总容量为1TB=240B,磁盘块大小为1KB,则共有230个磁盘块,则可用4B表示磁盘块号),因此,索引表中的“逻辑块号”可以是隐含的。

    可见,索引分配方式可以支持随机访问。文件拓展也很容易实现(只需要给文件分配个空闲块,并增加一个索引表项即可)

    链接方案

    如果索引表太大,一个索引块装不下,那么可以将多个索引块链接起来存放。
    在这里插入图片描述
    假设磁盘块大小为1KB,一个索引表项占4B,则一个磁盘块只能存放256个索引项。
    若一个文件大小为256256KB
    65,536KB=64MB该文件共有256
    256个块,也就对应256*256个索引项,也就需要256个索引块来存储,这些索引块用链接方案连起来。
    若想要访问文件的最后一个逻辑块,就必须找到最后个索引块(第256个索引块),而各个索引块之间是用指针链接起来的,因此必须先顺序地读入前255个索引块。

    多层索引

    ②多层索引:建立多层索引(原理类似于多级页表)。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第层索引块。
    在这里插入图片描述

    混合索引

    ③混合索引:多种索引分配方式的结合。例如,一个文件的顶级索引表中,既包含直接地址索引(直接指向数据块),又包含一级间接索引(指向单层索引表)、还包含两级间接索引(指向两层索引表)。
    在这里插入图片描述
    索引分配允许文件离散地分配在各个磁盘块中,系统会为每个文件建立一张索引表,索引表中记录了文件的各个逻辑块对应的物理块(索引表的功能类似于内存管理中的页表—一建立逻辑页面到物理页之间的映射关系)。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块。

    若文件太大,索引表项太多,可以采取以下三种方法解决:

    1. 链接方案:如果索引表太大,一个索引块装不下,那么可以将多个索引块链接起来存放。
      缺点:若文件很大,索引表很长,就需要将很多个索引块链接起来。想要找到i号索引块,必须先依次读入0~i-1号索引块,这就导致磁盘O次数过多,查找效率低下。
    2. 多层索引:建立多层索引(原理类似于多级页表)。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第四层索引块。采用K层索引结构,且顶级索引表未调入内存,则访问个数据块只需要κ+1次读磁盘操作。
      缺点:即使是小文件,访问一个数据块依然需要K+1次读磁盘。
    3. 混合索引:多种索引分配方式的结合。例如,一个文件的顶级索引表中,既包含直接地址索引(直接指向数据块),又包含一级间接索引(指向单层索引表)、还包含两级间接索引(指向两层索引表)。
      优点:对于小文件来说,访问一炌数据块所需的读磁盘次数更少。

    文件存储空间(空闲磁盘块的管理)

    在这里插入图片描述

    存储空间划分和初始化

    在这里插入图片描述

    管理方式

    空闲表法

    在这里插入图片描述
    磁盘块管理额

    如何分配磁盘块:与内存管理中的动态分区分配很类似,为一个文件分配述续的存储空间。同样可采用首次适应、最佳适应、最坏适应等算法来决定要为文件分配哪个区间。

    如何回收磁盘块:与内存管理中的动态分区分配很类似,当回收某个存储区时需要有四种情况一一①回收区的前后都没有相邻空闲区;②回收区的前后都是空闲区;③回收区前面是空闲区;④回收区后面是空闲区。总之,回收时需要注意表项的合并问题

    空闲链表法

    在这里插入图片描述
    如何分配:若某文件申请K个盘块,则可以采用首次适应、最佳适应等算法,从链头开始检索,按照算法规则找到一个大小符合要求的空闲盘区,分配绺文件。若没有合适的连续空闲块,也可以将不同盘区的盘块同时分配给一个文件,注意分配后可能要修改相应的链指针、盘区大小等数据。

    如何回收:若回收区和某个空闲盘区相邻,则需要将回收区合并到空闲盘区中。若回收区没有和任何空闲区相邻,将回收区作为单独的一个空闲盘区挂到链尾。

    位示图法

    在这里插入图片描述
    位示图:每个二进制位对应一个盘块。在本例中,“0”代表盘块空闲,“1”代表盘块已分配。位示图一般用连续的“字”来表示,如本例中个字的字长是16位,字中的每一位对应一个盘块。因此可以用(字号,位号)对应一个盘块号。当然有的题目中也描述为(行号,列号)

    如何分配:若文件需要K个块,①顺序扫描位示图,找到K个相邻或不相邻的“0”;②根据字号、位号算出对应的盘块号,将相应盘块分配给文件;③将相应位设置为“1”。

    如何回收:①根据回收的盘块号计算出对应的字号、位号;②将相应二进制位设为“0”

    成组链接法

    空闲表法、空闲链表法不适用于大型文件系统,因为空闲表或空闲链表可能过大。UNIX系统中采用了成组链接法对磁盘空闲块进行管理。

    文件卷的目录区中专门用一个磁盘块作为“超级块”,当系统启动时需要将超级块读入內存。并且要保证内存与外存中的“超级块”数据一致。
    在这里插入图片描述
    ①检查第一个分组的块数是否足够。100=100,是足够的。
    ②分配第一个分组中的100个空闲块。但是由于300号块内存放了再下一组的信息,因此300号块的数据需要复制到超级块中。

    文件基本操作

    在这里插入图片描述

    文件创建

    进行 Create系统调用时,需要提供的几个主要参数:

    1. 所需的外存空间大小(如:一个盘块,即1KB)
    2. 文件存放路径(“D:/Demo”)
    3. 文件名(这个地方默认为“新建文本文档txt”)

    操作系统在处理 Create系统调用时,主要做了两件事:
    4. 在外存中找到文件所需的空间(结合上小节学习的空闲链表法、位示图、成组链接法等管理策略,找到空闲空间)
    5. 根据文件存放路径的信息找到该目录对应的目录文件(此处就是D:/Demo目录),在目录中创建该文件对应的目录项。目录项中包含了文件名、文件在外存中的存放位置等信息。

    文件删除

    进行 Delete系统调用时,需要提供的几个主要参数:

    1. 文件存放路径(“D:/Demo”)
    2. 文件名(“ test txt”)

    操作系统在处理 Delete系统调用时,主要做了几件事:
    3. 根据文件存放路径找到相应的目录文件,从目录中找到文件名对应的目录项。
    4. 根据该目录项记录的文件在外存的存放位置、文件大小等信息,回收文件占用的磁盘块
    (回收磁盘块时,根据空闲表法、空闲链表法、位图法等管理策略的不同,需要做不同的处理)
    5. 从目录表中删除文件对应的目录项。

    文件打开和关闭

    在很多操作系统中,在对文件进行操作之前,要求用户先使用open系统调用
    “打开文件”,需要提供的几个主要参数:

    1. 文件存放路径(“D:/Demo”)
    2. 文件名(“ test. txt”)
    3. 要对文件的操作类型(如:r只读; rw读写等)

    操作系统在处理open系统调用时,主要做了几件事:

    1. 根据文件存放路径找到相应的目录文件,从目录中找到文件名对应的的目录项,并检查该用户是否有指定的操作权限
    2. 将目录项复制到内存中的“打开文件表”中。并将对应表目的编号返回给用户(文件描述符),之后用户使用打开文件表的编号来指明要操作的文件

    在这里插入图片描述

    在这里插入图片描述
    进程使用完文件后,要“关闭文件”
    操作系统在处理 Close系统调用时,主要做了几件事:

    1. 将进程的打开文件表相应表项删除
    2. 回收分配给该文件的内存空间等资源3.系统打开文件表的打开计数器 count减1,若 count=
      0,则删除对应表项

    文件读写

    进程使用read系统调用完成写操作。需要指明是哪个文件(在支持“打开文件”操作的系统中,只需要提供文件在打开文件表中的索引号即可),还需要指明要读入多少数据(如:读入1KB)、指明读入的数据要放在内存中的什么位置。

    操作系统在处理read系统调用时,会从读指针指向的外存中,将用户指定大小的数据读入用户指定的内存区域中。

    进程使用 write系统调用完成写操作,需要指明是哪个文件(在支持“打开文件”操作的系统中,只需要提供文件在打开文件表中的索引号即可),还需要指明要写出多少数据(如:写出1KB)、写回外存的数据放在内存中的什么位置

    操作系统在处理 write系统调用时,会从用户指定的内存区域中,将指定大小的数据写回写指针指向的外存

    文件共享

    在这里插入图片描述

    注意:多个用户共享同一个文件,意味着系统中只有“一份”文件数据。并且只要某个用户修改了该文件的数据,其他用户也可以看到文件数据的变化。

    如果是多个用户都“复制”了同一个文件,那么系统中会有“好几份”文件数据。其中一个用户修改了自己的那份文件数据,对其他用户的文件数据并没有影响

    硬链接(基于索引节点的共享)

    在这里插入图片描述

    软连接(基于符号链的共享)

    在这里插入图片描述
    linux硬链接和软连接的区别

    文件保护

    在这里插入图片描述

    口令保护

    为文件设置口令
    优点:保存口令的空间开销不多,验证口令的时间开销也很小。
    缺点:正确的“口令”存放在系统内部,不够安全。

    加密保护

    优点:保密性强,不需要在系统中存储“密码”
    缺点:编码/译码,或者说加密/′解密要花费一定时间

    访问控制

    在每个文件的FCB(或索引结点)中增加一个访问控制列表( Access-Control list,ACL),该表中记录了各个用户可以对该文件执行哪些操作。

    文件层次结构

    文件系统层次接口各组成部分,分别对应本节的大标题

    1. 用户需要通过操作系统提供的接口发出上述请求一一用户接口
    2. 由于用户提供的是文件的存放路径,因此需要操作系统一层一层地查找目录,找到对应的目录项一一文件目录系统
    3. 不同的用户对文件有不同的操作权限,因此为了保证安全,需要检查用户是否有访问权限存取控制模块**(存取控制验证层)**
    4. 验证了用户的访问权限之后,需要把用户提供的“记录号”转变为对应的逻辑地址一一逻辑文件系统与文件信息缓冲区
    5. 知道了目标记录对应的逻辑地址后,还需要转换成实际的物理地址一一物理文件系统
    6. 要删除这条记录,必定要对磁盘设备发出请求一一设备管理程序模
    7. 删除这些记录后,会有一些盘块空闲,因此要将这些空闲盘块回收-—辅助分配模块

    磁盘管理

    磁盘结构

    在这里插入图片描述

    可用(柱面号,盘面号,扇区号)来定位任意一个“磁盘块”。在“文件的物理结构”小节中,我们经常提到文件数据存放在外存中的几号块,这个块号就可以转换成(柱面号,盘面号,扇区号)的地址形式。

    可根据该地址读取一个“块”
    ①根据“柱面号”移动磁臂,让磁头指向指定柱面
    ②激活指定盘面对应的磁头;
    ③磁盘旋转的过程中,指定的扇区会从磁头下面划过,这样就完成了对指定扇区的读/写。

    磁盘调度算法

    磁盘读写时间

    寻道时间Ts:在读/写数据前,将磁头移动到指定磁道所花的时间。
    ①启动磁头臂是需要时间的。假设耗时为s;
    ②移动磁头也是需要时间的。假设磁头匀速移动,每跨越个磁道耗时为m,总共需要跨越n条磁道。则:
    寻道时间 T s = s + m × n T_{s}=s+m\times n Ts=s+m×n

    延迟时间Tr:通过旋转磁盘,使磁头定位到目标扇区所需要的时间。设磁盘转速为r(单位:转/秒,或转/分)
    则平均所需的延迟时间 T R = ( 1 2 ) × ( 1 r ) = 1 2 r T_{R}=(\frac {1} {2})\times (\frac{1}{r})= \frac{1}{2r} TR=21)×(r1)=2r1

    传输时间Tt:从磁盘读出或向磁盘写入数据所经历的时间,假设磁盘转速为r,此次读/写的字节数为b,每个磁道上的字节数为N。则:
    传输时间 T t = ( 1 r ) × ( b N ) = b r N T_{t} =(\frac{1}{r})\times(\frac{b}{N})= \frac {b} {rN} Tt=r1×Nb=rNb

    总的平均存取时间 T a = ( 1 2 r ) + ( b N ) + b r N T_{a} =(\frac{1}{2r})+(\frac{b}{N})+ \frac {b} {rN} Ta=2r1+Nb+rNb

    延迟时间和传输时间都与磁盘转速相关,且为线性相关。而转速是硬件的固有属性,因此操作系统也无法优化延迟时间和传输时间

    先来先服务算法(FCFS)

    根据进程请求访问磁盘的先后顺序进行调度。

    优点:公平;如果请求访问的磁道比较集中的话,算法性能还算过的去

    缺点:如果有大量进程竞争使用磁盘,请求访问的磁道很分散,则FCFS在性能上很差,寻道时间长。

    最短寻道时间优先(SSTF)

    SSTF算法会优先处理的磁道是与当前磁头最近的磁道。可以保证每次的寻道时间最短,但是并不能保课总的寻道时间最短。(其实就是贪心算法的思想,只是选择眼前最优,但是总体未必最优)

    优点:性能较好,平均寻道时间短

    缺点:可能产生“饥饿”现象

    扫描算法(SCAN)

    SSTF算法会产生饥饿的原因在于:磁头有可能在一个小区域内来回来去地移动。为了防止这个问题,可以规定,只有磁头移动到最外侧磁道的时候才能往內移动,移动到最内侧磁道的时候才能往外移动。这就是扫描算法(SCAN)的思想。由于磁头移动的方式很像电梯,因此也叫电梯算法

    优点:性能较好,平均寻道时间较短,不会产生饥饿现象

    缺点:
    ①只有到达最边上的磁道时才能改变磁头移动方向
    ②SCAN算法对于各个位置磁道的响应频率不平均(如:假设此时磁头正在往右移动,且刚处理过90号磁道,那么下次处理90号磁道的请求就需要等磁头移动很长一段距离;而响应了184号磁道的请求之后,很快又可以再次响应184号磁道的请求了)

    LOOK调度算法

    扫描算法(SCAN)中,只有到达最边上的磁道时才能改变磁头移动方向,事实上,处理了184号磁道的访问请求之后就不需要再往右移动磁头了。LOOK调度算法就是为了解决这个问题,如果在磁头移动方向上已经没有别的请求,就可以立即改变磁头移动方向。(边移动边观察,因此叫LooK)

    循环扫描算法(C-SCAN)

    SCAN算法对于各个位置磁道的响应频率不平均,而C-SCAN算法就是为了解决这个问题。规定只有磁头朝某个特定方向移动时才处理磁道访问请求,而返回时直接快速移动至起始端而不处理仼何请求

    优点:比起SCAN来,对于各个位置磁道的响应频率很平均。
    缺点:只有到达最边上的磁道时才能改变磁头移动方向。比起SCAN算法来,平均寻道时间更长。

    C-LOOK调度算法

    C-SCAM算法的主要缺点是只有到达最边上的磁道时才能改变磁头移动方向,并且磁头返回时不一定需要返回到最边缘的磁道上。 C-LOOK算法就是为了解决这个问题。如果磁头移动的方向上已经没有磁道访问请求了,就可以立即让磁头返回,并且磁头只需要返回到有磁道访问请求的位置即可。

    减少延迟时间

    在这里插入图片描述

    磁头读入一个扇区数据后需要一小段时间处理,如果逻辑上相邻的扇区在物理上也相邻,则读入几个连续的逻辑扇区,可能需要很长的“延迟时间”

    若采用交替编号的策略,即让逻辑上相邻的扇区在物理上有一定的间隔,可以使读取连续的逻辑扇区所需要的延迟时间更小
    在这里插入图片描述
    错位命名

    磁盘管理

    磁盘初始化

    • 进行低级格式化(物理格式化),将磁盘的各个磁道划分为扇区。一个扇区通常可分为头、数据区域(如512B大小)、尾三个部分组成。管理扇区所需要的各种数据结构一般存放在头、尾两个部分,包括扇区校验码(如奇偶校验、CRC循环冗余校验码等,校验码用于校验扇区中的数据是否发生错误)
    • 将磁盘分区,每个分区由若干柱面组成(即分为我们熟悉的C盘、D盘、E盘)
    • 进行逻辑格式化,创建文件系统。包括创建文件系统的根目录、初始化存储空间管理所用的数据结构

    坏块管理

    对于简单的磁盘,可以在逻辑格式化时(建立文件系统时)对整个磁盘进行坏块检査,标明哪些扇区是坏扇区,比如:在FAT表上标明。(在这种方式中,坏块对操作系统不透明)
    对于复杂的磁盘,磁盘控制器(磁盘设备内部的一个硬件部件)会维护一个坏块链表。
    在磁盘出厂前进行低级格式化(物理格式化)时就将坏块链进行初始化。

    会保留一些“备用扇区”,用于替换坏块。这种方案称为扇区备用。且这种处理方式中,坏块对操作系统透明。

    展开全文
  • MySQL——索引存储在磁盘上

    千次阅读 2021-02-07 11:06:24
    通常,索引本身很大,不能完全存储内存中,因此索引通常作为索引文件存储在磁盘上这种情况下,索引查找过程中会生成磁盘I/O消耗。 I/O访问消耗比内存访问高几数量级,因此将数据结构评估为索引的最重要...

    通常,索引本身很大,不能完全存储在内存中,因此索引通常作为索引文件存储在磁盘上。在这种情况下,在索引查找过程中会生成磁盘I/O消耗。 I/O访问消耗比内存访问高几个数量级,因此将数据结构评估为索引的最重要指标是查找过程中磁盘I/O操作数量的渐进复杂性。换句话说,索引的结构被组织为最小化查找过程期间的磁盘I/O访问的数量。

    MySQL——索引存储在磁盘上

    磁盘由相同大小和同轴的圆盘组成,磁盘可以旋转(每个磁盘必须同步旋转)。在磁盘的一侧有一个磁头固定器,磁头固定器固定一组磁头,每个磁头负责访问一个磁盘的内容。头部不能旋转,但它可以沿着盘的半径移动(实际上是倾斜的切向运动)。每个磁头也必须同时同轴,也就是说,从右上方向下,所有磁头在任何时候都会重叠(但目前,有多种磁头独立技术,不受此限制)。

    MySQL——索引存储在磁盘上

    磁盘结构

    磁盘操作:

    寻求:头部连接到传动臂的一端。通过沿着半径轴来回移动执行器臂,驱动器可以将头部定位到任何轨道(光盘不移动,头部移动)

    旋转:一旦定位了轨道,盘就会旋转,轨道上的每个位都会通过头部。读/写头可以检测该位的值,或修改该值(磁头不移动,磁盘移动)

    磁盘存储概念:

    扇区:每个同心环称为扇区,扇区是磁盘的最小存储单元。当需要从磁盘读取数据时,系统会将数据的逻辑地址传输到磁盘。盘的控制电路根据寻址逻辑将逻辑地址转换为物理地址,即,哪个轨道和要读取的数据是哪个扇区。为了读取该部门的数据,需要将头部置于该部门之上。为了实现这一点,头部需要移动并对准相应的轨道。这个过程称为搜索,花费的时间称为搜索时间;然后磁盘旋转将目标扇区旋转到磁头下方,此过程所需的时间称为旋转时间。

    Page:由于存储介质的特性,磁盘本身的访问速度远远低于主存储器。除机械机芯外,磁盘的访问速度通常是主存储器的百分之几。因此,为了提高效率,尽量提高效率。减少磁盘I/O.为了实现这一目标,磁盘不是严格按需读取的,但每次预读时,即使只需要一个字节,磁盘也会从这个位置开始,并向后读取一定长度的数据。记忆。预读可以提高I/O效率。预读的长度通常是页面的整数倍(页面:计算机管理存储器的逻辑块 - 通常为4k)。主存储器和磁盘以页为单位交换数据。当程序要读取的数据不在主存储器中时,将触发页面错误异常。此时,系统将向磁盘发出读信号,磁盘将找到数据的起始位置并连续向后读取一个或几个页面。加载在内存中。地方原则

    这样做的理论基础是计算机科学中着名的地方性原则:

    当使用一个数据时,通常立即使用其附近的数据。

    也就是说,程序运行期间所需的数据通常是集中的。由于磁盘的顺序读取非常有效(不需要寻道时间,只需要少量的旋转时间),因此对于具有局部性的程序,预读可以提高I/O效率。

    文件系统和数据库系统的设计者利用磁盘预读的原理将节点的大小设置为等于一页,这样每个节点只能完全加载一个I/O.为了实现这一目标,每次B + Tree创建一个新节点时,它直接请求页面空间,从而确保节点物理存储在页面中,并且计算机存储分配是页面对齐的。实现节点只需要一个I/O.

    上一篇: 没有了

    下一篇: 没有了

    分享到:

    展开全文
  • C++ 二进制文件 & 顺序读写

    千次阅读 多人点赞 2021-05-20 22:41:44
    C++ 二进制文件 & 顺序读写.
  • 上文mysql(二)中主要对buffer pool的内存结构进行说明,这篇对数据页等在磁盘上的存储结构进行说明。 之前对于mysql存储结构的一些表空间、区(数据区)、数据页等概念进行说明。 行数据在磁盘中的存储...
  • 文件系统介绍与磁盘介绍

    千次阅读 2019-11-02 16:55:31
    文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NAND Flash的固态硬盘)或分区文件的方法和数据结构,即存储设备组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统...
  • 文件随机或顺序读写原理深入浅出

    千次阅读 2021-11-02 21:04:42
    文件读写的用户程序、操作系统、磁盘交互原理 最近为了彻底搞懂文件读写原理,我特意查询了很多资料,包括Java读写文件的API代码、操作系统处理文件以及磁盘硬件知识等。由于网上现存技术文章,几乎没有找到...
  • 磁盘管理与文件系统

    2022-03-29 17:27:27
    文章目录、认识磁盘1、磁盘的物理结构2、硬盘的数据结构3、磁盘结构二、MBR与磁盘分区表示主引导记录(MBR:Master Boot Record)硬盘、分区文件显示(如:/dev/hda2)三、磁盘分区结构四、文件系统类型XFS文件...
  • 磁盘文件系统管理

    千次阅读 2022-03-30 16:58:59
    磁盘的结构与分区 1.1 硬盘的结构 1.2 磁盘的数据结构 1.3存储容量 1.4硬盘的接口: 二、磁盘分区 2.1磁盘的分区 2.2磁盘的分区结构 2.3常用的文件系统类型 三、管理磁盘及分区命令 3.1.fdisk命令 ...
  • 磁盘原理理解文件读写优化

    千次阅读 2019-10-02 21:45:10
    摘要:本次案例主要讲述java高性能读写文件,如何提高文件IO 关键词:java 读写文件 IO NIO 文件碎片 小文件 文件刷盘 顺序与随即读写
  • Kafka作为一个支持大数据量写入写出的消息队列,由于是基于Scala和Java实现的,而Scala和Java均需要JVM运行,所以如果是基于内存的方式,即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写,从而会导致...
  • Linux——磁盘管理与文件系统

    千次阅读 2022-03-28 18:08:22
    磁盘管理与文件系统磁盘结构和分区表示1.1 磁盘基础1.1.1 硬盘的结构1.1.2 硬盘的接口1.2磁盘分区表示二、管理磁盘及分区 磁盘结构和分区表示 1.1 磁盘基础 硬盘(Hard Disk Driver),简称HDD,是计算机常用...
  • 本篇简单介绍磁盘的读写分为两种模式,顺序IO和随机IO。 随机IO存在一个寻址的过程,所以效率...而顺序IO,相当于有一个物理索引,读取的时候不需要寻找地址,效率很高。最后通过Java多种读写文件示例的性能测试比较
  • Linux磁盘管理与文件系统(实验详解,看就懂)

    万次阅读 多人点赞 2021-01-27 22:05:28
    磁盘管理与文件系统磁盘管理1.1 磁盘结构1.2 MBR与磁盘分区表示1.2.1 MBR1.2.2 磁盘分区表示二、文件系统2.1 文件系统类型2.2 检测并确认新硬盘2.3 管理磁盘分区2.4 创建文件系统2.5 创建文件系统swap2.6 挂载、...
  • 关于MySql数据库,相信很多人都不陌生,这是当今最常用的种关系型...磁盘文件里存放的物理格式就是数据页(关于数据页,如果不太理解先忽略,后续文章单独介绍),数据页中存放的是行的记录,但是对于数据
  • 方法:查看设备文件磁盘文件) sdb,sdc,sdd,sde,sdf刚添加的五个磁盘;sda是系统盘 方法二:lsblk命令查询 创建分区 fdisk 磁盘地址 [root@localhost ~]# fdisk /dev/sdc 欢迎使用 fdisk (util-linux ...
  • 每条记录对应一个在该放在该目录下的文件 当我们双击“照片”后,操作系统会在这个目录表中找到关键字“照片”对应的目录项(也就是记录),然后从外存中将“照片”目录的信息读入内存,于是,“照片”目录中的内容...
  • 磁盘结构 1.1硬盘的物理结构 盘片: 硬盘有多盘片,每盘片2面 磁头: 每面一个磁头 1.2磁盘的数据结构 扇区:盘片被分为多扇形区域,每扇区存放512字节的数据...可以用柱面/磁头扇区来唯一定位磁盘上
  • Java IO读写文件总结——文件随机读写,顺序读写!

    千次阅读 热门讨论 2020-12-07 20:22:53
    顺序IO,相当于有一个物理索引,读取的时候不需要寻找地址,效率很高。 网上盗了一个图(侵权删) Java中的随机读写 Java中读写文件的方式有很多种,先总结以下3种方法: FileWriter和FileReader ...
  • - XFS)SWAP,交换文件系统Linux支持的其他文件系统类型新磁盘插入并投入使用的过程检测并确认新磁盘创建分区步骤确认新磁盘磁盘分区格式化磁盘并创建xfs文件系统将磁盘新建分区挂载到文件夹内使用创建SWAP文件交换...
  • Linux磁盘管理和文件系统

    万次阅读 2021-08-08 15:24:23
    linux系统中,一切皆文件磁盘设备也是文件种。 设备文件:关联至一个设备驱动程序,进而能够跟与之对应硬件设备进行通信 设备号码: 主设备号:major number, 标识设备类型 次设备号:minor number, 标识...
  • 有两个磁盘文件A和B,各存放行字符串,要求首先把小写字母全部转换成大写字母,然后再把这两个文件中的信息合并(按字母顺序排列), 输出到一个文件C中 #2019/12/26/18:16 #自己创建txt文件;调用upper函数变成...
  • 组相关数据项集合,用于描述一个对象某方面的属性。主关键字(关键字)用于标识一个记录。 文件创建者定义,具有文件名的组相关元素的集合。文件名是文件的标识符号。 有结构文件由若干相关记录组成;无...
  • CentOS7磁盘分区及文件系统

    万次阅读 2019-08-14 22:27:33
      一般来说,硬盘的空间,想要被我们利用,都要经过几步骤: 设备识别 设备分区 创建文件系统 (标记文件系统) /etc/fstab文件创建新条目 挂载新的文件系统   只有当设备被挂载到文件系统中,...
  • 假定程序效率和关键过程相当且不计入缓存等措施的条件下,读写任何类型的数据都没有直接操作文件来的快,不论MSYQL过程如何,最后都要到磁盘上去读这文件”(记录存储区等效),所以当然这一切的前提是只读 内容...
  • 这种存取方式常用于文本文件,而被存取的文件则称为顺序文件。随机存取随机存取方式多半以二进制文件为主。它会以一个完整的单位来进行数据的读取和写入,通常以结构为单位。打开文件函数原型为:_...
  • 可以用柱面/磁头/扇区来唯一定位磁盘上一个区域 磁盘接口类型: IDE SATA SCSI SAS 光纤通道 硬盘的物理结构 盘片:硬盘有多盘片,每盘片2面 磁头:每面一个磁头 硬盘的数据结构 盘区:盘片被分为多...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 227,742
精华内容 91,096
热门标签
关键字:

在磁盘上新建一个顺序文件