精华内容
下载资源
问答
  • 分布式文件服务
    千次阅读
    2021-08-07 12:04:50

    通过 DFS(分布式文件系统),一台服务器上的某个共享点能够作为驻留在其他服务器上的共享资源的宿主。DFS

    以透明方式链接文件服务器和共享文件夹,然后将其映射到单个层次结构,以便可以从一个位置对其进行访问,而实际上数据却分布在不同的位置。用户不必再转至网络上的多个位置以查找所需的信息,而只需连接到:

    \\DfsServer\Dfsroot

    用户在访问此共享中的文件夹时将被重定向到包含共享资源的网络位置。这样,用户只需知道 DFS

    根目录共享即可访问整个企业的共享资源。

    DFS 拓扑从 DFS 树的根目录开始。位于逻辑层次结构顶部的 DFS 根目录映射到一个物理共享。DFS 链接将域名系统 (DNS)

    名称映射到目标共享文件夹或目标 DFS 根目录的 UNC 名称。当 DFS 客户端访问 DFS 共享文件夹时,DFS 服务器将 DNS

    名称映射到 UNC 名称并将引用返回给该客户端,以使它能够找到共享文件夹。将 DNS 名称映射到 UNC

    名称使数据的物理位置对用户是透明的,这样用户便无须记住存储文件夹的服务器。当 DFS 客户端请求 DFS 共享的引用时,DFS

    服务器将使用分区情况表 (PKT) 将 DFS 客户端定向到物理共享。对于基于域的 DFS,PKT 存储在 Active

    Directory 中;对于独立的 DFS,PKT 存储在注册表中。在网络环境中,PKT 维护有关 DFS

    拓扑的所有信息,包括其到基础物理共享的映射。DFS 服务器将 DFS 客户端定向到与请求的 DFS 链接相对应的副本共享列表后,DFS

    客户端使用 Active Directory

    站点拓扑连接到同一站点中的一个副本,如果该站点中没有提供副本,则连接到该站点以外的一个副本。

    分布式软件系统(Distributed Software

    Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

    分布式操作系统负责管理分布式处理系统资源和控

    分布式系统的类型,大致可以归为三类:

    1、分布式数据,但只有一个总? 据库,没有局部数据库。

    2、分层式处理,每一层都有自己的数据库。

    3、充分分散的分布式网络,没有中央控制部分,各节点之间的联接方式又可以有多种,如松散的联接,紧密的联接,动态的联接,广播通知式联接等。

    更多相关内容
  • minio.exe 分布式文件服务器_Window版_Mac版
  • 分布式文件服务能够为用户设备中的应用程序提供多设备之间的文件共享能力,支持相同帐号下同一应用文件的跨设备访问,应用程序可以不感知文件所在的存储设备,能够在多个设备之间无缝获取文件。 分布式文件是指依赖...

    一、简介

    ① 基本概念
    • 分布式文件服务能够为用户设备中的应用程序提供多设备之间的文件共享能力,支持相同帐号下同一应用文件的跨设备访问,应用程序可以不感知文件所在的存储设备,能够在多个设备之间无缝获取文件。
    • 分布式文件是指依赖于分布式文件系统,分散存储在多个用户设备上的文件,应用间的分布式文件目录互相隔离,不同应用的文件不能互相访问。
    • 文件元数据是用于描述文件特征的数据,包含文件名,文件大小,创建、访问、修改时间等信息。
    ② 运作机制
    • 分布式文件服务采用无中心节点的设计,每个设备都存储一份全量的文件元数据和本设备上产生的分布式文件,元数据在多台设备间互相同步,当应用需要访问分布式文件时,分布式文件服务首先查询本设备上的文件元数据,获取文件所在的存储设备,然后对存储设备上的分布式文件服务发起文件访问请求,将文件内容读取到本地。
    • 分布式文件服务运作如下图所示:

    在这里插入图片描述

    ③ 权限与限制
    • 应用程序如需使用分布式文件服务完整功能,需要申请 ohos.permission.DISTRIBUTED_DATASYNC 权限。
    • 多个设备需要登录相同华为帐号,然后打开多个设备的蓝牙,或将多个设备接入同一 WLAN 局域网,才能实现文件的分布式共享。
    • 当多台设备对同一文件并发写操作时有数据冲突,后写会覆盖先写,应用需要主动保证时序控制并发流程。
    • 应用访问分布式文件时,如果文件所在设备离线,文件不能访问。
    • 网络情况差时,访问存储在远端的分布式文件时,可能会长时间不返回或返回失败,应用需要考虑这种场景的处理。
    • 当两台设备有同名文件时,同步元数据时会产生冲突,冲突的解决策略:
      • 本地跟远端冲突 ,远端文件被重命名,看到的同名文件是本地同名文件,远端文件被重命名;
      • 远端多个设备冲突,以接入本设备 ID 为顺序,显示设备 ID 小的同名文件,其他文件被依次重命名;
      • 如果组网场景,目录树下已经有远端文件,创建同名文件,提示文件已存在;
      • 冲突文件显示 _conflict_dev 后依次加 id;
      • 同名目录之间仅融合不存在冲突,文件和远端目录同名冲突,远端目录后缀加 _remote_directory。
    ④ 应用场景
    • 应用可以通过分布式文件服务实现多个设备间的文件共享,设备1上的应用 A 创建了分布式文件 a,设备2上的应用 A 能够通过分布式文件服务读写设备1上的文件 a。

    二、分布式文件服务的 API

    • 分布式文件兼容 POSIX 文件操作接口,应用使用 Context.getDistributedDir() 接口获取目录后,可以直接使用 libc 或 JDK 访问分布式文件。
    • 分布式文件服务 API 接口功能:
    接口名描述
    Context.getDistributedDir()获取文件的分布式目录

    三、使用流程

    • 应用可以通过 Context.getDistributedDir() 接口获取属于自己的分布式目录,然后通过 libc 或 JDK 接口,在该目录下创建、删除、读写文件或目录。
    • 设备1上的应用 A 创建文件 hello.txt,并写入内容"Hello World"。
    	Context context;
    	... // context初始化
    	File distDir = context.getDistributedDir();
    	String filePath = distDir + File.separator + "hello.txt";
    	FileWriter fileWriter = new FileWriter(filePath, true);
    	fileWriter.write("Hello World");
    	fileWriter.close();
    
    • 设备 2 上的应用 A 通过 Context.getDistributedDir() 接口获取分布式目录。
    • 设备 2 上的应用 A 读取文件 hello.txt。
    	FileReader fileReader = new FileReader(filePath);
    	char[] buffer = new char[1024];        
    	fileReader.read(buffer);        
    	fileReader.close();        
    	System.out.println(buffer);
    
    展开全文
  • FastDFS分布式文件服务器
  • HarmonyOS之数据管理·分布式文件服务的应用.pdf
  • 分布式文件服务器介绍

    千次阅读 2019-05-31 10:40:25
    FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 ...

    FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

    指标适合类型文件分布系统性能复杂度FUSEPOSIX备份机制通讯协议接口社区支持开发语言
    FastDFS4KB~500MB小文件合并存储不分片处理很高简单不支持不支持组内冗余备份Api HTTP国内用户群C语言
    TFS所有文件小文件合并,以block组织分片复杂不支持Block存储多份,主辅灾备API httpC++
    MFS大于64K分片存储Master占内存多支持支持多点备份动态冗余使用fuse挂在较多Perl
    HDFS大文件大文件分片分块存储简单支持支持多副本原生api较多Java
    Ceph对象文件块OSD一主多从复杂支持支持多副本原生api较少C++
    MogileFS海量小图片复杂可以支持不支持动态冗余原生api文档少Perl
    ClusterFS大文件简单支持支持C
    展开全文
  • 准确地讲,GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。FastDFS是为互联网应用量身定做的分布式文件系统,充分考虑了冗余备份、负载均衡...
  • 开源分布式文件系统

    2018-06-16 08:50:11
    本书具体介绍开源分布式文件系统相关技术、原理和设计,是学习分布式文件系统的参考资料
  • 非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、...
  • 分布式文件系统需求

    2019-03-21 02:08:27
    分布式文件系统.rar,分布式文件系统.txt
  • 分布式文件系统架构

    千次阅读 2021-11-02 20:07:37
    分布式文件系统架构 FS (File System) 文件系统是基于硬盘上的一个文件管理的工具 我们用户操作文件系统可以和硬盘解耦 DFS (Distributed File System) 分布式文件系统 将数据存放到多台电脑上存储 分布式文件...

    分布式文件系统架构

    • FS (File System)
      • 文件系统是基于硬盘上的一个文件管理的工具
      • 我们用户操作文件系统可以和硬盘解耦
    • DFS (Distributed File System)
      • 分布式文件系统
      • 将数据存放到多台电脑上存储
      • 分布式文件系统有很多
      • HDFS(Hadoop Distributed File System)是Map Reduce计算的基础

    文件切分思想

    • 文件存放在一个磁盘上效率低
      • 读取效率低
      • 如果文件特别大会超出单台机器的存储范围
    • 字节数组
      • 文件在磁盘真实存储文件的抽象概念
      • 数组可以进行拆分和组装,源文件不会受到影响
    • 切分数据
      • 对字节数组进行切分
    • 拼接数据
      • 按照数组的偏移量将数据连接到一起,将字节数组连接到一起
    • 偏移量
      • 当前数据在数组中的相对位置,可以理解为下标
      • 数组都有对应的索引(下标),可以快速地定位数据
    • 数据存储的原理
      • 不管文件的大小,所有的文件都是由字节数构成
      • 如果要切分文件,就是将i个字节数组分成多份
      • 只要将切分后的数据拼接到一起,数据就可以继续使用
      • 拼接的时候需要参照的是每个数据的偏移量
      • image-20211102104747036

    Block拆分标准

    • 拆分的数据块需要等大

      • 数据计算的时候简化问题的复杂度
        • 进行分布式算法设计的时候,数据不统一,算法很难设计
      • 数据读取的时间相对一致
      • 通过偏移量可以知道数据块的位置
      • 相同文件,分成的数据块大小应该相等
    • 数据块Block

      • 数据被切分后的一个整体成为数据块
      • 在Hadoop1.0中默认大小为64M,在Hadoop2.0及其以后默认大小为128 M
      • 在同一个文件中,每个数据块大小要一致,除了最后一个节点之外
        • 不同文件中,块的大小可以不一致
        • 文件大小不同可以设置不同的块的数量
      • 真实情况下,会根据文件大小和集群节点的数量综合考虑块的大小
      • 数据块的个数=ceil(文件大小/每个块的大小)
    • 注意事项

      • HDFS中一旦文件被存储,数据便不被允许被修改
        • 修改会影响偏移量
        • 修改会导致数据倾斜
        • 修改数据会导致蝴蝶效应
      • 可以被追加数据,但是不推荐
        • 追加设置需要手动打开
      • 一般HDFS存储的都是历史数据。所以将来Hadoop的Mapreduce都会被用来进行离线数据处理
      • 一旦文件被上传之后,块的大小就不允许被修改,之后的可以适当缩小
        • 块大小范围:128M-512M
      • 如果数据文件的切割点128M正好是一个单词的中间部分,切分数据如何保证数据的完整性?
        • 根据每个字符的偏移量,可以来为不同块的字符找到其原来的文件中的位置
        • 参考文件拆分思想中的数据存储原理

    Block数据安全

    • 肯定是要对数据进行备份
    • 备份的数据不能存放在一个节点上
    • 存储的副本数据要尽可能的近,这样获取数据的速度会很快从而减少读取的代价
    • 备份的数量小于等于节点数量
      • 备份的数据节点越多的话,可能导致资源浪费严重
      • 备份少的话,发生集体崩溃的可能性会增大
      • 备份数量是通过数据的使用频率和数据的重要性来决定的
    • 默认每个数据块会有3个副本,相同副本是不会存放在同一个节点上
    • 副本的数量可以变更
      • 如果数据近期被使用的可能性很大,那么可以多设置一些数据备份
      • 后期数据很少被分析,可以减少副本数量

    image-20211102194001594

    Block管理效率

    • 需要专门给节点进行分工
      • DataNode:存储数据,存储的数据块(data block)
      • NameNode:记录数据。用来管理/分配所有访问对应DataNode的进程,监控对应DataNode的状态以及对应NameNode都做了什么,NameNode对DataNode进行记录
      • SecondaryNameNode:数据日志

    image-20211102142031496

    HDFS的特点

    优点

    1. 高容错性

      • 保存多个副本,并且提供容错机制

      • 副本丢失或宕机后自动恢复。默认保存三个副本

    2. 可以运行在廉价的机器上

      • 通过副本提高可靠性
      • 提供容错机制和恢复机制
    3. 适合批处理

      • 移动计算而非数据
      • 数据位置暴露给计算框架,这样所有节点都可以进行数据访问
    4. 适合大数据的处理

      • TB级数据处理,甚至是PB级数据的处理
      • 百万规模以上的文件数量
      • 10K+节点规模
    5. 流式数据访问

      • 一次写入,多次读取,高吞吐量,所以可以同时处理大量数据
    6. 批处理和流处理

      • 批处理:安按照一个定量不停的处理

      • 流处理:源源不断,上流不停处理不停

    缺点(不适合小量数据处理)

    1. 不擅长低延迟数据访问

      • 比如毫秒级
    2. 不擅长小文件分区

      • 占用NameNode大量内存,NameNode是管理datanode并记录block存储到了哪个datanode。所有每存储一个文件会生成一个1k或者几k的数据文件,如果小文件多的话,小文件累积最终也会达到一个比较大的规模
      • 磁盘寻道时间超过读取时间
    • 不擅长并发写入,文件随机修改
      • 一个文件只能有一个写入者
      • 仅支持append向尾部添加(有组件可以实现删除等功能)
    展开全文
  • 云计算是一种基于互联网提供服务的业务模式,它能够实现IT...文章给出了云计算分布式文件系统的主要类型,分析了Google文件系统(GFS)和Hadoop分布式文件系统(HDFS)的演进情况。最后,详细描述了分布式文件系统的工作原理。
  • FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站...
  • 常见的分布式文件系统介绍及对比

    千次阅读 2020-08-25 16:48:21
    它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。 GFS(Google File System)   Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术...
  • 近年,微软对其分布式文件系统(Distributed File System,DFS)做了很多改良,其中的一项技术对文件系统资源提供了统一视图。DFS重新定向了来自UNC途径的请求,其中一个网络驱动映射到请求资源所在的网络共享。这样...
  • Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
  • Java分布式文件对象存储Minio框架并发上传、下载、合并、删除等操作示例Demo完整版,可用于生产环境开发。
  • FastDFS 是一个开源高性能分布式文件系统。它的主要功能包括:文件存储,文件同步和文件访问(文件上传和文件下载),它可以解决高容量和负载平衡问题。FastDFS 应满足基于照片共享网站和视频共享网站等文件的网站的...
  • 分布式文件系统有两种方式,1 独立的根目录分布式文件系统 2 域分布式文件系统 一 独立的根目录分布式文件系统  PC1共享的文件,PC2共享的文件,他们的共享文件都放在自己本机的一个共享的文件夹中,通
  • 使用分布式文件系统可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS(文件复制服务)联合在多台服务器之间提供冗余、与windows权限集成以保证安全。...
  • #资源达人分享计划#
  • #资源达人分享计划#
  • 在项目的数据存储中,结构化数据通常采用关系型数据库,非结构化数据(文件)的存储就有很多种方式,服务器本地存储、Nas挂载、ftp等等,今天就来盘点一下,分布式文件存储系统。 一、分布式存储简介 1、什么是...
  • #资源达人分享计划#
  • 它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。Google学术论文,这是众多分布式文件系统的起源Google File System(大规模分散文件系统) MapReduce (大规模分散FrameWork) BigTable
  • #资源达人分享计划#
  • #资源达人分享计划#
  • Hadoop分布式文件系统的模型分析,Hadoop 分布式文件系统是遵循Google 文件系统原理进行开发和实现的,受到了业界极大关注,并 已被广泛应用。 鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从 Hadoop ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 769,458
精华内容 307,783
关键字:

分布式文件服务