文件存储_文件存储格式 - CSDN
精华内容
参与话题
  • 文件存储详解

    2015-01-28 10:31:29
    将数据存储文件中: OpenFileOutput(文件名,文件的操作模式); 操作模式: MODE_PRIVATE:文件同名的时候,写入的内容会覆盖原文件中的内容 MODE_APPEND:如果文件存在就往文件中添加内容,写入内容不会覆盖原文件...

    将数据存储到文件中:

    OpenFileOutput(文件名,文件的操作模式);

    操作模式:

    MODE_PRIVATE:文件同名的时候,写入的内容会覆盖原文件中的内容

    MODE_APPEND:如果文件存在就往文件中添加内容,写入内容不会覆盖原文件内容

    openFileOutput()方法返回的是一个FileOutputStream对象,得到了这个对象之后就可以使用Java流的方式将数据写入到文件中了.

    通过openFileOutput()方法能够得到一个FileOutputStream对象,

    然后再借助FileOutputStream构建出一个OutputStreamWriter对象,接着再使用OutputStreamWriter构建出一个BufferedWriter对象

    这样就可以通过BufferedWriter来将文本内容写入到文件中了.

    从文件中读取数据:

    通过openFileInput()方法获取到了一个FileInputStream对象

    然后借助FileInputStream又构建出了一个InputStreamReader对象,接着再使用InputStreamReader构建出一个BufferedReader对象

    这样就可以通过BufferedReader进行一行行地读取

    把文件中所有的文本内容全部读取出来并存放在一个StringBuilder对象中

    最后将读取到的内容返回就可以了

    package com.jia.filepersistencetest;
    
    import java.io.BufferedReader;
    import java.io.BufferedWriter;
    import java.io.FileInputStream;
    import java.io.FileNotFoundException;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.io.OutputStreamWriter;
    
    import android.os.Bundle;
    import android.app.Activity;
    import android.content.Context;
    import android.text.TextUtils;
    import android.view.Menu;
    import android.widget.EditText;
    import android.widget.Toast;
    
    public class MainActivity extends Activity {
    	private EditText edit;
    
    	@Override
    	protected void onCreate(Bundle savedInstanceState) {
    		super.onCreate(savedInstanceState);
    		setContentView(R.layout.activity_main);
    		edit = (EditText) findViewById(R.id.edit);
    		String inputText = load();
    		if (!TextUtils.isEmpty(inputText)) {
    			edit.setText(inputText);
    			edit.setSelection(inputText.length());
    			Toast.makeText(this, "Restoring succeeded", Toast.LENGTH_LONG)
    					.show();
    
    		}
    	}
    
    	@Override
    	protected void onDestroy() {
    		String inputText = edit.getText().toString();
    		save(inputText);
    		super.onDestroy();
    	}
    
    	public void save(String inputText) {
    		// String data = "Data to save";
    		FileOutputStream out = null;
    		BufferedWriter writer = null;
    		try {
    			out = openFileOutput("data", Context.MODE_PRIVATE);// 通过openFileOutput()方法能够得到一个FileOutputStream对象,
    			writer = new BufferedWriter(new OutputStreamWriter(out));// 然后再借助FileOutputStream构建出一个OutputStreamWriter对象,接着再使用OutputStreamWriter构建出一个BufferedWriter对象
    			writer.write(inputText);// 这样就可以通过BufferedWriter来将文本内容写入到文件中了.
    		} catch (Exception e) {
    
    			e.printStackTrace();
    		} finally {
    			try {
    				if (writer != null) {
    					writer.close();
    				}
    			} catch (Exception e) {
    
    				e.printStackTrace();
    			}
    		}
    	}
    
    	public String load() {
    		BufferedReader reader = null;
    		StringBuilder content = new StringBuilder();
    		try {
    			FileInputStream in = openFileInput("data");// 通过openFileInput()方法获取到了一个FileInputStream对象
    			reader = new BufferedReader(new InputStreamReader(in));// 然后借助FileInputStream又构建出了一个InputStreamReader对象,接着再使用InputStreamReader构建出一个BufferedReader对象
    			String line = "";
    			while ((line = reader.readLine()) != null) {// 这样就可以通过BufferedReader进行一行行地读取
    				content.append(line);// 把文件中所有的文本内容全部读取出来并存放在一个StringBuilder对象中
    			}
    		} catch (Exception e) {
    			// TODO Auto-generated catch block
    			e.printStackTrace();
    		} finally {
    			if (reader != null) {
    				try {
    					reader.close();
    				} catch (IOException e) {
    					// TODO Auto-generated catch block
    					e.printStackTrace();
    				}
    			}
    		}
    		return content.toString();// 最后将读取到的内容返回就可以了
    	}
    
    }
    


    展开全文
  • 什么是文件存储

    2020-07-30 23:32:00
    阿里云文件存储(Network Attached Storage,简称 NAS)是面向阿里云 ECS 实例、HPC 和 Docker 等计算节点的文件存储服务,提供标准的文件访问协议,
  • 三种存储类型和三种存储方式

    万次阅读 2019-07-02 15:01:24
    三种存储类型:块存储、文件存储、对象存储 块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-...

    在这里插入图片描述
    三种存储方式:DAS、SAN、NAS
    三种存储类型:块存储、文件存储、对象存储

    块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。

    本质是一样的,底层都是块存储,只是在对外接口上表现不一致,分别应用于不同的业务场景。

    分布式存储的应用场景相对于其存储接口,现在流行分为三种:

    对象存储: 也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL和其他扩展,如七牛、又拍、Swift、S3

    块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在,这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口,如Sheepdog,AWS的EBS,青云的云硬盘和阿里云的盘古系统,还有Ceph的RBD(RBD是Ceph面向块存储的接口)

    文件存储: 通常意义是支持POSIX接口,它跟传统的文件系统如Ext4是一个类型的,但区别在于分布式存储提供了并行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存储的接口),但是有时候又会把GFS,HDFS这种非POSIX接口的类文件存储接口归入此类。

    块存储

    在这里插入图片描述
    以下列出的两种存储方式都是块存储类型:

    • DAS(Direct Attach STorage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的储存设备无法互通,需要跨主机存取资料时,必须经过相对复杂的设定,若主机服务器分属不同的操作系统,要存取彼此的资料,更是复杂,有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大,性能要求不高的环境下,可以说是一种应用较为早的技术实现。
    • SAN(Storage Area Network):是一种用高速(光纤)网络联接专业主机服务器的一种储存方式,此系统会位于主机群的后端,它使用高速I/O 联结方式, 如 SCSI, ESCON 及 Fibre- Channels。一般而言,SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中,特点是代价高,性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集,通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。

    典型设备:磁盘阵列、硬盘
    块存储主要是将裸磁盘空间整个映射给主机使用的。块存储就是在物理层这个层面对外提供服务,使用它的系统,有用自己的文件系统格式化。这样一旦被一个系统使用,就独占了。
    就是说例如:磁盘阵列里面有5块硬盘,然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G,共有5个硬盘,划分为逻辑盘也为5个,每个100G,但是这5个逻辑盘和原来的5个物理盘意义完全不同了。例如第一个逻辑盘第一个20G可能来自物理盘1,第二个20G来自物理盘2,所以逻辑盘是多个物理盘逻辑虚构出来的硬盘。
    接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是无法区分到底是物理盘还是逻辑盘,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没区别,至少操作系统感知上没有区别的。
    在此方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。

    优点
    (1)这种方式的好处当然是因为通过了Raid与LVM等手段,对数据提供了保护;
    (2)可以将多块廉价的硬盘组合起来,称为一个大容量的逻辑盘对外提供服务,提高了容量;
    (3)写入数据时,由于是多块磁盘组合出来的逻辑盘,所以几块硬盘可以并行写入的,提升了读写效率;
    (4)很多时候块存储采用SAN架构组网,传输速度以及封装协议的原因,使得传输速度和读写效率得到提升

    缺点
    (1)采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要购买光纤交换机,造价成本高;
    (2)主机之间数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,在格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据
    (3)不利于不同操作系统主机间的数据共享:因为操作系统使用不同的文件系统,格式化后,不同的文件系统间的数据是共享不了的。 例如一台win7,文件系统是FAT32/NTFS,而linux是EXT4,EXT4是无法识别NTFS的文件系统的

    使用场景
    docker容器、虚拟机磁盘存储分配。
    日志存储。
    文件存储。

    文件存储

    在这里插入图片描述
    通常,NAS产品都是文件级存储。
    NAS(Network Attached Storage):是一套网络储存设备,通常是直接连在网络上并提供资料存取服务,一套 NAS 储存设备就如同一个提供数据文件服务的系统,特点是性价比高。例如教育、政府、企业等数据存储应用。
    它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

    典型设备:FTP、NFS服务器
    为了克服文件无法共享的问题,所以有了文件存储。
    文件存储,就是在文件系统一层对外提供服务,系统只用访问文件系统一级就可以,各个系统都可以根据接口取访问。
    文件存储也有软硬一体化的设备,但是其实一台普通的PC机,只要装上合适的操作系统和软件,就可以假设FTP与NFS服务了,架上该类服务之后的服务器,就是文件存储的一种了。
    主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。

    优点
    (1)造价低:随便一台机器就可以,另外普通的以太网就可以,根本不需要专用的SAN网络,所以造价低
    (2)方便文件共享

    缺点
    (1)读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里面的硬盘来承受,相比起磁盘阵列动不动就十几上百块硬盘同时读写,速率慢了许多。

    使用场景
    日志存储。
    有目录结构的文件存储。

    对象存储

    在这里插入图片描述
    典型设备:内置大容量硬盘的分布式服务器

    对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

    之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?于是就有了对象存储。

    首先,一个文件包含了属性(术语:metadata,元数据,例如该文件的大小、修改时间、存储路径等)以及内容(数据)。

    像FAT32这种文件系统,是直接将一份文件与metadata一起存储的,存储过程先将文件按照文件系统的最小块大小来打散(例如4M的文件,假设文件系统要求一个块4K,那么就将文件打散称为1000个小块),再写进硬盘里,过程中没有区分数据和metadata的。而每个块最后会告知你下一个要读取的块地址,然后一直这样顺序的按图索骥,最后完成整份文件的所有块的读取。
    这种情况下读写速率很慢,因为就算你有100个机械臂在读写,但是由于你只有读取到第一个块,才能知道下一个块在哪里,其实相当于只能有1个机械臂在实际工作。

    而对象存储则将元数据独立出来了,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要负责存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息)而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪里OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数据。
    这时候由于是3台OSD同时对外传输数据,所以传输的速度就会加快了,当OSD服务器数量越多,这种读写速度的提升就越大,通过此种方式,实现了读写快的目的。

    另一方面,对象存储软件是有专门的文件系统的,所以OSD对外又相当于文件服务器,那么就不存在共享方面的困难了,也解决了文件共享方面的问题。所以对象存储的出现,很好的结合了块存储和文件存储的优点。

    关键技术

    对象存储文件系统的关键技术是什么?
    (1)分布元数据
    (2)并发数据访问,对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD

    什么是OSD?

    存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备,简称:OSD

    在存储对象中通过什么对象方式访问对象?

    在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问对象

    OSD的主要功能是什么?
    (1)数据存储。OSD管理对象数据,并将它们放置在标准的磁盘系统上,OSD不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据读写;
    (2)智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSD可以智能的支持对象的预取,从而可以优化磁盘的性能
    (3)每个对象元数据的管理。OSD管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。

    优点
    具备块存储的读写高速。
    具备文件存储的共享等特性。

    使用场景: (适合更新变动较少的数据)
    图片存储。
    视频存储。

    为什么对象存储兼具块存储和文件存储的好处,还要使用块存储和文件存储呢?
    (1)有一类应用是需要存储直接裸盘映射的,例如数据库。
    因为数据需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对裸盘进行格式化的,所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更合适使用块存储。
    (2)对象存储的成本比起普通的文件存储还要较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了做文件共享的时候,直接用文件存储的形式好了,性价比高。

    三种存储类型差异

    在这里插入图片描述

    三种存储方式差异

    在这里插入图片描述
    在这里插入图片描述
    参考资料:
    http://www.cnblogs.com/hukey/p/8323853.html
    https://mp.weixin.qq.com/s/6yQoQTrIInL2FHCu1-Okww
    https://blog.csdn.net/xiaoliuliu2050/article/details/79962841

    展开全文
  • 工作6,7年了,在实际搭建私有云网络中常用NAS结构,而部署传统RAC集群的时候也需要配SAN网络,对这几种存储方式有直观的了解,却没能理论化系统化的梳理,今天看到一篇讲这方面的文章,我也就搞了个拿来主义,收录到...

    工作6,7年了,在实际搭建私有云网络中常用NAS结构,而部署传统RAC集群的时候也需要配SAN网络,对这几种存储方式有直观的了解,却没能理论化系统化的梳理,今天看到一篇讲这方面的文章,我也就搞了个拿来主义,收录到自己的BLOG下,同时又加入了一点自己的想法,和其他很多博主的想法,整理后供自己和大家学习交流。

    块存储

    典型设备:磁盘阵列、硬盘
    块存储主要是将裸磁盘空间整个映射给主机使用的。
    就是说例如:磁盘阵列里面有5块硬盘,然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G,共有5个硬盘,划分为逻辑盘也为5个,每个100G,但是这5个逻辑盘和原来的5个物理盘意义完全不同了。例如第一个逻辑盘第一个20G可能来自物理盘1,第二个20G来自物理盘2,所以逻辑盘是多个物理盘逻辑虚构出来的硬盘。
    接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是无法区分到底是物理盘还是逻辑盘,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没区别,至少操作系统感知上没有区别的。
    在此方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。

    优点
    (1)这种方式的好处当然是因为通过了Raid与LVM等手段,对数据提供了保护;
    (2)可以将多块廉价的硬盘组合起来,称为一个大容量的逻辑盘对外提供服务,提高了容量;
    (3)写入数据时,由于是多块磁盘组合出来的逻辑盘,所以几块硬盘可以并行写入的,提升了读写效率;
    (4)很多时候块存储采用SAN架构组网,传输速度以及封装协议的原因,使得传输速度和读写效率得到提升
    
    缺点
    (1)采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要购买光纤交换机,造价成本高;
    (2)主机之间数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,在格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据
    (3)不利于不同操作系统主机间的数据共享:因为操作系统使用不同的文件系统,格式化后,不同的文件系统间的数据是共享不了的。 例如一台win7,文件系统是FAT32/NTFS,而linux是EXT4,EXT4是无法识别NTFS的文件系统的。
    

    文件存储

    典型设备:FTP、NFS服务器
    为了克服文件无法共享的问题,所以有了文件存储。
    文件存储也有软硬一体化的设备,但是其实一台普通的PC机,只要装上合适的操作系统和软件,就可以架设FTP与NFS服务了,架上该类服务之后的服务器,就是文件存储的一种了。
    主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。

    优点
     (1)造价低:随便一台机器就可以,另外普通的以太网就可以,根本不需要专用的SAN网络,所以造价低
     (2)方便文件共享
    
    缺点
     (1)读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里面的硬盘来承受,相比起磁盘阵列动不动就十几上百块硬盘同时读写,速率慢了许多。
    

    对象存储

    对象存储是无层次结构的数据存储方法 ,类比Hadoop,通过管理节点中存储的元数据索引信息找到对象文件本身的概念很相似。

    典型设备:内置大容量硬盘的分布式服务器
    对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。
    之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?于是就有了对象存储。

    首先,一个文件包含了属性(术语:metadata,元数据,例如该文件的大小、修改时间、存储路径等)以及内容(数据)。
    像FAT32这种文件系统,是直接将一份文件与metadata一起存储的,存储过程先将文件按照文件系统的最小块大小来打散(例如4M的文件,假设文件系统要求一个块4K,那么就将文件打散称为1000个小块),再写进硬盘里,过程中没有区分数据和metadata的。而每个块最后会告知你下一个要读取的块地址,然后一直这样顺序的按图索骥,最后完成整份文件的所有块的读取。
    这种情况下读写速率很慢,因为就算你有100个机械臂在读写,但是由于你只有读取到第一个块,才能知道下一个块在哪里,其实相当于只能有1个机械臂在实际工作。

    而对象存储则将元数据独立出来了,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要负责存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息)而其他负责存储数据的分布式服务器叫做OSD(Object-based Storage Device),主要负责存储文件的数据部分。当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪里OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数据。
    这时候由于是3台OSD同时对外传输数据,所以传输的速度就会加快了,当OSD服务器数量越多,这种读写速度的提升就越大,通过此种方式,实现了读写快的目的。

    另一方面,对象存储软件是有专门的文件系统的,所以OSD对外又相当于文件服务器,那么就不存在共享方面的困难了,也解决了文件共享方面的问题
    所以对象存储的出现,很好的结合了块存储和文件存储的优点

    为什么对象存储兼具块存储和文件存储的好处,还要使用块存储和文件存储呢?

     (1)有一类应用是需要存储直接裸盘映射的,例如数据库。因为数据需要存储楼盘映射给自己后,再根据自己的数据库文件系统来对裸盘进行格式化的,所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更合适使用块存储。
    (2)对象存储的成本比起普通的文件存储还要较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了做文件共享的时候,直接用文件存储的形式好了,性价比高。
    

    存储形态拓扑
    在这里插入图片描述
    三者之间的差异
    在这里插入图片描述
    对象存储文件系统的关键技术是什么?

    (1)分布元数据
    (2)并发数据访问,对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD
    

    什么是OSD?

    存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备,简称:OSD

    在存储对象中通过什么对象方式访问对象?

    在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问对象
    

    OSD的主要功能是什么?

    (1)数据存储。OSD管理对象数据,并将它们放置在标准的磁盘系统上,OSD不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据读写;
    (2)智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSD可以智能的支持对象的预取,从而可以优化磁盘的性能
    (3)每个对象元数据的管理。OSD管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。
    

    对象存储与CDN
    对象存储主要用来存储图片、音频、视频等非结构化数据,核心是计算能力(图片处理).
    对象存储将数据通道(需要访问的数据)和控制通路(元数据,即索引)分离,先根据索引(也就是元数据)找到数据存储的位置,进而通过底层的存储接口来访问数据。
    CDN(Content Delivery Network)核心是内容分发,基本思路就是在网络各处部署服务节点,系统实时地根据网络流量、负载状况、服务节点到用户的响应时间等信息,自动将用户请求到导向离用户最近的节点上。目的就是让用户就近取得数据,提高响应速度。但CDN不会给用户提供直接操作存储的入口,所以一般是对象存储和CDN配合使用。

    在这里插入图片描述

    CDN节点解决了跨运营商和跨地域访问
    在这里插入图片描述
    CDN的关键技术

    (1)内容发布:借助于索引、缓存、流分裂、组播等技术,将内容发布或投递到距离用户最近的服务节点;

    (2)内容路由:整体性的网络负载均衡技术,通过内容路由器中的重定向机制,在多个服务节点上均衡用户的请求;

    (3)内容交换:根据内容、服务节点以及用户的信息,利用应用层交换、流分裂等技术,智能地平衡负载流量;

    (4)性能管理:通过内部和外部监控系统,获取网络部件的状况信息,测量内容发布的端到端性能。

    CDN本质上是一个分布式缓存系统,每个服务节点上都缓存了源站的一部分数据,也就是用户最近经常访问的数据。这样大部分用户请求其实都是在CDN边缘节点上完成,并没有达到源站,这样减少了响应时间,也减轻了源站的负担,可以实现高流量、大并发的网站访问。

    CDN对动态资源是无效的,主要适合对静态资源的访问加速。比如一些网页内容需要数据查询才能获得,而每次要获得查询结果都要经过数据库的操作,再经过Web应用服务器的一些逻辑处理才能得到,这样就没法用CDN来加速。因为每次请求的数据都不一样,缓存过去访问过的数据没有意义。

    随着点播、直播等视频类应用的红火,CDN又迎来了一个新的增长点。直播平台都需要CDN来加速视频播放,可以说直播提高了CDN服务商和网络主播的收入。

    我们知道,对象存储里面存的就是一些图片、视频、文件等等,都是静态数据,正好适合用CDN做加速。我们要做的就是购买CDN服务,并把我们的静态数据URL添加到CDN的加速域名列表中。

    CDN主要应用于站点加速,提高网站中静态数据的访问性能,比如图片、音频、视频、静态HTML网页等。网站静态数据以前一般是用文件存储的形式保存,现在则主要用对象存储。

    以图片存储为例,简单说,对象存储是存图片的,CDN是加速下载图片的。对象存储+CDN,已经成为互联网应用的一个必不可少的组成部分。

    参考:https://www.ibm.com/cloud-computing/cn-zh/object-storage/;http://www.cnblogs.com/hukey/p/8323853.html;https://www.sohu.com/a/234219738_130419

    展开全文
  • 首先,我说下块存储。块存储可以看作为是裸盘,最明显的特征是不能被操作系统直接访问。可以通过划分逻辑卷、做RAID、LVM(逻辑卷)等方式将它格式化,可以格式化为你所指定的文件系统(Ext3,Ext4,NTFS,FAT32等)...

    首先,我说下块存储。块存储可以看作为是裸盘,最明显的特征是不能被操作系统直接访问。可以通过划分逻辑卷、做RAID、LVM(逻辑卷)等方式将它格式化,可以格式化为你所指定的文件系统(Ext3,Ext4,NTFS,FAT32等),然后才可以被操作系统访问。常见的DAS、FC-SAN、IP-SAN都是块存储。

    优点:读写速度快(带宽和IOPS);缺点:太过于底层,不利于扩展,不能被共享;

    其次,与块存储对应的是文件存储。文件存储可以分为本地文件存储和网络文件存储。

    • 本地文件存储:ext3,ext4,NTFS,FAT32
    • 网络文件存储(NAS存储):CIFS,NFS

    文件存储最明显的特征是支持POSIX的文件访问接口:open、read、write、seek、close等;

    优点:便于扩展&共享;缺点:读写速度慢;

    对象存储,相对来说是比较新的一种存储。有一种说法是这样的,对象存储一定是分布式存储,因为分布式文件存储可能是分布式存储,而未必是对象存储。常见的对象存储的开源实现有Ceph的RADOS、Openstack的swift、AWS s3等;常见分布式文件系统有lustre、glusterfs、HDFS等;

    表面区别:对象存储支持的访问接口基本是restful接口,而分布式文件存储提供的是POSIX兼容的文件操作接口;

    本质区别:分布式文件存储文件组织方式为目录树,对象存储采用的是扁平的组织方式;对象存储不支持随机读取和写入,put和get都是针对整个文件。

    展开全文
  • 【Linux】Linux文件文件存储

    千次阅读 2019-02-05 17:20:40
    从使用和创建文件的用户角度来看,文件是磁盘的最小存储单元,用户数据除非在文件中,否则不能保存到磁盘;从进程的角度来看,文件是一种进程可以对它进行访问的,但独立于进程而存在的数据结构,文件中的信息不会因...
  • https://blog.csdn.net/enweitech/article/details/51445087 块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象...
  • 详解文件存储结构

    2019-01-30 09:24:52
    Linux 系统中的一切文件都是从“根(/)”目录开始的,并按照文件系统层次化标准(FHS, Filesystem Hierarchy Standard)采用树形结构来存放文件,以及定义了常见目录的用途。Linux 系统中的文件和目录名称是严格...
  • 本次代码的环境: 运行平台: Windows Python版本: Python3.x IDE: PyCharm 一 概述 数据存储是爬虫的一个很重要的部分,爬虫爬出来的数据要不存到...基于这两个存储思想,保存形式可以动作多样,文件存储有:T...
  • 文件存储 块存储和文件存储异同: 对象存储 1、对象 2、对象存储设备 3、元数据服务器(Metadata Server,MDS) 4、对象存储系统的客户端Client 三者之间异同比较 参考文献 如果要实现一个计算机,那么这个...
  • 存储系统科普——文件系统介绍

    千次阅读 2018-08-17 10:20:55
    简介 该篇blog只是存储系列科普文章中的第二篇,所有文章请参考: 博客所有文章 ... 操作系统层:即文件系统,操作系统如何将各个硬件管理并对上提供更高层次接口; 单机引擎层:常见存储系统对应单...
  • 将rdd存储到本地的一个文件

    千次阅读 2016-05-17 20:45:37
    spark中,将文件存储为单个文件
  • C++保存数据到本地文件

    万次阅读 2017-10-17 16:44:12
    C++ 保存数据到本地文件常用的有两种方法。
  • 向MongoDB中存储文件

    万次阅读 2018-11-06 09:46:44
    方式一: 以文档形式存储 方式二: 借助GridFS   https://www.cnblogs.com/lipan/archive/2011/03/21/1989409.html
  • eclipse怎么更改存储位置

    万次阅读 2017-07-31 15:25:29
    eclipse怎么更改存储位置 1、打开eclipse  2、然后依次点击file-->switch workspace-->other 3、选择要设置为默认路径的目录,点击OK。
  • python存储List数据到文件

    万次阅读 2019-01-29 14:23:28
    写入txt文件 def text_save(filename, data):#filename为写入CSV文件的路径,data为要写入数据列表. file = open(filename,'a') for i in range(len(data)): s = str(data[i]).replace('[','').replace(']','')#...
  • Android本地存储的几种方式

    万次阅读 2019-11-17 12:39:53
    Android提供了多种选择来保存永久性的数据,根据不同的需求来使用不同的保存方式,一般情况下,保存数据的方式有下面几种: SharedPreferences 内部存储 外部存储 SQLite 网络连接 下面主要来看一下前...
  • Eclipse修改文件默认存储位置

    千次阅读 2019-01-24 21:27:29
    Eclipse修改文件默认存储位置 首先打开Eclipse; 然后【File】== > 【Switch Workspace】== >【Other】 最后修改路径就可以了
  • 1、存储 利用save函数 save(filename) %将当前工作区中的所有变量保存在 MATLAB® 格式的二进制文件(MAT 文件)filename 中。 save(filename,variables) %仅保存 variables 指定的结构体数组的变量或字段。...
  • 【C#】将文本保存到本地txt文件

    万次阅读 热门讨论 2018-02-01 15:42:28
    界面 代码 private void btnSave_Click(object sender, EventArgs e) { string result = txtWrite.Text.Trim(); //输入文本 StreamWriter sw = File.AppendText(@"D:\\test.... //保存到指定路径 sw.Write(res
1 2 3 4 5 ... 20
收藏数 4,242,712
精华内容 1,697,084
关键字:

文件存储