千际计算机
 分布式存储，是一种存储方式，区别于目前已经成熟的中心化存储，指的是通过网络使用分布式存储系统内的每一个本地存储空间，即将文件数据分散存储在多个独立的节点上。
 它通常采用可扩展的系统，利用多台服务器分担存储负荷，快速、安全、稳定，并且扩展空间极高。
 它的工作原理是：将一份文件切割成N份碎片，根据就近原则存储到附近的N个节点上，每个存储点都会形成一个地址，而我们最后会有一个包含所有存储地址的新文件。
 在分布式存储中，每份文件都可以被备份，保存在不同节点，以防一个节点丢失或下线，其它节点仍可以为其进行补充。
 而当我们想要检索存储的文件时，系统会根据地址，同时对N个节点中搜索，最后形成一份完整文件，这不仅让存储变得安全，就连检索也实现了高效。
 面对数据的急速膨胀，传统的存储技术已经不足以适应行业发展需求。随着新数据时代的来临，行业新应用的爆发式增长，数据将呈现出海量、多元、实时、多云等趋势。这些趋势给传统的存储设施和技术带来了严峻的挑战。而分布式存储技术，正是未来数据存储发展的趋势。
 同样是“网络访问量激增、用户数据越来越多，服务器的处理器都处于一个崩溃的临界点上”的这样一个时代，相较于阿里云在一开始就在质疑中孕育、成长，伴随数据爆发式增长，2020年分布式云存储的春天已经到来，用户已经越来越多的选择分布式存储，分布式存储是未来的发展方向已成为业界共识。
 千际计算机作为云计算与边缘计算生态系统整合商，将为分布式存储爱好者提供全方位支持。携手千际计算机，共创美好未来！

	

    分布式存储，是一种存储方式，区别于目前已经成熟的中心化存储，指的是通过网络使用分布式存储系统内的每一个本地存储空间，即将文件数据分散存储在多个独立的节点上。
     它通常采用可扩展的系统，利用多台服务器分担存储负荷，快速、安全、稳定，并且扩展空间极高。
    它的工作原理是：将一份文件切割成N份碎片，根据就近原则存储到附近的N个节点上，每个存储点都会形成一个地址，而我们最后会有一个包含所有存储地址的新文件。
    在分布式存储中，每份文件都可以被备份，保存在不同节点，以防一个节点丢失或下线，其它节点仍可以为其进行补充。
    而当我们想要检索存储的文件时，系统会根据地址，同时对N个节点中搜索，最后形成一份完整文件，这不仅让存储变得安全，就连检索也实现了高效。
    面对数据的急速膨胀，传统的存储技术已经不足以适应行业发展需求。随着新数据时代的来临，行业新应用的爆发式增长，数据将呈现出海量、多元、实时、多云等趋势。这些趋势给传统的存储设施和技术带来了严峻的挑战。而分布式存储技术的正是未来数据存储发展的趋势。
    同样是“网络访问量激增、用户数据越来越多，服务器的处理器都处于一个崩溃的临界点上”的这样一个时代，相较于阿里云在一开始就在质疑中孕育、成长，伴随数据爆发式增长，2020年分布式云存储的春天已经到来，用户已经越来越多的选择分布式存储，分布式存储是未来的发展方向已成为业界共识。

	

KV 数据库
KV，Key-Value,让人想定Mongo数据库，和JSON数据交换格式。 数据存储，存储的数据主要分两种：结构数据（关系表），非结构数据（大文件，杂数据（模式和内容揉合（HTML））
分布式存储系统
1、分布式文件系统：存储文本，图片，音视频等非结构化数据。如google的GFS/colossus和开源的hdfs。
2、分布式键值系统：存储简单的半结构化数据。NoSql的分布式扩展，只提供基于key的增删改查（CRUD）功能。如Amazon的Dynamo。
3、分布式表格系统：存储复杂的半结构化数据。相较于分布式kv系统，他还支持基于key的范围查找。但相对于关系型数据库，他不支持复杂的操作，如多表关联，嵌套查询。典型的系统如google的bigtable和开源的hbase。
4、分布式数据库：存储结构化数据。分布式的关系型数据库。提供SQL关系查询语言。如：google的spanner和开源的hive。
单机存储引擎
存储系统提供的基本功能包括：增删改查（CRUD==增加(Create)、读取查询(Retrieve)、更新(Update)和删除(Delete))。不同的存储方案根据业务不同侧重点不同，导致存储系统的性能和功能具有一定的差异。
目前主要的单机存储引擎有：
1、哈希存储：hash的CRUD是最快的。但缺点是不支持顺序扫描。bitcask是一个基于hash表结构的存储系统。他将写操作（包括删除标识）追加到文件尾。并定期合并新老文件&记录。
2、B树：既支持随机读取又支持范围查找的系统。查找时间复杂度为logd(n)（d为每个节点的出度）。Mysql的InnoDB的引擎和OS的文件系统使用的就是B+树。（为什么选择使用B树的变种B+树，读者有兴趣可以去探究下。提示：磁盘读取）
3、LSM树(Log Structured Merge Tree)：由B+数改进而来。其思想为：将增量写操作保存在内存中，超过阈值时刷入磁盘，从而减少随机写磁盘操作。读操作则需要合并磁盘数据和内存中的写操作。通过Memtable/SSTable实现，实现细节在此不做深入探究。比较适合写操作较多的业务场景。BigTable/HBase/Cassandra中的列簇的数据存储方式采用的即是LSM树。
RocksDB
RocksDB相对传统的关系数据库的一大改进是采用LSM树存储引擎。LSM树是非常有创意的一种数据结构，它和传统的B+树不太一样.
RocksDB的主要设计目标是保证存取快速存储器和高负载服务器更高效，保证充分利用Flash或RAM子系统提供的高速率读写，支持高效的查找和范围scan，支持高负载的随机读、高负载的更新操作或两者的结合。其架构应该支持高并发读写和容量大增时系统的一致性。
RocksDB是一个嵌入式键值存储器，其中键和值是任意的字节流。RocksDB中的所有数据是按序存放的。常见操作包括Get(key), Put(key), Delete(key) and Scan(key)。 RocksDB有三个基本结构：RocksDB memtable,sstfile和logfile。memtable是一个内存数据结构——新数据会插入到memtable和日志文件（可选）。日志文件是 顺序写入的，位于磁盘。当memtable写满后,数据会被刷新到磁盘上的sstfile文件，同时相应的日志文件可以安全地删除。sstfile中的数据经过排序的,目的 是为了加快键查找。
分布式键值系统：由多个RocksDB构成的分布式键值系统
元信息节点Meta Server、存储节点Node Server及Client。Meta负责元信息的维护、Node的存活检测及元信息分发；Node负责实际的数据存储；Client的首次访问需要先从Meta获得当前集群的完整数据分布信息，对每个用户请求计算正确的Node位置，并发起直接请求。
为了减轻上面提到的中心节点的单点问题。我们采取了如下策略：
Meta Server以集群的方式提供服务，之间以一致性算法来保证数据正确。
良好的Meta设计：包括一致性数据的延迟提交；通过Lease让Follower分担读请求；粗粒度的分布式锁实现；合理的持久化及临时数据划分等。更详细的介绍见：Zeppelin不是飞艇之元信息节点
智能Client：Client承担更多的责任，比如缓存元信息；维护到Node Server的链接；计算数据分布的初始及变化。
Node Server分担更多责任：如元信息更新由存储节点发起；通过MOVE，WAIT等信息，实现元信息变化时的客户端请求重定向，减轻Meta压力。更详细的介绍见：Zeppelin不是飞艇之存储节点

分布式存储系统是由大量廉价普通PC服务器通过Internet互联，对外作为一个整体提供服务的系统。它的规模大且成本低。

分布式存储系统的特性：

可扩展：分布式存储系统能扩展几百到几千台的规模，随着集群数量的提升，它的系统整体性能也有线性的提升；
	
低成本：由于分布式存储系统具有容错、负载均衡的能力，使其能构建在廉价服务器之上；
	
高性能：单台和整体的服务器性能优越；
	
易用：提供易用的对外接口，具备完善的监控、运维工具。
分布式存储系统挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。

分布式存储技术来源涉及分布式系统和数据库，它要求实现：

数据分布均匀；
	
数据一致性；
	
容错能力；
	
事务与并发控制；
	
易用性；
	
负载均衡；
	
数据的压缩和解压缩问题；
分布式存储面临的数据大致可以分为三类：

非结构化数据：视频、图片等；
	
半结构化数据：Html文档等，模式结构与数据混在一起；
	
结构化数据：一般存储在数据库中，由二维结构表表示。
分布式存储系统可以分为四类：

分布式文件系统：例如GFS、Moosefs等；
	
分布式键值系统：例如Amazon Dynamo
	
分布式表格系统：例如Hbase，其存储依赖分布式文件系统；
	
分布式数据库：例如：OceanBase
 

分布式文件系统

分布式文件系统用于存储图片视频等非结构化数据。

分布式文件系统存储三种类型的数据：Blob对象、定长块、大文件。

在分布式文件系统实现层面，分布式系统内部按照数据块来组织数据。一个大文件可以分为多个数据块，一个数据块可以分为多个Blob对象或者多个定长块。



分布式键值系统

用于存储简单半结构化数据，它提供了基于主键的CRUD功能。

系统实现有Taobao Tair、Amazon Dynamo等。

它是分布式表格系统的简单实现，主要用处为缓存(例如memcache)。

一致性哈希是分布式键值系统中常用的数据分布式技术，被用在Amazon Dynamo上而变得有名。

 

分布式表格系统

分布式表格系统用于存储复杂半结构化数据，支持主键CRUD以及扫描主键范围。分布式表格以表格为单位组织数据，每行有主键标识。

分布式表格系统借鉴了关系数据库中的很多技术，主要应用于对单张表格的操作。但是不支持多表操作。

分布式表格不要求多个数据行包含相同类型的列。

 

分布式数据库

分布式数据库采用二维表格组织数据，提供SQL查询，多表操作以及事务和并发控制功能，它的主要应用有mysql数据库分片集群。

传统的关系型数据库以及二维关系模型很难高效扩展到多个存储节点上，其还存在高并发的性能问题。

为了解决关系型数据库扩展性、高兴发性能问题，引入了NoSql非关系型数据库(memcache)。