精华内容
下载资源
问答
  • 数据存储技术与实践

    2018-10-29 15:15:22
    本资源是由查伟著作的图书数据存储技术与实践教程电子版!
  • 存储软件架构演进过程是跟随数据存储与管理需求的脚步的。需求催生技术演进,存储的需求从最基本数据的存储功能逐渐变化到实现容灾备份、数据管理再到优化业务性能的功能,整个过程是伴随着存储软硬件的变化。 ...

    个人碎碎念

    存储软件架构演进过程是跟随数据存储与管理需求的脚步的。需求催生技术演进,存储的需求从最基本数据的存储功能逐渐变化到实现容灾备份、数据管理再到优化业务性能的功能,整个过程是伴随着存储软硬件的变化。

    展开全文
  • 用户可以读、写、删除包含1 bytes到5 TB数据的对象,用户可存储的对象数量没有限制,对象包括对象数据和元数据。元数据是一组“名(key)-值(value)”对,用于描述对象的属性;包括一些默认的属性,如最后修改日期...

    对象存储基本概念

    桶(Bucket):它是存储对象的容器,每个对象可以创建100个桶,所有用户的桶名不能重复;桶也用于计费、权限控制等功能。

    对象(Object):它是存储数据的基本单位。用户可以读、写、删除包含1 bytes到5 TB数据的对象,用户可存储的对象数量没有限制,对象包括对象数据和元数据。元数据是一组“名(key)-值(value)”对,用于描述对象的属性;包括一些默认的属性,如最后修改日期和标准HTTP头域(如,Content-Type)。开发人员还可以指定在当时的对象是存储自定义元数据。每个对象都存在一个Bucket中,并通过一个唯一的有开发者指定的key来读取。

    对象存储主要应用场景

    内容存储与分发:对象存储可为web应用、媒体文件等提供高持久性、高可用性的存储支持,随着应用数据的增加,可以随时动态扩展存储空间。

    大数据分析:对象存储非常适合存储某些应用场景的原始数据内容,例如制药分析数据、用于计算和定价的金融数据,或用于处理的相片等。

    备份、归档和灾难回复:对象存储为用户的关键数据提供了高持久性、高扩展性以及安全的备份和归档方案。

     

    展开全文
  • 在分布式存储中,一般通过冗余服务、数据来满足可用性需求。 分布式存储系统中的冗余策略 类型 机制 说明 服务冗余 主备 主节点对外提供服务,备节点在主节点故障时提供服务 双活 两个节点同时...

    在分布式存储中,一般通过冗余服务、数据来满足可用性需求。

    分布式存储系统中的冗余策略
    类型 机制 说明
    服务冗余 主备 主节点对外提供服务,备节点在主节点故障时提供服务
    双活 两个节点同时对外提供服务
    无状态分布 多个节点同时对外提供相同的服务
    数据冗余 多副本 数据在多个存储节点上进行分布
    Erasure Code 数据采用EC方式在多个存储节点上分布

     

    在常见的分布式存储系统中,实现2F+1个副本冗余,最多能容忍F个副本同时故障。

    个人碎碎念:

    冗余服务-提供的存储服务断不断。主备模式涉及到提供服务的节点进行切换, 对外服务可能中断。双活与无状态分布不断服务。

    冗余数据-保存的数据丢不丢。

     

    不同数据冗余方式对比
    数据冗余方式 空间利用率 对性能的影响 可靠性
    多副本(2F+1副本) 空间利用率低(1/(2F+1)) 允许F个副本同时腹胀
    Erasure Code(N+M(:B)) 空间利用率高(N/(N+M)) 高(进行M分片的计算与N+M分片的数据下发) 允许M个节点或M块硬盘同时故障(允许B个节点或M块硬盘同时故障)

     

     

     

    展开全文
  • 第一种存储模式的统一存储好处是同一套软件栈中同时提供了NAS服务SAN服务,相比于第二种统一存储的实现模式,NAS功能不受SAN服务的限制,NAS能力相对较强。 第二种存储模式NAS服务的实现依赖于SAN服务,NA

    统一存储主要有两种模式

    1.SAN和NAS的服务在一个存储操作系统中实现,代表厂商:NetApp,HP和华为。

    2.通过SAN存储上接入对应的NAS网关,在管理上形成一个统一的存储,对外既可以提供NAS服务,也可以提供SAN服务,代表厂商:EMC、IBM、HDS。

    个人碎碎念

    第一种存储模式的统一存储好处是同一套软件栈中同时提供了NAS服务与SAN服务,相比于第二种统一存储的实现模式,NAS功能不受SAN服务的限制,NAS能力相对较强。

    第二种存储模式NAS服务的实现依赖于SAN服务,NAS功能较弱。

    在实际场景中,集中式存储常用于数据库等场景,实际场景中多用于提供SAN服务。文件场景常使用分布式存储。

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 教程名称: 云存储技术实践手册汇总【】HDS云存储【】IBM云存储整体解决方案【】《开放云存储服务及应用案例》课件【】云存储技术及其应用【】云存储技术手册【】云存储数据管理接口规范【】云存储架构下的数据安全...
  • 存储解决方案顾问芦浩在CCTC2017中国云计算技术大会上做了主题为《深入理解跨链技术》的演讲,就云计算对存储技术发展的要求,西部数据集团旗下 HGST 品牌产品及解决方案介绍,HGST 品牌产品在云计算领域成功案例...
  • 6月15日,“携程技术沙龙——数据存储与微服务架构实践”在携程上海总部举行,邀请了百度、阿里和携程的优秀工程师们,分享在数据存储、微服务体系演进和应用监控系统等领域的最新...
  • 百分点基于实践探索自主研发出了OSS,可以将海量的网页内容、图片、音视频等非结构化数据,在高并发的场景下被快速、准确的存储及方便的下载。 对象存储服务(Object Storage Service,简称..
  • QingStor 对象存储服务提供可无限扩展的存储空间、快速的数据存取性能、高度的可靠性和数据的安全性、细粒度的权限控制及简单易用的接口,以向广大用户提供廉价、可靠的存储系统。 本次分享,QingCloud 系统工...
  • 腾讯大数据“星火计划”系列技术沙龙第7期,《Ozone——面向数据湖的下一代大数据存储》直播专场,来自腾讯大数据Ozone团队以及Cloudera的技术专家,由浅入深地为大家介绍了Ozone的技术要点以及实践进展。...
  • 日志服务数据的开放性以及云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。Kubernetes容器技术促进了技术栈的去耦合,通过引入栈的分层使得开发者可以更加关注自身的应用程序和业务场景...
  • 表3-1 存储控制层和数据层 用户在使用存储时,着重关注数据服务的策略,这些策略具体的数据存储方式无关。而当今的存储虚拟化产品将存储控制和数据层结合,即数据服务的策略紧密依赖于数据存储的方式。事实上,...
  • 简介: 在云计算和大数据时代,基于数据开展生产、运营、决策成为常态,根据...数据湖(Data Lake)概念自2011年被推出后,其概念定位、架构设计和相关技术都得到了飞速发展和众多实践,数据湖也从单一数据存储池概念演
  • 下面四个不同的案例可以用来展示公有云存储的能力: 1)首要存储:云存储可以用来提供常常处于活跃状态的数据存储,也可以提供内部(On-Premises Storage)存储的扩展。具体实例包括:员工文件共享、软件即服务SaaS...
  • 如果一个客户购买并在本地管理存储和成本在云上差不多,那么云存储就没有了市场。成本可以分为两类:物理存储生态系统的成本和管理该系统的成本。管理存储是隐藏的,但是代表了一类长期的成本。因此,云存储应该极...
  • 一个类似的私有云存储产品是Nirvanix的hNode,它基于支撑Nirvanix存储交付网络(Storage Delivery Network)的技术,提供完全管理的、按需付费的数据中心内部的云存储服务。 10.3.3 混合云存储 在混合云存储环境中...
  • 每一份数据都会有一个协调者,负载落在某个范围内的数据存储与复制。除了在本地存储数据,协调者还将数据复制到接下来的N-1个后续节点上。也就是说,每个节点都负责之前N个节点(包括自己)的数据副本存储。如图12-3...
  • 章 云存储应用 云存储(或者叫数据存储即服务)是对数据存储的一种抽象,它有一个接口可以让存储按需管理和分配。更进一步说,这类接口对存储的位置进行了抽象,因此存储是本地的或者远程的并不是很重要。云存储的...
  • 章 软件定义存储 软件定义存储(Software-Defined Storage,SDS)是软件定义数据中心(SDDC)的一个核心组件。有别于传统的存储,软件定义存储提出了一种新的存储管理模式,使其能够满足软件定义数据中心以及云计算...
  • NAS不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置了网络连接所需要的协议,因此使整个系统的管理和设置较为简单。③共享的存储访问。NAS允许多台服务器以共享的方式...
  • 存储的大发展既有大数据爆发的推动,也得益于移动终端和移动互联网的高速发展及云计算技术的逐步成熟。随着越来越多的软件和数据加速迁移到“云端”,个人云取代电脑本地存储的趋势日渐明朗。 个人云存储市场有...
  • 对于日益积累的监控数据,显然需要有规划地进行...所以,通常情况下,各类监控系统的后台数据库都可以认为是时间序列的数据存储,并由此诞生了一批针对监控数据存储开发的数据库,其中最有代表性是RRDtool和Graphit...
  • 架构是科学也是艺术,优秀的架构案例往往可以拓宽我们的思路,让问题迎刃而解。本期携程技术沙龙邀请了携程、百度和阿里的优秀工程师带来各自领域最新的架构实践成果,特别集中在数据...
  • 虽然在设计之初并不是用于软件定义存储、软件定义数据中心或云计算的场合,但通过这些新技术(特别是软件定义存储)的有效整合,VPLEX在全新的场景里仍然大有用武之地,特别是跨数据中心的数据迁移高可用性保障...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,485
精华内容 594
关键字:

数据存储技术与实践