精华内容
下载资源
问答
  • 低频存储,归档存储,大家慎用
    千次阅读
    2018-08-15 14:33:16
    阿里在oss中有个生命周期的设置,把历史不经常访问的数据可以存入低频存储或者归档存储,看似一切都很美好,但是,当你执行之后,会让你欲哭无泪,特别是存储中数据量非常大的时候
    1,数据存入归档存储,低频存储,目前无数据包,原来标准存储的数据包也不能覆盖到,所以你只能眼睁睁的看着每个小时的扣费账单,余额以可见的速度在减少
    2,当你问阿里有什么解决方案的时候,他会一个工具,ossimport,看似一切也很美好,可以把低频存储的数据拷贝到另一个bucket,然后我就在内网搭建了一台服务器,专门用来把低频存储的数据存到另一个bucket,这样就又变回标准存储了
    3,当脚本运行一夜后,第二天起床,你会收到阿里的一条欠费消息,什么,余额300多的帐号,运行一夜后居然欠费了,就是这么坑爹,让你数据存进去后,取回成本非常大,而且一个月的数据还没同步完,我感觉含泪冲了钱,把脚本停了,没想到中午又收到欠费提醒,纳尼,脚本停了还在持续扣费
    总结:阿里发布的各种新产品看似很美好,用起来就并不那么回事

    更多相关内容
  • 在数字化转型浪潮中,如何存储和利用好数据,是企业面临的首要问题。相比于传统互联网全面拥抱云,产业互联网在数字化转型过程中,通常第一步是利用云存储归档数据。随着业务的增长,企业积攒了大量...

    在数字化转型浪潮中,如何存储和利用好数据,是企业面临的首要问题。相比于传统互联网全面拥抱云,产业互联网在数字化转型过程中,通常第一步是利用云存储来归档数据。

    随着业务的增长,企业积攒了大量重要数据,一些数据在经过清洗和处理后,需要长期保存,以备将来进一步分析;一些数据则是出于行业监管和合规的要求,需要长期保存。典型的数据归档业务场景包括:

    • 金融交易:交易日志、票据影像、双录视频;

    • 视频监控:安防监控、交通监控、个人视频监控;

    • 生命科学:医疗影像数据、电子病例、基因测序数据;

    • 广告营销:电子商务日志、广告营销日志;

    • 娱乐游戏:短视频、社交数据、游戏日志;

    • 媒资视频:视频影像、在线课程视频;

    • 自动驾驶:视频采集、遥感监控、激光雷达;

    • 科研教育:天文观测、高能物理、海洋监控、油气勘探、地震预测。

    谈到数据归档,就绕不过磁带库。

    磁带库的问题和挑战

    从第一款磁带机面世,磁带技术已经有50多年历史了。虽然磁带技术经过多轮演进,并在企业级数据归档存储市场上占有特殊地位,但是仍然面临很多问题和挑战:

    • 前期投入大,需要一次性投入购买磁带库,需要复杂的管理和运维工作;

    • 磁带长期保存需要特殊的物理环境条件,一旦受潮,磁带会退化或者霉变,即使看起来完好无损,数据也可能无法恢复,数据丢失的风险非常高;

    • 虽然磁带具备比较长的寿命,为了保证数据可靠性,需要定期进行数据迁移,这是一项耗时费力的任务;

    • 数据恢复时间长,对于离线保持的磁带,需要人工参与恢复流程;

    公有云发展到今天,云存储产品通过不断的创新,在保证安全、可靠的基础上,存储成本得到持续降低。对比传统磁带库归档方案,客户有了更具性价比的选择。

    腾讯云深度归档介绍

    腾讯云近期发布了深度归档存储,一款新的对象存储COS类型,可以提供低成本、安全持久的数据存储服务。相比于低频存储和归档存储,其价格更低,适用于存储访问频率极低(如半年一次)但需要持久存储的数据,如日志审计数据,安防监控数据等。其安全性、持久性、低价格等特性,能最大程度的满足冷数据存储的诉求。

    深度归档存储在软件架构、硬件设备、任务管理系统上都进行了全新升级,通过全新的架构最大程度的提升设备的利用率,为用户降低存储成本。深度归档存储费用仅为0.01元/GB/月,对比磁带归档,总体TCO下降20%

    深度归档提供两种数据恢复选项:

    • 标准模式:数据可以在12小时内完成恢复;

    • 批量模式:恢复成本低,数据可以在48小时内完成恢复;

    对比传统磁带库,云上归档提供了更简单、更快速的数据恢复服务。

    同时,深度归档存储具备99.999999999%(11个9)的数据持久性,比传统磁带库提供更高的可靠性。

    云上归档解决方案

    • 结合商业备份软件服务

    当前,主流商业备份软件都完成了与腾讯云对象存储COS的对接认证,客户可以根据归档数据的保存时长、访问频率、恢复时间等条件,选择合适的对象存储COS类型作为归档介质库。

    在不改变现有归档业务流程的情况下,通过备份软件上创建对象存储COS归档介质库,并配置访问Bucket相应的权限认证信息,就可以将数据直接归档上云。

    架构上,备份软件通常由备份管理服务器、备份服务器和备份客户端构成。备份服务器直接访问对象存储COS,支持类型包括标准存储、低频存储、归档存储和深度归档存储。

    备份服务器将数据压缩、去重后,可以直接写入深度归档存储,或者先写入标准存储后,通过生命周期管理自动沉降到深度归档存储。例如,7天以内的数据保存在标准存储,便于随时恢复数据;7 ~ 30天的数据沉降到低频存储,作为温数据以备突发访问;超过30天后,沉降到深度归档,进行长期归档存储。

    云上归档解决方案提供端到端的加密服务,确保数据安全。默认情况下,数据通过HTTPS协议加密传输上云,保证数据传输过程中的安全。通过备份软件自身的加密功能,或者对象存储COS的加密服务,数据加密后存储,保证数据存储过程中的安全。

    • 通过文件存储网关归档

    如果备份软件还不兼容对象存储COS,可以借助CSG文件存储网关,通过备份软件创建NAS归档介质库,间接归档数据到云上深度归档存储。

    文件存储网关(Cloud Storage Gateway,CSG)是一种混合云存储服务,CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据,无缝接入公有云,实现数据的上云。可以根据业务需求灵活地部署在云上或者本地,轻松地进行数据的上云、归档以及灾难恢复。

    CSG会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据的安全持久性。CSG 能够根据时段分配调度上传下载的带宽,在带宽资源紧张时,可以限制网关占用的带宽,以免影响自有业务;而在业务空闲时则可放开限制,充分利用带宽资源。 

    数据上云后,同样借助COS生命周期管理功能,完成数据沉降到深度归档,进行长期归档存储。

    • 离线数据搬迁上云

    如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务CDM专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。

    云数据迁移(Cloud Data Migration,CDM)是腾讯云提供的 TB~PB 级别的数据迁移上云服务。提供安全可靠的离线迁移专用设备,解决本地数据中心通过网络传输时间长、成本高的问题。

    CDM 迁移设备使用标准的电源,支持 ext4、NFS、CIFS、HDFS 等多种文件系统,用户无需担心数据中心环境兼容问题。

    采用256位加密密钥对数据进行自动加密,保证第三方无法从磁盘获取文件信息。迁移完成后,对设备上的数据进行彻底擦除,确保数据不会被泄露读取。

    云上归档的主要优势

    • 更高的可靠性

    深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达99.999999999%(11个9)的数据持久性,数据的耐久性远高于磁带库。

    • 端到端的加密保障数据安全

    对于数据的存储,对象存储服务端加密可以对存储的数据进行加密,保证用户的隐私,用户访问时会自动解密。对于数据的传输,对象存储提供用 HTTPS 部署 SSL 证书实现加密的功能,在传输链路层上建立加密层,确保数据在传输过程中不会被窃取及篡改。

    • 成本低、免运维

    使用深度归档存储,您无需采购硬件、部署和运维,避免前期高额投入,节省了运维工作和托管成本。对象存储支持按需按量使用,您无需预先支付任何预留存储空间的费用,对比磁带库总体TCO降低20%。

    • 数据恢复时间短

    整个数据恢复流程完全自动化,无需人工参与。采用标准恢复模式下,数据可以在12小时内完成恢复。

    • 支持跨区域数据复制功能

    通过配置对象存储跨地域复制规则,可以在异地区域的存储桶中自动、异步地复制数据,满足行业对归档数据跨地域保存的合规性要求。

    • 兼容性主流备份软件

    目前,支持对象存储COS的主流商业备份软件厂商包括:Commvault、Veritas、Veeam、爱数、鼎甲、云信达、木浪云、科力锐等。后续会有更多的厂商完成对接和认证。

    写在最后

    数字化转型为企业业务的快速增长提供原动力,数据作为企业核心资产,需要高可靠、低成本的归档方案。随着腾讯云COS深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。

     点击阅读原文,了解更多!

    展开全文
  • 轻量级——通过单例、归档存储多个用户数据简书地址:https://www.jianshu.com/p/3c98fa3622b3GitHub:https://github.com/onepiec/TLBaseModel
  • 宝塔面板腾讯云cos的默认存储类型为标准存储,标准存储费用相比归档存储要高得多,又不能像阿里云oss通过修改存储桶来设定存储类型,所以必须要手动修改。 路径:/www/server/panel/plugin/txcos/txcos_main.py ...

    宝塔面板腾讯云cos的默认存储类型为标准存储,标准存储费用相比归档存储要高得多,又不能像阿里云oss通过修改存储桶来设定存储类型,所以必须要手动修改。

    路径:/www/server/panel/plugin/txcos/txcos_main.py

    大概在1280行处添加代码StorageClass='ARCHIVE',

    保存即可。 

    展开全文
  • 提到归档存储,人们的印象是往往是一盒盒充满历史感的磁带或者满柜子冰冷冷的蓝光光盘。这些磁带或者光盘一旦存储了数据,就意味着数据进入到数据中心某个不起眼的角落中,如没必要将通常会进入到“沉睡”阶段,有些...

    提到归档存储,人们的印象是往往是一盒盒充满历史感的磁带或者满柜子冰冷冷的蓝光光盘。这些磁带或者光盘一旦存储了数据,就意味着数据进入到数据中心某个不起眼的角落中,如没必要将通常会进入到“沉睡”阶段,有些数据甚至几十年都不再被读取使用。

    现如今,归档这项拥有多年历史的古老业务,因为各个行业数字化转型步伐的加速,以及云计算技术的普及,正在发生着翻天覆地般的变化。正如UCloud存储平台研发总监吴斌炜所言:“国内一家短视频巨头,一天数据量增长就高达3PB。由于法规的要求,很多业务数据往往需要保存三个月,这家短视频巨头甚至要将数据保存六个月之久。其他像广电行业、电商直播、生物基因等行业都有着类似的情况,归档存储正在成为很多行业的硬需求。”

    事实上,在归档存储领域,光盘库厂商和磁带库厂商拥有着多年话语权。但不能忽视的是,云计算的崛起正在改变着归档市场。如今,像UCloud这样的云服务提供商纷纷加码归档存储,必然会给归档存储带来产品技术、使用模式、服务方式等不一样的视角。

    面对归档存储这个历史悠久的市场,UCloud大举发力,是要做一个市场的搅局者还是变革者?让我们从冷数据的发展趋势以及UCloud最新的归档存储产品中一窥究竟。

    冷数据的“热”时代:归档存储迎来新变革

    多年以来,冷数据一直备受“冷遇”。这种“冷遇”一方面是因为冷数据通常是很长时间都用不着,与业务的紧密程度远不及主存储中的热数据;另一方面则是冷数据的保存需要占据相当多的空间和人力成本,用户需要投入较大精力对其进行运维。

    冷数据的“冷遇”也造成了归档存储的“低调”,过去只有像档案、金融、税务这些有合规性需求的行业才愿意投入成本。但是这种局面随着近年来数据量的爆炸性增长正在迅速改变,无论是出于合规性需求,还是对于数据价值的挖掘,巨大体量的冷数据都有着极为重要的作用与地位,一个冷数据的“热”时代正在开启。

    相关数据表明,到2025年全球新增数据量高达175ZB的同时,真正能够存储下来的数据只有15ZB,数据流失率超过91%。如何将这些有待挖掘价值的庞大数据保存下来就成为未来存储的挑战。

    正如UCloud所认为,绝大部分数据经过6个月之后都会变成冷数据,随着数据量的不断增加,存储自动分层将是大势所趋。归档存储未来除了合规性之外,很重要的一点就是面临前所未有的数据量时,如何有效地大幅降低存储成本。

    UCloud发力归档存储,市场的搅局者or变革者?

    因此归档存储的这些趋势与挑战,也促成了归档存储市场产生了显著变化:

    首先,由于各个行业数字化转型加速,业务线上化程度大幅增加,带来了海量数据的增长,也直接驱动了冷数据的归档需求,尤其是诞生了很多像电商、直播、基因工程、自动驾驶等新业务场景对于归档存储的需求,这些新业务场景不仅产生了远超过去传统场景的数据量,也因为政策法规的规定,有着明确的归档合规性要求。

    其次,用户在数据归档的方式上也在发生改变。在过去,磁带库、光盘库凭借着容量、能耗、长期成本等方面的优势,成为很多用户在数据归档上的主流选择。但是,云归档的方式近年来开始兴起,逐渐成为用户在数据归档上的又一大选择。

    吴斌炜直言:“磁带库、蓝光等方式存在着运维难度大、初期投入成本高、数据离线等挑战。像光盘库比较适合一次性读入的数据归档,一旦遇到需要读取数据,就很难满足用户需求。”

    第三,归档市场的参与方也正在迅速增加。除了传统的磁带库、光盘库厂商之外,云服务提供商正在成为归档市场中一股重要的力量。云服务提供商凭借规模化的效应、快速的技术迭代、灵活的使用模式,很容易将运维经验、先进技术、领先产品以云服务的方式输出,从而将云归档的成本持续降低,惠及用户。

    “UCloud之所以选择在这个时间点发力归档存储,两个最重要的原因:第一各个行业数据爆炸性增长,归档需求非常大;另外,归档市场的空间很大,但是并没有竞争力特别强的厂商,对于UCloud这样在存储领域有着很深积累的厂商,是非常好的市场机会。”斌炜总结道。

    0.024元/GB/月:UCloud如何做到的

    针对冷数据和归档存储的需求,UCloud着力打造了新一代归档存储产品。

    UCloud新一代归档存储产品是国内首次SMR机械硬盘+JBOD高密度机型在云归档中的落地应用,存储单价突破行业定价区间,实现了0.024元/GB/月,比市场同类型产品价格下降30%,采用了大比例EC、全链路CRC可以保障数据11个9的可靠性,快速故障切换让数据可用性达到99.9%以上。

    在人们的固有印象中,归档存储采用传统机械硬盘虽然能够带来容量、数据读取、运维等方面的优势,但是硬件成本和能耗会让其运营成本远高于采用磁带库或者光盘库。事实上真是如此么?吴斌炜透露,0.024元/GB/月这个价格极富竞争力,除了比同类型产品价格低很多之外,也能够与过去传统归档方式的价格相媲美。

    那么,UCloud新一代归档产品是如何突破成本极限的?

    首先,UCloud新一代归档存储在硬件层面做出大胆之策,在国内首次采用了西部数据的高密JBOD机型和SMR盘。相比于传统CMR硬盘,SMR硬盘的磁道是按Zone呈现的叠瓦式分,最直接的好处就是更高的存储密度,可以存储更多数据。UCloud表示,与36盘传统机型相比,采用SMR硬盘的高密机型单位机架存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。

    “新一代归档存储是UCloud对象存储下面的一个产品,对象存储非常适合图片、文本、音视频等非结构化数据的存储。”吴斌炜透露道。

    其次,为了更好地利用硬件优势,UCloud新一代归档存储在软件层面也进行了大胆创新。通过新一代自研归档存储架构,UCloud新一代归档存储可以同时兼容SMR和CMR硬盘,并且支持双活高可用、上下电IO调度、EC灵活配置以及硬盘故障自动发现,这些软件特性不仅更好地利用了硬件优势,也给数据可靠性和可用性提供了充足的保障。

    UCloud存储平台资深研发工程师方然介绍,UCloud在软件层面自主研发了一套磁盘上下电调度系统,可以保障磁盘寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。

    UCloud通过软硬件技术结合,突破了存储两大主要成本:运营成本和硬件成本。此外,UCloud采用了多种手段来降低用户成本。比如,用户使用UCloud归档存储产品上传数据并不收取费用,只有在外网取回时才收取费用,如果是内网请求取回并不需要收取费用,仅收取激活费用。

    事实上,UCloud新一代归档存储当前主要针对多媒体数据归档、历史数据合规性归档、大数据/AI分析数据归档等三大数据类型,以及监控视频、广电媒资、在线直播、操作日志、数据库备份、电子合同、自动驾驶、基因测序、智能制造等九大应用场景的需求。

    “像广电媒资行业在互联网+、数字化转型等方面走的很快,大量视频、图片数据增长给归档存储带来很大压力,比如每2PB数据就需要增加一个蓝光盘柜。长期来看,如果一直采用光盘库归档,本地空间占用、运维成本都会大幅上升。”吴斌炜介绍道,“像电商、互联网、自动驾驶、生物基因的用户,归档的数据量就更大了。”

    做市场的搅局者还是变革者

    归档是一个很“念旧”的市场,多年以来并没有太大的变化。

    像金融、医疗等行业用户出于本身数据安全性考虑,依然会在本地选择采用磁带、蓝光的归档方式。这很像一种惯性思维,用户陷入固定的思维模式之中,长期很少做出改变,除非某个因素突变,彻底打破惯性思维的禁锢。

    在UCloud看来,云归档所带来的低成本、良好的运维体验、灵活的使用方式就是打破惯性思维的利器。“像金融、医疗等行业,现在依然选择本地的磁带库或者光盘库进行归档,一方面是因为政策限制,另一方面也是因为之前云归档在成本上并没有突破性的下降。”吴斌炜表示,“现在情况也在慢慢改变,国家陆续出台了一些政策鼓励企业上云;另外,像UCloud新一代归档存储在价格上已经非常有竞争力,并且在运维、数据取回、按需使用等方面拥有巨大优势。”

    UCloud发力归档存储,市场的搅局者or变革者?

    UCloud存储平台研发总监吴斌炜

    在笔者看来,如今的归档存储市场已经到了求变的时刻,像UCloud这样的云服务提供商更像是归档市场的变革者,它们通常可以用云计算的灵活、高效,通过快速的技术迭代、规模效应来彻底打破归档存储的格局。

    比如,考虑到金融、医疗等行业用户对于本地化的归档需求,UCloud新一代归档存储产品接下来考虑的规划就是混合云部署模式的归档一体机,将本地与云之间打通,既让传统行业用户更加接受,也能够享受到云归档所带来的好处。

    总体来看,UCloud此时推出极富竞争力的新一代归档存储产品,在成本上达到了一个临界点,对于用户而言将会非常具有吸引力,对于归档市场的变革将会有极大的推动作用。另外,从长远来看,归档市场潜力巨大,必然会吸引包括UCloud在内的云服务提供商投入更多资源,有望进一步推动云归档在更多行业中的普及与落地。

    展开全文
  • 阿里云-归档存储-购买指导.pdf
  • 阿里云-归档存储-最佳实践.pdf
  • 阿里云-归档存储-快速入门.pdf
  • 阿里云-归档存储-常见问题.pdf
  • 阿里云-归档存储-产品简介.pdf
  • 阿里云-归档存储-SDK手册.pdf
  • 阿里云-归档存储-API手册.pdf
  • 阿里云-归档存储-购买指导-D.docx
  • 阿里云-归档存储-最佳实践-D.docx
  • 阿里云-归档存储-快速入门-D.docx
  • 阿里云-归档存储-常见问题-D.docx
  • 阿里云-归档存储-产品简介-D.docx
  • 阿里云-归档存储-SDK手册-D.docx
  • 阿里云-归档存储-API手册-D.docx
  • 归档存储

    2016-07-18 19:28:30
    归档注意存储对象一定要遵守NSCoding协议实现其归档和解档方法,对其需要存储对象的属性进行归档和解档.新建需要存储的对象Person.h// // Person.h // 归档和解档 // // Created by gaocai on 16/7/18. // Copyright...
  • 冥河 添加了一个强大的新残局工具和具有特殊属性的盔甲材料,一个新的超硬维度,包含大量战利品和许多特殊的魔法物品。
  • 作为更为细分领域的归档存储,虽然有一些公有云厂商相继对外推出基于云平台的归档存储服务,也有一些企业级存储厂商在静静地升级归档存储软件功能,但相比汹涌澎湃的5G、人工智能、大数据等新兴发展领域而言,数据...
  • 摘要: 7月21日起,阿里云对象存储OSS归档存储类型存储单价下调45%,归档解冻(Restore)时间优化到1分钟内 7月21日起,阿里云对象存储OSS归档存储类型(OSS Archive)存储单价下调45%,最短存储周期调整到60天,...
  • 阿里云产品种类很多,今天让我们一起来了解下归档存储(Archive Storage)吧。 什么是归档存储呢? 归档存储作为阿里云数据存储产品体系的重要组成部分,致力于提供低成本、高可靠的数据归档服务,适合于海量数据...
  • 通过对软硬件架构的升级,腾讯云深度归档存储对节约存储成本的效果立竿见影:深度归档存储费用仅为0.01元/GB/月,就可以在云上享受与磁带存储成本一致的产品体验,相比于普通归档存储而言,普通归档存储费用为0.033...
  • 8月6日,UCloud联合西部数据正式发布新一代归档存储产品,该产品采用UCloud全新自研存储架构和西部数据的高密JBOD机型和SMR(叠瓦式磁记录硬盘)盘。新一代归档存储具备标准存储的可靠性,同时降低80%的存储成本,该...
  • “如果有款存储产品能在保证业务正常运行的时候节省60%的成本,我会毫不犹豫选择它”。 我的工作是做生物基因测序的,我们公司很早就在云上搭建了数据分析平台(云的优势不多说了,省心省钱),数据通过采集设备生成...
  • 二、归档 与 plist存储的区别: 对象归档的文件是保密的,在磁盘上无法查看文件中的内容,而plist属性列表是明文的可以查看。 而plist只能保存这几种类型:NSString NSNumber NSDate NSDat...
  • 8月6日,UCloud正式发布新一代归档存储产品,该产品采用UCloud全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本,为用户提供最低价格的冷数据...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 94,370
精华内容 37,748
关键字:

归档存储

友情链接: seq.rar