精华内容
下载资源
问答
  • 不压缩数据量计算方法
    万次阅读
    2020-06-14 10:20:16

    图像深度 是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。

    图像深度 确定彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可出现的最多颜色数,或灰度图像中的最大灰度等级。比如一幅单色图像,若每个像素有8位,则最大灰度数目为2的8次方,即256。一幅彩色图像RGB三通道的像素位数分别为4,4,2,则最大颜色数目为2的4+4+2次方,即1024,就是说像素的深度为10位,每个像素可以是1024种颜色中的一种

    计算如下:
      1024×768×16 bit = (1024×768×16)/8 Byte = [(1024×768×16)/8]/1024 KB = 1536 KB = {[(1024×768×16)/8]/1024}/1024 MB = 1.5 MB
    ————————————————
    版权声明:本文为CSDN博主「donkey_1993」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/donkey_1993/article/details/80781773

    更多相关内容
  • 图像数据压缩方法

    千次阅读 2021-03-03 21:40:32
    数据压缩方法 数据能够进行压缩,是因为数据中存在或多或少的冗余信息,而对于视频和音频等多媒体信息,更可以利用人类自身的感知冗余(失真)特点来实现更高的压缩比例。衡量压缩算法的三个主要性能指标如下: ...

    数据压缩方法

    数据能够进行压缩,是因为数据中存在或多或少的冗余信息,而对于视频和音频等多媒体信息,更可以利用人类自身的感知冗余(失真)特点来实现更高的压缩比例。衡量压缩算法的三个主要性能指标如下:

    压缩比
    压缩质量(失真)
    压缩与解压缩效率

    注:事实上人类视觉系统一般分辨能力约为64灰度等级,而一般图像量化采用256灰度等级,这类冗余我们称为视觉冗余。
    例如,人的视觉对于边缘的急剧变化不敏感,且人眼对图像的亮度信息敏感,对颜色的分辨率弱等,因此视频编码算法需要充分利用人眼的“弱点”进行 “欺骗性”设计.

    数据压缩方法分类:

    1、根据编码后数据与原始数据是否一致:

    1、1 可逆编码(无失真编码,无损压缩)

    例如:Huffman编码、算术编码、行程长度编码等。

    1、2 不可逆编码(有失真编码,有损压缩)

    例如:变换编码和预测编码

    图像压缩编码方法分类:
    在这里插入图片描述

    2、根据压缩原理:

    2、1 信息熵编码(统计编码)

    信息熵编码又称统计编码,它是根据信源符号出现概率的分布特性而进行的压缩编码,基本思想是在信源符号和码字之间建立明确的一一对应关系,以便在恢复时能准确地再现原信号,同事要使平均码长或码率尽量小。最常见的是Huffman编码、Shannon(香农)编码以及算术编码。

    Huffman编码
    Huffman编码属于信息熵编码的方法之一,霍夫曼编码的码长是变化的,对于出现频率高的信息,编码的长度较短:而对于出现频率低的信息,编码长度较长。如此,处理全部信息的总码长一定小于实际信息的码长。

    算术编码
    算术编码把一个信源集合表示为实数线上的0到1之间的一个区间,这个集合的每一个元素都用来缩短这个区间。
    信源集合的元素越多,所得到的区间就越小,当区间变小时,就需要更多的数位来表示这个区间,这就是区间作为代码的原理。算数编码首先假设一个信源的概率模型,然后利用这些概率来缩小表示信源集的区间。

    行程编码
    行程编码又称为运行长度编码或游程编码,是一种统计编码,常用RLE(Run-LengthEncoding)表示。
    这是无损编码,一般包含两项,第一项时用一个符号串代替具有相同值得连续符号,第二项是记录原始数据中有多少个这样的值。
    例如66777770002555558888的行程编码为(6,2)(7,5)(0,3)(2,1)(5,5)(8,4).

    预测编码
    预测编码的原理是利用相邻样本的相关性来预测数据,预测编码可以用于空域(比如同一帧中相邻像素样本之间具有高度相关性),也可以用于时域(比如相邻两帧图像的相同位置的像素样本之间具有高度相关性)。

    这样,预测编码无需编码传输所有的采样值,而是编码传输采样值的预测值与其实际值之间的差值。预测编码分为线性预测及非线性预测,线性预测的典型代表是差分脉冲编码调制( DPCM) 编码。

    空间冗余是图像数据中经常存在的一种冗余,在同一幅图像中,规则物体和规则背景的表面物理特性具有相关性,这些相关性的光成像结构在数字化图像中就表现为数据冗余。时间冗余则是序列图像中所经常包含的冗余,序列图像中的两幅相邻的图像之间有较大的相关性,即反映为时间冗余。空间冗余及时间冗余示意如下图所示。
    在这里插入图片描述
    变换编码

    预测编码方式消除相关性的能力有限,变换编码是一种更高效的编码方式。变换编码的思想是将原始数据从时间域或者空间域变换到另一个更适合于压缩的抽象域,通常为频域。

    即变换编码不是对空间区域的图像信号编码,而是将图像信号映射变换到另外一个正交矢量空间(变换域或频域),产生一系列变换系数,然后对这些系数进行编码处理。

    变换具有可逆性及可实现性,目前普遍采用的是基于块的离散余弦变换(DCT)。

    变换编码的主要分类如下:
    离散余弦变换(DCT)
    离散正弦变换(DST)
    离散小波变换(DWT)
    离散傅立叶变换(DFT)

    模型编码
    模型编码是利用计算机视觉技术和图形学技术对图像信号进行分析和合成,通过对图像的分析和描述,将图像视为实际的三维空间场景的二维平面的投影,进而对图像结构和特征进行分析并提取出特征参数,然后用某种模型进行描述,最后通过对模型参数编码达到视频压缩的目的。

    在解码时,根据参数和模型的“先验”知识重建图像。由于是对“特征参数”进行的编码,因此压缩比较高。模型编码目前主要集中应用于可视电话和会议电视系统中。

    因为此类应用传送的图像中主要感兴趣的内容是人的“头肩像”,是一种基本固定的特定场景,可以预先建立人体头肩像的三维模型,从而进行模型编码。

    混合编码
    用两种或两种以上的方法对图像进行编码称为混合编码,混合编码是近年来广泛采用的一种视频编码压缩方法。
    混合编码通常使用DCT等变换方式进行空间冗余度的压缩,用帧间预测或运动补偿预测进行时间冗余度的压缩,从而达到对运动图像的更高的压缩率。
    视频压缩过程中主要利用的冗余信息如下表所示。
    在这里插入图片描述

    展开全文
  • 音视频数据大小计算

    千次阅读 2020-11-11 11:11:50
    每秒数据量(bit) = 采样频率 X 采样位数 X 声道数 例如 采样率: 48KHz . 指录音设备在一秒钟内对声音信号的采样次数 采样位数/位深 24 . 8位代表2的8次方——256,16位则代表2的16次方——64K。一段相同的音乐信息,...

    音频

    每秒数据量(bit) = 采样频率 X 采样位数 X 声道数
    例如
    采样率: 48KHz . 指录音设备在一秒钟内对声音信号的采样次数
    采样位数/位深 24 . 8位代表2的8次方——256,16位则代表2的16次方——64K。一段相同的音乐信息,16位声卡能把它分为64K个精度单位进行处理,而8位声卡只能处理256个精度单位
    声道数 2 .左右声道和立体声
    size = 48 x1000 x 24 x 2/(8 x 1024 x 1024) = 0.2747MB

    视频

    计算一分钟数据量大小,480x480,24位彩色数字视频
    不压缩的情况
    图像分辨率(像素)×彩色深度du(位)×帧率
    size = 480x480x24x60/(8x1024x1024)=39.6M,24帧x60s,表示一分钟内总帧数

    压缩后假设码率是1800(kbps)
    视频码率 x 时长 / 8 = 1800x 60 /(8x1024) = 13.18M

    图片

    分辨率 x 位深
    RGB 分辨率:1280x720 size = 1280x720x3x8/(8x1024x1024)=2.6367M
    RGBA_8888 分辨率:480x800 size=480x800x4x8/(8x1024x1024)=1.46M
    RGB是24位,3个颜色分量,每个8位,组合成256种颜色。RGBA是32位,常见的RGBA_8888(32位),RGBA_4444(16位),RGB_565(16位)

    展开全文
  • 备份数据占多少空间?其实,就效果而言,这往往会和数据类型以及存放方式直接相关,不同的方式以及不同的设备类型,产生的实际效果差异非常大,因此这个问题说实话是非常难用一句话来回答。但是,无论如何,备份数据...

     

    常常在工作中被问及,你们备份软件,重删效果如何?备份数据占多少空间?其实,就效果而言,这往往会和数据类型以及存放方式直接相关,不同的方式以及不同的设备类型,产生的实际效果差异非常大,因此这个问题说实话是非常难用一句话来回答。但是,无论如何,备份数据是需要磁盘空间进行存储的,在备份项目的设计过程中,必然会有备份存储库的容量设计。通常这个设计会直接关系到用户的存储成本、存储效率以及备份的可用性,因此这个设计在备份项目中非常关键,尽可能准确的设计存储容量和带宽,直接关系到项目的成败。

     

    这里我会以一个典型的虚拟化环境为例来说明应该如何去进行这个计算。

    环境信息:

    ESXi Host :25台

    VM:500个

    每个VM平均磁盘容量:200GB

    总Datastore使用容量:100TB

     

    带宽设计

    通常来说,备份过程中会有全备份和增量备份两种模式,一般情况下,首次备份是全备份,它将传输虚拟化环境中的所有数据至备份存储设备,因此这个传输量几乎为所有的Datastore的使用量;而后续的所有传输则是增量备份,传输的是虚拟化环境中的变化量,常见比较多的是每日变化量,本文暂时按照每日作为变化量的单位来计算。

    每个环境中,每日的变化量可以根据Veeam ONE的变化评估报告获取,是相对准确的数值,我这里假设这个变化量为7%。所以我们的到以下数值:

    首次传输数据量 : 100TB

    每天增量传输数据量:7TB

    开启Veeam的优化压缩重删后,假设这个重删能够达到常规的效果,实际传输数据为datastore容量的50%:

    首次真实传输数据量:50TB

    每天真实传输数据量:3.5TB

    因此我们需要的带宽计算如下,假设首次传输,我们可以开启周六24小时连续传输而后续增量备份则在每天业务空闲时20:00PM~6:00AM进行,除去备份作业的基础配置耗时后,我们大约估算实际数据传输时间为总耗时的80%,也就是10小时的备份工作时间内2小时为备份基础配置和等待时间,8小时为实际数据传输时间。因此简单的计算公式示例如下:

    全备份需要带宽:50*1024*8/(24*3600*80%)=5.93Gbps

    增量备份需要带宽:3.5*1024*8/(10*3600*80%)=1Gbps

    以上,我们可以看到这样的一个大概状况,那么在网络上和磁盘上的读写吞吐量可以按照这个数据去进行规划,配置相应数量的网卡/HBA卡以实现以上这样的一个备份吞吐量。

     

    容量设计

    根据不同的备份模式,在数据存储无任何重删技术的情况下,这个容量设计是最容易进行计算的,以下将以最常见的常见常规增量备份为例来说明计算方法,这也是一个比较简单的计算题。

    至少保留14份备份数据,每周执行1次全备份,每天进行1次增量备份。

    格式

    大小

    全备份

    1

    50 TB

    增量

    2

    3.5TB

    增量

    3

    3.5TB

    增量

    4

    3.5TB

    增量

    5

    3.5TB

    增量

    6

    3.5TB

    增量

    7

    3.5TB

    全备份

    8

    50 TB

    增量

    9

    3.5TB

    增量

    10

    3.5TB

    增量

    11

    3.5TB

    增量

    12

    3.5TB

    增量

    13

    3.5TB

    增量

    14

    3.5TB

    全备份

    15

    50 TB

    增量

    16

    3.5TB

    增量

    17

    3.5TB

    增量

    18

    3.5TB

    增量

    19

    3.5TB

    增量

    20

    3.5TB

    总容量估算:

    159.5TB

    +15%缓存剩余容量:

    23.9TB

    总计预估容量:

    183.43TB

     

    这就是常规的备份容量的设计思路,在这里我还有一个非常棒的工具推荐给大家,这是Veeam国外的同事制作的Veeam备份存储库容量规划工具,在这个工具中有更全面更详细的计算方法,可以根据实际情况输入更多数据来进行计算。这个在线工具地址如下,推荐在电脑上打开会比较好:

    http://vee.am/rps

     

    更正:

    上周容量计算一文中有处错误,在容量计算上,简单的计算题加法漏加了50TB,准确的容量应该为209.5TB,而增加缓存工作空间为31.4.TB,因此预计备份存储库容量应为240.9TB;

    展开全文
  • 经常有人问,对于实时数据库,该如何计算存贮一年历史数据所需要的磁盘空间? 让我们以一个具体例子进行说明吧:一个项目中,总共有1万个模拟测点,这些测点平均每秒变化一次,每次变化均要保存,存贮一年历史...
  • 3.大数据量生成Excel文件案列,生成多个Excel文件压缩 案列 1. 导入依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>...
  • 栅格数据压缩

    千次阅读 2020-04-17 14:22:52
    栅格数据压缩   在栅格数据属性一文中,我们已经了解影像/栅格数据所占的空间可以通过像元深度和行列数推算出来。可是常常遇到的情况是我们在Windows的资源管理器里面看到的影像大小与计算出来的不等,这又是...
  • 数据压缩知识点整理

    千次阅读 2017-04-27 16:57:20
    数据压缩 是指在丢失有用信息的前提下, 缩减数据量 以减少存储空间, 提高传输、存储和处理效率, 或按照一定的算法对数据进行重新组织, 减少数据的冗余和存储的空间的一种技术.
  • 6.1.6 日志压缩

    千次阅读 2021-04-21 22:10:07
    第二种做法因为在写操作时需要查询,所以写性能会很高。如表6-3所示,很多分布式存储系统都采用这种追加方式。这种方式的缺点是:需要通过后台的压缩操作保证相同键的多条记录,经过合并后只保留最新的一条记录。 ...
  • 经典的数据湖“可能三角”,如何有效解决?

    万次阅读 多人点赞 2022-06-08 12:55:52
    提到数据湖就要先说一下数据仓库,数据仓库是集成多业务系统数据、面向主题的、专门用于数据查询分析的数据组织形式。当业务系统数据量不断增大、业务系统数量不断增多以后,数据仓库的出现就会成为必然。...
  • 音频中文件大小计算公式(转)

    千次阅读 2020-12-19 14:27:57
    采样频率越大,采样点之间的间隔就越小,数字化后得到的声音就越逼真,但相应的数据量就越大。声卡一般提供11.025kHz、22.05kHz和44.1kHz等不同的采样频率。采样位数是记录每次采样值数值大小的位数。采样位数通常有...
  • 数据压缩的本质

    千次阅读 2019-03-31 03:05:21
    对于一个给定的图,其信息是固定的,图划分会给图的信息带来什么?图的划分或者折叠,是否就是对图的压缩呢? 先来个小例子:有一段文字“我我我我我我有点喜欢喜欢喜欢喜欢lxlxlxlxlxlxlx”一共14个汉字加上14个...
  • 实现哈夫曼压缩, 计算原图和压缩以后的尺寸,计算压缩率并比较分析 结果???? Matlab代码???? clear; clear all; A=imread('01.jpg'); I=rgb2gray(A); [M,N] = size(I); I1 = I(:); P = zeros(1,256); ...
  • 音视频压缩技术是编解码中难点,常常会涉及很多算法...未经压缩的数字视频的数据量巨大 存储困难:一张DVD只能存储几秒钟的未压缩数字视频。 传输困难 : 1兆的带宽传输一秒的数字电视视频需要大约4分钟。 压缩编码的重
  • 数据量的五种处理方式

    万次阅读 2018-09-19 17:02:01
    处理海量数据问题,无非就是: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序; Bloom filter/Bitmap; Trie树/数据库/倒排索引; 外排序; 分布式处理之hadoop/mapreduce。 本文接下...
  • 无损压缩经典算法

    万次阅读 多人点赞 2016-10-25 22:54:04
    进行文件压缩的必要性像图片、声音、视频这些类型的多媒体数据要比文本数据占用多得多的内存空间,尤其是视频文件,文件传输时占用带宽大,存储又占用大量的硬盘空间。举个例子:一个1080p分辨率
  • 数据量越大,效果越明显,应用场景也更加有意义。 如果 JSON 内容太少, CJSON的资料可能反而会比较多。 压缩效果 下图来自:https://www.oschina.net/p/jsonhpack 五、参考资料 ...
  • 五、视频监控存储空间的计算方法:1. 常见录像格式的码流大小2.如何进行硬盘容量的计算3.传输带宽计算4.情景模拟总结 前言 视频监控存储空间的计算方法是怎么计算的,对于一些工程师来说是经常遇到的问题,那么到底...
  • 音频文件存储容量计算

    千次阅读 2020-12-29 04:31:31
    经过压缩,声音数据量计算公式为:数据量(字节32313133353236313431303231363533e59b9ee7ad9431333433633465/秒)=(采样频率(Hz)×采样位数(bit)×声道数)/81丶声卡对声音的处理质量可以用三个基本参数...
  • 数据压缩的历史、常用算法原理

    万次阅读 2019-05-28 14:58:13
    压缩,是为了减少存储空间而把数据转换成比原始格式更紧凑形式的过程。数据压缩的概念相当古老,可以追溯到发明了摩尔斯码的19世纪中期。 摩尔斯码的发明,是为了使电报员能够通过电报系统,利用一系列可听到的脉冲...
  • ZLIB 压缩数据格式规范

    千次阅读 2019-02-19 09:29:09
    ZLIB 压缩数据格式规范版本3.3   本备忘录的状态:    本备忘为互联网社区提供信息。本备忘并非指定任何性质的互联网标准。本备忘可以无限制发布。   互联网工程指导小组(Internet Engineering Steering ...
  • Hadoop:数据压缩、Yarn、企业优化

    万次阅读 2020-06-03 20:41:20
    Hadoop数据压缩、Yarn架构以及工作流程、Hadoop企业优化方案
  • 有损压缩格式有哪些

    千次阅读 2021-08-01 08:27:43
    有损压缩格式有:1、mp3格式;2、AAC格式;3、AAL格式;4、Ogg格式;5、divX格式;6、Xvid格式;7、jpeg格式;...虽然能完全恢复原始数据,但是所损失的部分对理解原始图像的影响缩小,却换来了大得...
  • 数据压缩的历史、原理及常用算法

    万次阅读 2017-05-24 14:58:26
    压缩,是为了减少存储空间而把数据转换成比原始格式更紧凑形式的过程。数据压缩的概念相当古老,可以追溯到发明了摩尔斯码的19世纪中期。摩尔斯码的发明,是为了使电报员能够通过电报系统,利用一系列可听到的脉冲...
  • “为什么进行压缩”,我的理解是:网络的快速发展及大数据时代的到来,給我们的生活带来更便利的同时也大大增加了信息和数据的大量传输,我们的网络宽带有限,还有存储容量的问题,如果对传输信息数据不进行压缩,...
  • 数据压缩算法—2无损压缩算法

    千次阅读 2018-12-12 20:55:43
      字典算法是最为简单的压缩算法之一。它是把文本中出现频率比较多的单词或词汇组合做成一个对应的字典列表,并用特殊代码来表示这个单词或词汇。例如:   有字典列表:   00=Chinese   01=People   02=...
  • 我花了一夜用数据结构给女朋友写个H5走迷宫游戏

    万次阅读 多人点赞 2019-09-10 23:27:18
    又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥...
  • 浅谈压缩感知

    千次阅读 2021-01-21 10:34:50
    面对实际中的信号,它可能数据规模十分的巨大,从而便于传输与存储,所以我们需要对该信号进行一个压缩,然后将其进行传输或存储,之后再将其进行还原。 在现有的传统的信号处理模式中,信号要采样、压缩然后再...
  • 一、图像压缩 二、预测编码

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 227,407
精华内容 90,962
关键字:

不压缩数据量计算方法