精华内容
下载资源
问答
  • 浅谈无损压缩格式之FLAC与APE对比

    千次阅读 2020-03-15 08:35:41
    种音频压缩被称为无损压缩,也就是我们今天所要说的主题内容。无损压缩能够在100%保存原文件的所有数据的前提下,将音频文件的体积压缩的更小,而将压缩后的音频文件还原后,能够实现与源文件相同的大小、相同.....

    大家都知道,在音频压缩领域,有两种压缩方式,分别是有损压缩和无损压缩。

    我们常见到的MP3、WMA、OGG被称为有损压缩,有损压缩顾名思义就是降低音频采样频率与比特率,输出的音频文件会比原文件小。

    另一种音频压缩被称为无损压缩,也就是我们今天所要说的主题内容。无损压缩能够在100%保存原文件的所有数据的前提下,将音频文件的体积压缩的更小,而将压缩后的音频文件还原后,能够实现与源文件相同的大小、相同的码率。

    目前无损压缩格式有APE、FLAC、 WavPack、LPAC、WMALossless、AppleLossless、La、OptimFROG、Shorten,而常见的、主流的无损压缩 格式目前只有APE、FLAC。下面就针对这两种无损压缩格式进行一下对比!

    • APE是Monkey’s Audio,一种无损压缩格 式。这种格式的压缩比远低于其他音频格式,但能够做到真正无损,同时其开放源码的特性,也获得了不少音乐发烧友的青睐。在现有不少无损压缩方案中,APE 是一种有着突出性能的格式,令人满意的压缩比以及飞快的压缩速度,在国内应用比较广泛,成为了不少朋友私下交流发烧音乐的选择之一。
    • FLAC 是Free Lossless Audio Codec的简称,是一种非常成熟的无损压缩格式,名气不在APE之下!该格式的源码完全开放,而且兼容几乎 所有的操作系统平台。它的编码算法相当成熟,已经通过了严格的测试,当在编码损坏时依然能正常播放。另外,该格式是最先得到广泛硬件支持的无损格式,世界 知名数码产品如:Rio公司的硬盘随身听Karma,建伍的车载音响MusicKeg以及PhatBox公司的数码播放机都能支持FLAC格式。

    前面已经说明,无损压缩是在保证不损失源文件所有码率的前提下,将音频文件压缩的更小,也就是说这两种音频格式都能保证源文件码率的无损。但两种压缩格式毕竟为两种压缩算法,下面列举一下两种压缩格式的异同点:

    一、相同点

    1、压缩比决定无损压缩文件所占存储空间

    FLAC与AEP的压缩比基本相同,FLAC的压缩比为58.70%,而APE的压缩比则要更高一些,为55.50%,都能压缩到接近源文件一半大小。

    2、编码速度考验用户的耐心,速度快者优

    非常值得赞扬的是,FLAC与APE的编码速度都相差无几,这是因为两者的压缩技术是开源的,开发者可以借鉴两者在编码上的不同优势进行开发,不过目前编码速度最快的是WavPack和Shorten两种无损压缩格式,但这两种格式的非开源性限制了其普及。

    3、平台的支持决定普及度

    音频压缩不但需要硬件的支持,也需要的软件的支持,因此能够被更广泛的平台支持,也就意味着被更多用户使用。FLAC与APE在这方面做的都非常出色,能够 兼容所有系统平台,现在无论您是Windows用户还是众多版本的Linux用户,哪怕您是Mac OS的忠实FANS,都无需担心无法使用FLAC或 APE。

    4、两者的开源特性,完全免费的技术

    两者的开源特性,意味着任何组织或个人都可以免费使用这两种压缩技术,任何 组织或个人都可以修改和发布基于这两种技术的新产品,这给众多MP3厂商降低成本提供了有力保障,且消费者也能够以相对低廉的价格购买到只有世界级 MP3(例如:iPod支持ALAC)才支持的无损压缩音频、CD级的音质表现!

    二、不同点

    1、自我纠错能力,谁更人性化?

    很 多消费者都经历过MP3的爆音问题,然后归咎于MP3质量有问题,其实,很大一部分爆音是因为音频压缩过程中,编码的微小损坏,造成在解码时,处理出来的 数据与音频不一致,导致爆音现象。无损格式压缩的不好也会导致编码损坏,而在处理这种问题时,FLAC的会以静音方式代替有损部分,而APE的处理则与常 见的有损压缩格式处理的方式相同,以爆音方式代替有损部分。这一点FLAC设计的更人性化!

    2、优化的编码结构,决定了解码的速度

    由于编码方式的不同,将影响两种无损压缩格式的解码速度,通常FLAC的解码速度比APE快30%,这是因为,FLAC只需执行整数运算,而无需执行占用系统更高频率和更大数据处理量的浮点运算。基于这一点,一般硬件均可完美实现实时解码。

    3、方便的资源获取,意味着能够得到更广泛的应用与支持

    无论FLAC还是APE,在资源获取上,两者都能通过网络搜索轻松获得!

    三、总结

    通过以上的对比,相信很多用户对FLAC和APE的认识更加深了一些,单从技术角度讲,FLAC要明显比APE优秀,原因在于,FLAC是第一个开源的且被世界公认的无损压缩格式,有来自世界各地的顶尖级开发高手对FLAC进行免费的开发与技术完善,同时,FLAC有广泛的硬件平台的支持,几乎所有采用便携式设计的高端解码芯片都能够支持FLAC格式的音乐,FLAC第三个优势在于:优秀的编码使得硬件在解码时只需采用简单的整数运算即可,这将大大降低所占用的硬件资源!不过两种公开的技术具有极强的互补性,任何一方都不可能全面超越另一方!

    展开全文
  • rar、zip、7z等压缩率的测试

    千次阅读 2020-05-19 08:15:08
    划重点: 压缩率取决于文件的信息熵,文件的信息熵越小,被压缩后的文件体积越小,因此文件压缩有一定的限度。 举个栗子(仅说明原理,不涉及实际算法): 个文件内容为:abc123qqqq6562abc123abc123abc123 压缩时...

    原理记录


    划重点: 压缩率取决于文件的信息熵,文件的信息熵越小,被压缩后的文件体积越小,因此文件压缩有一定的限度。

    举个栗子(仅说明原理,不涉及实际算法):

    一个文件内容为:abc123qqqq6562abc123abc123abc123

    压缩时,令1=abc123,这个对应关系即所谓的字典,则压缩后文件变为1qqqq6562111,解压即还原过程。

    一些文本文件之所以能被压缩的很小,是由于文件内容有很多内容是重复的,可以被替代掉,这也解释了为什么很多代码的压缩包只有几十兆,而解压后却能达到几个G的大小。

    测试过程


    测试文件信息:
                 包含一个mp4视频的文件夹

    • zip
      使用360ZIP,参数设置如下:

    在这里插入图片描述

    • rar
      rar格式已申请专利,所以相关产品属于付费产品,使用winrar,参数设置如下:

    在这里插入图片描述
    在这里插入图片描述

    • 7z
      使用7z-zip,参数设置如下:

    在这里插入图片描述

    结论


    结果对比:

    在这里插入图片描述
    使用7z-zip,压缩算法为LAMA,得到如下结果:
    在这里插入图片描述

    由对比结果可见:压缩算法的选择,对压缩率影响很大,同样的zip,使用LAMA算法也可以达到7z相同的效果!


    参考文献:
    如何压缩文件到最小(压缩参数调整教程 for 7z)

    展开全文
  • XZ压缩最新压缩率之

    千次阅读 2019-02-28 17:57:06
    我是在下载phpmyadmin的时候看到这种压缩格式的,phpmyadmin压缩包xz格式的居然比7z还要小,这引起我的兴趣。 最新段时间会经常听到xz被采用的声音,像是最新的archlinux某些东西就使用xz压缩。不过xz也有个...

    xz这个压缩可能很多都很陌生,不过您可知道xz是绝大数Linux默认就带的一个压缩工具。

    之前xz使用一直很少,所以几乎没有什么提起。

    我是在下载phpmyadmin的时候看到这种压缩格式的,phpmyadmin压缩包xz格式的居然比7z还要小,这引起我的兴趣。

    最新一段时间会经常听到xz被采用的声音,像是最新的archlinux某些东西就使用xz压缩。不过xz也有一个坏处就是压缩时间比较长,比7z压缩时间还长一些。不过压缩是一次性的,所以可以忽略。

    xz压缩文件方法或命令

    xz -z 要压缩的文件

    如果要保留被压缩的文件加上参数 -k ,如果要设置压缩率加入参数 -0 到 -9调节压缩率。如果不设置,默认压缩等级是6.

    xz解压文件方法或命令

    xz -d 要解压的文件

    同样使用 -k 参数来保留被解压缩的文件。

    创建或解压tar.xz文件的方法

    习惯了 tar czvf 或 tar xzvf 的人可能碰到 tar.xz也会想用单一命令搞定解压或压缩。其实不行 tar里面没有征对xz格式的参数比如 z是针对 gzip,j是针对 bzip2。

    创建tar.xz文件:只要先 tar cvf xxx.tar xxx/ 这样创建xxx.tar文件先,然后使用 xz -z xxx.tar 来将 xxx.tar压缩成为 xxx.tar.xz

    解压tar.xz文件:先 xz -d xxx.tar.xz 将 xxx.tar.xz解压成 xxx.tar 然后,再用 tar xvf xxx.tar来解包

    展开全文
  • Hadoop常见压缩格式以及性能对比

    千次阅读 2019-04-29 15:40:05
    1.压缩的好处和坏处 好处 减少存储磁盘空间 降低IO(网络的IO和磁盘的IO) ...2.压缩格式 压缩格式 工具 算法 扩展名 是否支持分割 Hadoop编码/解码器 DEFLATE N/A DEFLATE .deflate No org.apache.hadoo...


    为什么会出现需要对文件进行压缩?
    在Hadoop中,文件需要存储、传输、读取磁盘、写入磁盘等等操作,而文件的大小,直接决定了这些这些操作的速度。

    1.压缩的好处和坏处

    好处

    • 减少存储磁盘空间
    • 降低IO(网络的IO和磁盘的IO)
    • 加快数据在磁盘和网络中的传输速度,从而提高系统的处理速度

    坏处

    • 由于使用数据时,需要先将数据解压,加重CPU负荷。而且压缩的越狠,耗费的时间越多。

    2.压缩格式

    压缩格式工具算法扩展名是否支持分割Hadoop编码/解码器
    DEFLATEN/ADEFLATE.deflateNoorg.apache.hadoop.io.compress.DefalutCodec
    gzipgzipDEFLATE.gzNoorg.apache.hadoop.io.compress.GzipCodec
    bzip2bzip2bzip2.bz2Yesorg.apache.hadoop.io.compress.Bzip2Codec
    LZOLzopLZO.lzoYes(if index)com.hadoop.compression.lzo.LzoCodec
    LZ4N/ALZ4.lz4Noorg.apache.hadoop.io.compress.Lz4Codec
    SnappyN/ASnappy.snappyNoorg.apache.hadoop.io.compress.SnappyCodec

    在这里插入图片描述
    支持native表示,hadoop自己提供了功能的实现,而不是依赖外部,如bzip2是不支持native,则表示物理机要另行安装支持bzip2压缩的软件。

    3.压缩测试

    一个简单的案例对于集中压缩方式之间的压缩比和压缩速度进行一个感观性的认识

    测试环境:
    8 core i7 cpu 
    8GB memory
    64 bit CentOS
    1.4GB Wikipedia Corpus 2-gram text input
    

    压缩比
    在这里插入图片描述
    压缩时间/解压时间
    在这里插入图片描述
    可以看出,压缩比越高,压缩时间越长,压缩比:Snappy<LZ4<LZO<GZIP<BZIP2

    4.优缺点

    a. gzip

    • 优点:压缩比在四种压缩方式中较高;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便
    • 缺点:不支持split

    b. lzo

    • 优点:压缩/解压速度也比较快,合理的压缩率;支持split,是hadoop中最流行的压缩格式;支持hadoop native库;需要在linux系统下自行安装lzop命令,使用方便
    • 缺点:压缩率比gzip要低;hadoop本身不支持,需要安装;lzo虽然支持split,但需要对lzo文件建索引,否则hadoop也是会把lzo文件看成一个普通文件(为了支持split需要建索引,需要指定inputformat为lzo格式)

    c. snappy

    • 优点:压缩速度快;支持hadoop native库
    • 缺点:不支持split;压缩比低;hadoop本身不支持,需要安装;linux系统下没有对应的命令

    d. bzip2

    • 优点:支持split;具有很高的压缩率,比gzip压缩率都高;hadoop本身支持,但不支持native;在linux系统下自带bzip2命令,使用方便
    • 缺点:压缩/解压速度慢;不支持native

    5.图解MapReduce

    在这里插入图片描述

    • 1.第一次传入压缩文件,应选用可以切片的压缩方式,否则整个文件将只有一个Map执行。Use Compressd Map Input:从HDFS中读取文件进行Mapreuce作业,如果数据很大,可以使用压缩并且选择支持分片的压缩方式(Bzip2,LZO),可以实现并行处理,提高效率,减少磁盘读取时间,同时选择合适的存储格式例如Sequence Files,RC,ORC等。
    • 2.第二次压缩应选择压缩解压速度快的压缩方式,生产中,Map阶段数据落盘通常使用snappy压缩格式(快速压缩解压)。Compress Intermediate Data:Map输出作为Reducer的输入,需要经过shuffle这一过程,需要把数据读取到一个环形缓冲区,然后读取到本地磁盘,所以选择压缩可以减少了存储文件所占空间,提升了数据传输速率,建议使用压缩速度快的压缩方式,例如Snappy和LZO。
    • 3.第三次压缩有两种场景分别是:一.当输出文件为下一个job的输入,选择可切分的压缩方式例如:BZip2。二.当输出文件直接存到HDFS,作为归档,选择压缩比高的压缩方式。reduce阶段数据落盘通常使用gzip或bzip2进行压缩(减少磁盘使用)。Compress Reducer Output:进行归档处理或者链接Mapreduce的工作(该作业的输出作为下个作业的输入),压缩可以减少了存储文件所占空间,提升了数据传输速率,如果作为归档处理,可以采用高的压缩比(Gzip,Bzip2),如果作为下个作业的输入,考虑是否要分片进行选择。

    6.总结

    不同的场景选择不同的压缩方式,肯定没有一个一劳永逸的方法,如果选择高压缩比,那么对于cpu的性能要求要高,同时压缩、解压时间耗费也多;选择压缩比低的,对于磁盘io、网络io的时间要多,空间占据要多;对于支持分割的,可以实现并行处理
    ☆若该压缩格式不支持文件分割,则后续无法实现并行处理,生产优化核心是让每个文件大小略微低于块大小,如块128M文件怎样为125M。未压缩的文件是支持文件分割的

    7.应用场景

    一般在HDFS 、Hive、HBase中会使用;
    当然一般较多的是结合Spark 来一起使用。

    展开全文
  • 压缩文件的好处有很多,一来减少体积节省流量,二来打包方便可以次性容纳N个文件,要使用这些压缩文件,压缩软件往往是必不可少的。 压缩软件使用简单,但其实很多朋友并没有意识到,这里面也存在一些大坑。今天...
  • 19种音频格式介绍及音质压缩比的比较     目录 前言..........................................................................................................................................2  1. ...
  • 入门学习Linux常用必会60个命令实例详解doc/txt

    千次下载 热门讨论 2011-06-09 00:08:45
    -s,--strip:用strip命令删除symbol table,只适用于第及第二种使用格式。 -S,--suffix=后缀:自行指定备份文件的<后缀>。 -v,--verbose:处理每个文件/目录时印出名称。 --help:显示此帮助信息...
  • 常用纹理和纹理压缩格式

    万次阅读 2015-04-10 18:56:54
    常用纹理和纹理压缩格式的介绍:RGB/RGBA,DXT1/DXT5、ETC、PVRTC等。
  • DXT纹理压缩格式解析

    万次阅读 2015-12-05 15:56:13
    我们知道游戏中对于3D物体表面细节的表现最重要的还是靠贴图来实现的,那么越是高分辨越是真彩色的贴图自然表现力也是越强,但是同时带来的问题是所需占用的内存会成倍的上升,而节省内存这一点在目前的游戏中还是...
  • 压缩算法的比较

    千次阅读 2018-07-03 22:00:06
    压缩算法的比较以下是Google几年前发布的组测试数据(数据有些老了,有人近期做过测试的话希望能共享出来):Algorithm% remainingEncodingDecodingGZIP13.4%21 MB/s118 MB/sLZO20.5%135 MB/s410 MB/sZippy/Snappy...
  • hive 压缩格式汇总

    千次阅读 2019-03-01 16:31:32
    今天,看了几篇hive压缩格式相关的博客觉得不错,在这里做一下提取要点汇总。 0 前言 数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的...
  • 图像分辨率指图像中存储的信息量...个影像可被定义是个二维的函数 f(x,y),其中x和y是空间平面坐标,在任意一对坐标轴(x,y),f的大小称为这幅影像在该点的强度(instensity)或灰阶(gray level).也即,灰阶是指地物...
  • MySQL 面试题

    万次阅读 多人点赞 2019-09-02 16:03:33
    否则索引指向的物理数据可能不对,这也是索引失效的原因之一。 ? 索引的使用场景? 1、对非常小的表,大部分情况下全表扫描效率更高。 2、对中大型表,索引非常有效。 3、特大型的表,建立和...
  • 篇硕士论文的开题报告,可以借鉴
  • : mapreduce 的压缩 mapreduce 压缩 主要是在shuffle阶段的优化。 shuffle 端的 –partition (分区) – sort (排序) – combine (合并) – compress (压缩) – group (分组) 在mapreduce 优化shuffle 从...
  • 数字音源,也就是数字音频格式,最早指的是CD,CD经过压缩之后,又衍生出多种适于在随身听上播放的格式,这些压缩过的格式,我们可以分为两大类:有损压缩的和无损压缩的。这里所说的压缩,是指把PCM编码的或者是WA
  • HADOOP与HDFS数据压缩格式

    千次阅读 2018-10-17 18:20:11
    HADOOP与HDFS数据压缩格式 1、cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上,需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的...
  • Caffe简介

    千次阅读 多人点赞 2018-08-19 16:15:54
     caffe是个清晰而高效的深度学习框架,是纯粹的C++/CUDA架构,支持命令行、python和matlab接口;可以在CPU和GPU之间无缝切换,其作者是贾扬清,目前caffe2已经发布。  caffe的全称是Con...
  • C#基础教程-c#实例教程,适合初学者

    万次阅读 多人点赞 2016-08-22 11:13:24
    章 C#语言基础 本章介绍C#语言的基础知识,希望具有C语言的读者能够基本掌握C#语言,并以此为基础,能够进一步学习用C#语言编写window应用程序和Web应用程序。当然仅靠章的内容就完全掌握C#语言是不可能的,...
  • 在进行图像处理相关应用之前第步首先是能够读取这些图像文件,虽然很多开发工具支持库比如OpenCV等已经帮助节省了这些工作的麻烦,便利的同时也使得开发人员不再熟悉这些基本的图像格式。本文的作用就在于将这五种...
  • WAV为微软公司(Microsoft)开发的种声音文件格式,它符合RIFF(Resource Interchange File Format)文件规范,用于保存Windows平台的音频信息资源,被Windows平台及其应用程序所广泛支持,该格式也支持MSADPCM,CCITT...
  • 解压软件哪个好

    千次阅读 2014-08-14 22:10:22
    WinRAR、360解压缩软件、快压、7zip、2345解压缩软件这是咱们经常见到的几款解压缩软件。看网上的介绍他们每款都有自己的优点,网友们的评价也是褒贬不一,那么究竟解压软件哪个好? “解压软件有很多种,其实...
  • hive优化-文件存储格式压缩方法

    千次阅读 2019-06-29 15:45:42
    hive调优是比较大的专题,需要结合实际的业务,数据的类型,分布,质量状况等来实际的考虑如何进行系统性的优化,hive底层是mapreduce,所以hadoop调优...第:数据的压缩与存储格式 对分析的数据选择合适的存储格...
  • 质量压缩:根据传递进去的质量大小,采用系统自带的压缩算法,将图片压缩成JPEG格式 /** * 质量压缩 * * @param bitmap * @param quality * @param file */ public static void compressQua
  • 对于数据压缩的问题:“我们要压缩什么”,我的理解是:对在计算机等多媒体中进行传输的视频、音频、文字、图像等所有信息的存储大小进行压缩。  对于数据压缩的问题:“为什么进行压缩”,我的理解是:网络的快速...
  • linux常见压缩格式详解

    千次阅读 2019-06-12 17:01:55
    linux 文件压缩格式详解 压缩文件原理 在计算机科学和信息论中,数据压缩或者源...常见的例子是ZIP文件格式,此格式不仅仅提供压缩功能,还可作为归档工具(Archiver),能够将许多文件存储到同个文件中。 简单...
  • 史上最全面Java面试汇总(面试题+答案)

    万次阅读 多人点赞 2018-07-06 14:09:25
    JAVA面试精选【Java基础第部分】 JAVA面试精选【Java基础第二部分】 JAVA面试精选【Java基础第三部分】 JAVA面试精选【Java算法与编程】 JAVA面试精选【Java算法与编程二】 Java高级工程师—面试(1) ...
  • 、背景 最近刚刚做完个中文汉字笔画排序的功能,链接如下: 【我的Android进阶旅】Android实现中文汉字笔划(笔画)排序、中文拼音排序、英文排序的国家地区选择界面 【我的Java开发学习旅】如何实现...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 76,449
精华内容 30,579
关键字:

压缩率最高的格式之一