有损压缩格式有：1、mp3格式；2、AAC格式；3、AAL格式；4、Ogg格式；5、divX格式；6、Xvid格式；7、jpeg格式；8、rm格式；9、rmvb格式等等。
 

 
本教程操作环境：Windows7系统、Dell G3电脑。
 
有损压缩是利用了人类对图像或声波中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响缩小，却换来了大得多的压缩比。
 
有损压缩广泛应用于语音，图像和视频数据的压缩。
 
常见的声音、图像、视频压缩基本都是有损的。
 
在多媒体应用中，常见的压缩方法有：PCM(脉冲编码调制)，预测编码，变换编码，插值和外推法，统计编码，矢量量化和子带编码等，混合编码是广泛采用的方法。
 
常见的有损压缩格式有哪些？
 
mp3 、AAC、ATRAC3/ATRAC3+(*.aa3)、AAL(ATRACAdvancedLossless)、Ogg、divX 、Xvid 、jpeg、 rm 、rmvb、 wma 、wmv等都是有损压缩。
 
有损数据压缩方法是经过压缩、解压的数据与原始数据不同但是非常接近的压缩方法。有损数据压缩又称破坏型压缩，即将次要的信息数据压缩掉，牺牲一些质量来减少数据量，使压缩比提高。这种方法经常用于因特网尤其是流媒体以及电话领域。在这篇文章中经常成为编解码。它是与无损数据压缩对应的压缩方法。根据各种格式设计的不同，有损数据压缩都会有generationloss：压缩与解压文件都会带来渐进的质量下降。
 
人眼或人耳能够察觉的有损压缩带来的缺陷称为压缩失真(en：compressionartifact)。
 
更多计算机相关问题，请访问PHP中文网的常见问题栏目！

一.测试背景
 
工作中想把历史的结构化数据到Hive中进行查询，由于数据较大，需要进行压缩，
根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，
以求找到最好的压缩格式。
 
二.测试方法概述
 
1、数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。
2、测试平台：公司Ambari测试平台，物理内存100G。
3、测试方法：将textfile文件通过脚本自动录入到Hive里，形成大表。（注：解析JSON数据的serde使用 hdp hive自带的hive-hcatalog-core.jar 里面的org.apache.hive.hcatalog.data.JsonSerDe类）
4、从大表创建基于各种不同存储方式的分区表。
5、核心组件HDP版本选择
 
三.实际操作
 
1.建立大表js_data
 
CREATE TABLE IF NOT EXISTS data_ysz.js_data (referer STRING,ip STRING,
articleId STRING,catalogCode STRING, userAgent STRING,sessionId STRING,
title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING,visitDate STRING) 
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe';
 
2.装载数据到js_data
 
load data inpath '' into table js_data 
 
3.根据大表建立不同存储方式的分区表（依次为RCfile,ORC,sequencefile,parquet,Avro）
 
Create table js_data_partitioned_rcfile(referer STRING,ip STRING,articleId STRING,catalogCode STRING,
userAgent STRING,sessionId STRING,title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING) PARTITIONED BY (visitDate STRING) STORED AS RCfile


Create table js_data_partitioned_orc(referer STRING,ip STRING,articleId STRING,catalogCode STRING,
userAgent STRING,sessionId STRING,title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING)PARTITIONED BY (visitDate STRING) STORED AS ORC


Create table js_data_partitioned_sequencefile(referer STRING,ip STRING,articleId STRING,catalogCode STRING,
userAgent STRING,sessionId STRING,title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING) PARTITIONED BY (visitDate STRING) STORED AS SequenceFile


Create table js_data_partitioned_parquetfile(referer STRING,ip STRING,articleId STRING,catalogCode STRING,
userAgent STRING,sessionId STRING,title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING) PARTITIONED BY (visitDate STRING) STORED AS parquetfile


Create table js_data_partitioned_avrofile(referer STRING,ip STRING,articleId STRING,catalogCode STRING,
userAgent STRING,sessionId STRING,title STRING,deviceId STRING,url STRING,visitTime STRING,catalogId STRING,
atype STRING,domain STRING,action STRING) PARTITIONED BY (visitDate STRING) STORED AS Avro
 
4.基于如下SQL进行测试
 
select visitdate,count(*) as pv from 表名 where action = '1'  and domain = 'static.scms.sztv.com.cn' group by visitdate order by pv;
 
四.结果展示
 
性能测试结果
 
存储格式			 ORC 	Sequencefile 	Parquet	 RCfile 	Avro
数据压缩后大小 	 1.8G	    67.0G 		  11G 	  63.8G     66.7G
存储耗费时间 		 535.7s 	625.8s		 537.3s	  543.48 5	44.3
SQL查询响应速度	 19.63s 	184.07s 	 24.22s 	88.5s 	281.65
 
五.结论
 
1.在压缩存储时间上，除Sequencefile外基本都相差无几。

2.数据压缩比例上ORC最优，相比textfile节省了50倍磁盘空间，parquet压缩性能也较好。

3.SQL查询速度而言，ORC与parquet性能较好，远超其余存储格式。

综合上述各种性能指标，建议工作中原始日志写入hive的存储格式都采用ORC或者parquet格式，这和目前主流的做法一致。
 
.
 .
 .
 .
 .
 下面是我的公众号，收集了现在主流的大数据技能和架构，欢迎大家一起来学习交流。
 

linux 文件压缩格式详解
 
压缩文件原理
 
在计算机科学和信息论中，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据比特（或者其它信息相关的单位）表示信息的过程。例如，如果我们将“compression”编码为“comp”那么这篇文章可以用较少的数据位表示。常见的例子是ZIP文件格式，此格式不仅仅提供压缩功能，还可作为归档工具（Archiver），能够将许多文件存储到同一个文件中。
 
简单的说，就是经过压缩软件压缩的文件叫压缩文件，压缩的原理是把文件的二进制代码压缩，把相邻的0,1代码减少，比如有000000,可以把它变成6个0 的写法60,来减少该文件的空间。
 压缩文件的基本原理是查找文件内的重复字节,并建立一个相同字节的"词典"文件,并用一个代码表示,比如在文件里有几处有一个相同的词"中华人民共和国"用一个代码表示并写入"词典"文件,这样就可以达到缩小文件的目的。
 
常见的压缩格式
 
zip
 
ZIP文件格式是一种数据压缩和文档储存的文件格式，原名Deflate，发明者为菲尔·卡茨（Phil Katz），他于1989年1月公布了该格式的资料。ZIP通常使用后缀名“.zip”，它的MIME格式为application/zip。当前，ZIP格式属于几种主流的压缩格式之一，其竞争者包括RAR格式以及开放源码的7z格式。从性能上比较，RAR及7z格式较ZIP格式压缩率较高，而7-Zip由于提供了免费的压缩工具而逐渐在更多的领域得到应用。Microsoft从Windows ME操作系统开始内置对zip格式的支持，即使用户的计算机上没有安装解压缩软件，也能打开和制作zip格式的压缩文件，OS X和流行的Linux操作系统也对zip格式提供了类似的支持。因此如果在网络上传播和分发文件，zip格式往往是最常用的选择。
 
gzip
 
Gzip是若干种文件压缩程序的简称，通常指GNU计划的实现，此处的gzip代表GNU zip。也经常用来表示gzip这种文件格式。软件的作者是Jean-loup Gailly和Mark Adler。在1992年10月31日第一次公开发布，版本号0.1，1993年2月，发布了1.0版本
 
bzip2
 
bzip2是Julian Seward开发并按照自由软件／开源软件协议发布的数据压缩算法及程序。Seward在1996年7月第一次公开发布了bzip2 0.15版，在随后几年中这个压缩工具稳定性得到改善并且日渐流行，Seward在2000年晚些时候发布了1.0版。
 
7z
 
在计算机科学中，7z是一种可以使用多种压缩算法进行数据压缩的文件格式。该格式最初被7-Zip实现并采用，但是这种文件格式是公有的，并且7-Zip软件本身亦在GNU宽通用公共许可证 (GNU LGPL)协议下开放源代码。当前LZMA软件开发工具包的最新版本为v15.12。
 
rar
 
RAR是一种专利文件格式，用于数据压缩与归档打包，开发者为尤金·罗谢尔（俄语：Евгений Лазаревич Рошал，拉丁转写：Yevgeny Lazarevich Roshal），RAR的全名是“Roshal ARchive”，即“罗谢尔的归档”之意。首个公开版本RAR 1.3发布于1993年。
 
尤金·罗谢尔，1972年3月10日生于俄罗斯。毕业于俄罗斯车里雅宾斯克工业大学（Chelyabinsk Technical University，今南乌拉州立大学），也是FAR文件管理器的作者。他开发程序压缩或解压RAR文件，最初用于DOS，后来移植到其它平台。主要的Windows版本编码器，称为WinRAR，以共享软件的形式发行。不过罗谢尔公开了解码器源码，UnRAR解码器许可证以不许发布编译RAR兼容编码器为条件下允许有条件自由发布与修改，而RAR编码器一直是有专利的。
 
最近的开发者是尤金·罗谢尔的胞兄亚历山大·罗谢尔。虽然其解码器有专利，编译好的解压程序仍然存在于若干平台，例如开源的7-Zip。
 
常见的压缩文件压缩和解压缩
 
文件后缀名
说明
压缩
解压缩
*.zip
zip 程序打包压缩的文件
zip fileName.zip dirName
unzip fileName.zip
*.rar
rar 程序压缩的文件
rar a fileName.rar dirName
rar x fileName.rar
*.7z
7zip 程序压缩的文件
7z a fileName.7z dirName
7z x fileName.7z
*.tar
tar 程序打包，未压缩的文件
tar cvf fileName.tar dirName
tar xvf fileName.tar
*.gz
gzip 程序 (GNU zip) 压缩的文件
gzip fileName
gzip -d fileName.gz
*.bz2
tar 打包，gzip 程序压缩的文件
bzip2 -z FileName
bzip2 -d FileName.bz2
*.tar.gz
tar打包，gzip程序压缩的文件
tar zcvf FileName.tar.gz dirName
tar zxvf FileName.tar.gz
*.tar.xz
tar打包，xz程序压缩的文件
tar cvJf fileName.tar.xz dirName
tar -xvJf fileName.tar.xz
*.tar.bz2
tar打包，bzip2程序压缩的文件
tar jcvf FileName.tar.bz2 dirName
tar jxvf FileName.tar.bz2
*.Z
compress命令解压缩rar文件
compress fileName
uncompress fileName.Z

 
 
 精选30+云产品，助力企业轻松上云！>>>  
 
 
 
  
 
  

 
  

 
  
Hive 建设离线数据仓库通常符合：一次写入，多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。
 
  

 
  
先看几个 Hive 常用的存储格式：
 
  

 
  
textfile：行存储
 
  
SequenceFile：二进制文件，行存储
 
  
ORCFile：数据按行分块、每块按列存储，是 RCFile 的改良版。
 
  

 
  
另外，为了节省集群磁盘的存储资源，数据一般都是需要压缩的，目前在 Hadoop 中用的比较多的有 lzo、gzip、snappy、bzip2 ，下面就这四种压缩格式做一下不同维度的对比，方便大家在实际应用中根据不同的场景选择相应的压缩方式。CDH 默认采用的压缩是 snappy
 
  

 
  
1、gzip 压缩
 
  
优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。
 
  
缺点：不支持split。
 
  
应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序，streaming程序，和java写的mapreduce程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。
 
  
2、lzo 压缩
 
  
优点：压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式；支持hadoop native库；可以在linux系统下安装lzop命令，使用方便。
 
  
缺点：压缩率比gzip要低一些；hadoop本身不支持，需要安装；在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。
 
  
应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显。
 
  
3、snappy 压缩
 
  
优点：高速压缩速度和合理的压缩率；支持hadoop native库。
 
  
缺点：不支持split；压缩率比gzip要低；hadoop本身不支持，需要安装；linux系统下没有对应的命令。
 
  
应用场景：当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。
 
  
4、bzip2 压缩
 
  
优点：支持split；具有很高的压缩率，比gzip压缩率都高；hadoop本身支持，但不支持native；在linux系统下自带bzip2命令，使用方便。
 
  
缺点：压缩/解压速度慢；不支持native。
 
  
应用场景：适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。
 
  
最后一张图，总结下四种压缩方式（优缺点）：
 
  

 
  
 
  

 
  
需要注意的是，以上几种压缩算法都是在压缩普通文本的前提下来说的是否支持 split，如果是 ORC、Sequence Files 等，本身就支持 split，经过压缩之后一样是支持split的。
 
  

 
  
综上，使用 ORC + Gzip 的方式或者 ORC+Snappy 的方式，既能保证保证数据文件可以 split，又能保证不错的压缩/解压速度和压缩比。Gzip与Snappy不同的是，后者需要安装。
 
  

 
  
我们的数据 ods 层外部表的数据基本都是普通文本文件，为了压缩之后支持 split, 我们采用了 bzip2 压缩方式，bzip2 可以调整压缩比，缺点就是解压比较慢。DW 层内部表采用的是 ORC+Snappy 的模式。
 
  

 
  
设置参数：
 
  

 
  
set hive.exec.compress.output=true
set mapred.output.compress=true
set mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
 
  

 
  
附：mapreduce 支持的压缩格式。
 
  

 
  
zlib :org.apache.hadoop.io.compress.DefaultCodec 
gzip : org.apache.hadoop.io.compress.GzipCodec 
gzip2: org.apache.hadoop.io.compress.Bzip2Codec 
lzo : org.apache.hadoop.io.compress.LzoCodec 
lz4 : org.apache.hadoop.io.compress.Lz4Codec 
snappy: org.apache.hadoop.io.compress.SnappyCodec
 
  

 
  
最后，压缩格式的选择都是建立在对 CPU 、存储、IO 的综合考虑之上的。适合的才是最好的。
 
  

 
  
（完）
 
  

 
  

  

 
  
后台回复【001】即可获取大数据学习资料。
 
  
给自学的路上加点料！
 
  

 
  

  
 
  
哔哔 The Data
 
  
 
  


 
  

 
  

 
 
 
 
本文分享自微信公众号 - 大数据每日哔哔（bb-bigdata）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。