Linux系统中常用的压缩和解压缩工具；
压缩：以时间换空间的一种操作；
压缩的原理：标记和替换；
压缩比：压缩之前与压缩之后的文件的大小的比值;
纯文本文件压缩比较大
视频、图像等文件压缩比小

能够实现压缩功能的工具：
compress/uncompress： .Z扩展名为红色的，没有特殊含义(系统自带的工具)
gzip/gunzip：.gz扩展名
bzip2/bunzip2：.bz2扩展名
xz/unxz：.xz扩展名，目前压缩比最高的工具
zip/unzip：.zip扩展名

gzip：
zcat：读取压缩包
gzip, gunzip, zcat - compress or expand files
-d：解压缩；
-#：以指定的压缩比进行压缩，1-9,9为最高级，默认为6；
-C：将压缩结果输出到标准输出，不会对原文件进行压缩；
gzip -c /path/to/file > /path/to/compress_file.gz


bzip2:
bunzip2：读取压缩包
bzip2, bunzip2 - a block-sorting file compressor, v1.0.6
    bzcat - decompresses files to stdout
-d：解压缩；    
-#：以指定的压缩比进行压缩，1-9,9为最高级，默认为6；
-k --keep：保留原文件不删除，创建新的压缩文件；


xz：
xzcat：读取压缩包
xz, unxz, xzcat,  - Compress or decompress .xz  files
-d：解压缩；
-#：以指定的压缩比进行压缩，1-9,9为最高级，默认为6；
-k --keep：保留原文件不删除，创建新的压缩文件；


tar：归档程序
tar——tape archive：磁带档案
tar [OPTION...] [FILE]...
主选项：
-c：创建档案文件
-x：释放档案文件的内容
-t：查看档案文件中包含的文件
-u/-r：向档案文件中添加新的文件


辅助选项：
-f：指定档案文件的路径
-C：释放档案文件中的内容时，指定释放的路径；
-z：在创建档案文件时，调用gzip进行压缩；
-j：在创建档案文件时，调用bzip2进行压缩；
-J：在创建档案文件时，调用xz进行压缩；
--exclude：在释放档案文件时，排除某个文件；
-k：在释放档案文件时，不会覆盖同名文件；
本文转自谁等了谁 51CTO博客，原文链接:http://blog.51cto.com/12486569/1925106




        
        
                
    

一、压缩文件的用途与技术
简单来说，你可以将它想成，其实文件里有相当多的空间存在，并不是完全填满的，而压缩的技术就是将这些空间填满，以让整个文件占用的容量下降。不过，这些被压缩过的文件数据，则必须将它还原回来未压缩前的模样，那就是所谓的解压缩
而至于压缩后与压缩的文件所占用的磁盘空间大小，就可以被称作压缩比
二、常见压缩命令
常见的压缩文件扩展名：




扩展名
含义




*.z
compress程序压缩的文件


*.zip
zip程序压缩的文件


*.gz
gzip程序压缩的文件


*.bz2
xz程序压缩的文件


*.xz
xz程序压缩的文件


*.tar
tar程序打包的文件，并没有压缩过


*.tar.gz
tar程序打包的文件,并且经过gzip的压缩


*.tar.bz2
tar程序打包的文件,并且经过bzip2的压缩


*.tar.xz
tar程序打包的文件,并且经过xz的压缩


1、gzip，zcat/zmore/zless/zgrep
gzip可以说是目前应用最广的压缩命令了，压缩文件扩展名为.gz*
命令语法：
gzip [-cdtv#] [name ...].gz

zcat [ -fhLV ] [ name ...  ].gz

命令选项：




选项
含义




-c
将压缩的数据输出到屏幕上，可通过数据流重定向来处理


-d
解压缩


-t
可以检验一个压缩文件的一致性，看看有无错误


-v
可以显示出原文件/压缩文件的的压缩比等信息


-#
#为数字的意思，代表压缩等级，-1最快，但是压缩比最差，-9最慢，但是压缩比最好，默认是-6


例1：找出/etc下面（不含子目录）容量最大的文件，并将它复制到/tmp，然后用gzip压缩
[root@localhost ~]# ll -drS /etc/*
-rw-r--r--.  1 root root      0 Jan 12  2010 /etc/motd
-rw-r--r--.  1 root root      0 May 11  2016 /etc/init.conf
-rw-r--r--.  1 root root      0 May 10  2016 /etc/gai.conf
-rw-r--r--.  1 root root      0 Jan 12  2010 /etc/exports
...
-rw-r--r--.  1 root root  43591 Sep 23  2011 /etc/mime.types
-rw-r--r--.  1 root root 641020 Oct  2  2013 /etc/services
[root@localhost ~]# cd /tmp
[root@localhost tmp]# cp /etc/services .
[root@localhost tmp]# gzip -v services
services:        80.2% -- replaced with services.gz
[root@localhost tmp]# ll /etc/services /tmp/services.gz
-rw-r--r--. 1 root root 641020 Oct  2  2013 /etc/services
-rw-r--r--. 1 root root 127223 Mar 10 02:24 /tmp/services.gz

例2：将例1文件解压缩
[root@localhost tmp]# gzip -d services.gz
...

例3：重新以最佳压缩比压缩，保留原本的文件，并找出关键词http在第几行
[root@localhost tmp]# gzip -9 -c services > services.gz
[root@localhost tmp]# zgrep -n "http" services.gz
14:#       http://www.iana.org/assignments/port-numbers
89:http            80/tcp          www www-http    # WorldWideWeb HTTP
90:http            80/udp          www www-http    # HyperText Transfer Protocol
91:http            80/sctp                         # HyperText Transfer Protocol
197:https           443/tcp                         # http protocol over TLS/SSL
...

2、bzip2，bzcat/bzmore/bzless/bzgrep




选项
含义




-k
保留原始文件


-z
压缩的参数


【注】：用法和其他选项与gzip相同
3、xz，xzcat/xzmore/xzless/xzgrep




选项
含义




-l
列出压缩文件的相关信息


三、打包命令：tar
命令语法：
tar [OPTION...] [FILE]...

命令选项：




选项
含义




-c
建立压缩打包文件


-x
解压


-t
查看文件


-r
追加文件


-u
更新文件


-A
归档


-f
后面接要被处理的文件名，必须是最后一个选项


简单使用tar命令我们只需要记住下面这些就可以了：
- [ ] 压缩:  tar -jcvf  file.tar.bz2 file / tar -Jcvf  file.tar.xz file

- [ ] 查询：  tar -Jtv -f filename.tar.xz / tar -jtv -f filename.tar.bz2

- [ ] 解压缩：.tar:   tar -xvf [解包]  /.tar.gz:  tar -xzvf  /   *.tar.bz2:  tar -xjvf

例：
[root@localhost tmp]# tar -Jcvf services.tar.xz services
services
[root@localhost tmp]# tar -Jtv -f services.tar.xz
-rw-r--r-- root/root    641020 2020-03-10 02:35 services
[root@localhost tmp]# tar -xJvf services.tar.xz
services

四、dd  拷贝文件命令
dd  if=/dev/zero of=/tmp/file bs=1K  count=10

if：标准输入：输入的文件名，指定源文件
of：标准输出，输出的文件名，指定目的文件
bs：指定输入输出块大小
ibs：读入块
obs：输出块
count：拷贝多个块
skip= ：从输入的文件跳过多少个块后复制
seek= ：从输出的文件跳过多少个块后复制
conv= ：转换



 备份磁盘：
dd if=/dev/sda  of=/dev/sdb


 备份磁盘到文件：
dd if=/dev/sda  of=/tmp/file

dd  if=/dev/sda  | gzip  > /tmp/file.gz


 将备份文件恢复到指定磁盘：
dd if=/dev/mem   of=/tmp/file bs=1m count=1024


 测试硬盘的读写速率：
dd if=/dev/zero  of=/tmp/file  bs=100K  count=1024




 测试硬盘的最佳块大小，1K  4K  8 K 16K：
dd if=/dev/zero  of=/tmp/file  bs=1024  count=1000000

dd if=/dev/zero  of=/tmp/file  bs=4096 count=250000

dd if=/dev/zero  of=/tmp/file  bs=8192 count=125000


 转换：
dd if=/tmp/file  of=/tmp/file1 conv=ucase


五、cpio  备份命令
备份： cpio -ocvB  >  file

还原： cpio -ivcdu  > file

查看： cpio -ivct > file




选项
含义




-o
拷贝文件到某个文件或者设备


-c
存储方式


-v
显示存储过程


-B
以XXX块大小拷贝， 默认是512 ，以5120大小拷贝


-i
从某个文件或者设备拷贝出


d
自动创建目录


u
自动新文件覆盖旧文件  update


t
查看文件或者设备中的内容


#find / -print | cpio -ocvB > /dev/sdb

#cpio -ivcdu < /dev/sdb  > /tmp/log

PSNR
峰值信噪比（PSNR）， 一种评价图像的客观标准，应用场景有很多。它具有局性，PSNR是“Peak Signal to Noise Ratio”的缩写。peak的中文意思是顶点。而ratio的意思是比率或比列的。整个意思就是到达噪音比率的顶点信号，psnr一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩之后，通常输 出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质，我们通常会参考PSNR值来衡量某个处理程序能否令人满意。它是原图像与被处理图 像之间的均方误差相对于(2n-1)2的对数值(信号最大值的平方，n是每个采样值的比特数)，它的单位是dB。



其中，MSE表示当前图像X和参考图像Y的均方误差（MeanSquare Error），X(i,j)，Y(i,j)分别代表对应坐标处的像素值，H、W分别为图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰阶数为256. PSNR的单位是dB，数值越大表示失真越小。，因为数值越大代表MSE越小。MSE越小代表两张图片越接近，失真就越小。
PSNR是最普遍和使用最为广泛的一种图像客观评价指标，然而它是基于对应像素点间的误差，即 基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个 区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。
SSIM
SSIM的全称为structural similarity index，即为结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。而如果两幅图像是压缩前和压缩后的图像，那么SSIM算法就可以用来评估压缩后的图像质量。
SSIM如何表征相似性：

先给出一组公式：


uX、uY分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的标准差，σXσX、σYσY（实在打不出上标啊，理解万岁）分别表示图像X和Y的方差。σXY代表图像X和Y协方差。C1，C2和C3为常数，是为了避免分母为0而维持稳定。通常取C1=(K1L)^2, C2=(K2L)^2, C3=C2/2, 一般地K1=0.01, K2=0.03, L=255（ 是像素值的动态范围，一般都取为255）
最后的SSIM指数为：


当我们设定C3=C2/2时，我们可以将公式改写成更加简单的形式：


所以结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。
如何求得均值，方差与标准差：


而在实际应用中，一般采用高斯函数计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。
至于为什么采用高斯函数计算图像的均值、方差以及协方差，还有待深究
在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平均结构相似性MSSIM。

                    
一、压缩和解压缩工具

    一般压缩的对象的是：ascii文件

    压缩比：压缩前后的size比例

        含义：把相同的内容，进行替换为简单的字符//很多压缩算法

        目的：时间换空间{CPU时间}

        

    compress/uncompress  ， .Z 后缀

    gzip/gunzip        ， .gz

    bzip2/bunzip2  , .bz2

    xz/unxz  ,  .xz

    zip/unzip

    tar,cpio

    

    1.gzip/gunzip/zcat

        gzip a//会删除原有文件

        gunzip a.gz //会删除压缩文件

        zcat a.gz //自动临时解压，并查看，文件太大的话，建议不要使用zcat，因为要占用大量的内存

        

        -d :解压缩，相当于gunzip

        -# ：指定压缩比，数字越大，压缩比越大，默认是6（1-9）

            gzip -9 aa 

        -c :输出到屏幕，并保留源文件

            gzip -c aa > aa.gz 

    2.bzip2/bunzip2/bzcat

        bzip2 a //会删除源文件

        -d a.bz2 //解压缩

        -# //指定压缩比(1-9)，默认是6

        -k //keep 保留源文件

            bzip2 -k a //自动保存源文件

    3.xz/unxz/xzcat{.xz} ,lzma/unlzma/lzcat{.lzma}

        -d 解压缩

        -# 指定 压缩级别默认6,1-9

        -k 保留源文件

        

    //上述都支持压缩文件，不支持压缩目录
二、归档工具：tar,cpio

    tar [OPTION] ... FILE ...

        -c 创建归档

            -f 指定文件路径和名字

            cf a.tar a

        -x 展开归档

            tar xf a.tar -C /tmp/test //指定其他路径

        -t 查看归档文件的文件列表

            tar -tf a.tar 

        -r //apend 添加新的文件到tar文件

            tar -r test/messages log.tar

    cpio //3种模式

        cpio-out:从标准输入获得文件名列表 (一行一个)。默认把归档包写到标准输出，因此一般重定向到 一个文件中

        copy-in模式中, cpio 从归档包里读取文件, 或者列出归档包里的内容。它从标准输入读入归档包

        copy-pass模式中, cpio把文件从一棵目录树复制到另一棵, 它结合了 copy-in 和 copy-out 的操作, 但不使用归档包。

        缺省情况下，cpio从标准输入读取输入数据，向标准输出写入输出数据。

        

        -o或--create：执行copy-out模式，建立备份档

        -c：使用旧ASCII备份格式；

        -v:verbose

        -B:将输入/输出的区块大小改成5210Bytes；

        -i或--extract：执行copy-in模式，还原备份档；

        -d或--make-directories：如有需要cpio会自行建立目录；

        -t或--list：将输入的内容呈现出来；

        

        

        将/etc下的所有普通文件都备份到/opt/etc.cpio，使用以下命令： 

        find /etc –type f | cpio –ocvB >/opt/etc.cpio 

        cpio –icduv 《 /opt/etc.cpio  //有时可能因为备份的文件过多，一个屏幕无法显示完毕，此时我们利用下面命令，让磁带机的文件信息输出到文件。    

        将系统上所有资料备份到磁带机内，使用以下命令： 

        find / -print | cpio -covB > /dev/st0 这里的/dev/st0是磁带的设备名，代表SCSI磁带机。 

        查看上例磁带机上备份的文件，使用以下命令： 

        cpio -icdvt 《 /dev/st0 > /tmp/st_content

        
三、结合使用：

    -z ;gzip2

        zcf a.tar.gz file ...

        xf a.tar.gz  //展开的时候可以自动识别压缩格式

    -j ：bzip2

        -jcf

        -jxf

    -J :xz

        -Jcf

        -Jxf

        
四、zip/unzip 

    通用压缩工具，但是性能一般

    本身既能归档，也能压缩

    zip test.zip /test/

    unzip test.zip






















本文转自MT_IT51CTO博客，原文链接：http://blog.51cto.com/hmtk520/1950148，如需转载请自行联系原作者