精华内容
下载资源
问答
  • MapReduce压缩参数配置

    2020-08-14 21:00:09
    MapReduce压缩参数配置 要在Hadoop中启用压缩,可以配置如下参数: CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。 要想对正在被写入一个输出流的数据进行压缩,我们可以使用createOutputStream...

    MapReduce压缩参数配置

    要在Hadoop中启用压缩,可以配置如下参数:

    在这里插入图片描述

    CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。

    1. 要想对正在被写入一个输出流的数据进行压缩,我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream,将其以压缩格式写入底层的流。
    2. 相反,要想对从输入流读取而来的数据进行解压缩,则调用createInputStream(InputStreamin)函数,从而获得一个CompressionInputStream,从而从底层的流读取未压缩的数据。

    Map输出端采用压缩

    即使你的MapReduce的输入输出文件都是未压缩的文件,你仍然可以对Map任务的中间结果输出做压缩,因为它要写在硬盘并且通过网络传输到Reduce节点,对其压缩可以提高很多性能,这些工作只要设置两个属性即可。

    public class WordCountDriver {
    
    	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    
    //在Driver中设置
            
    		// 开启map端输出压缩
    	conf.setBoolean("mapreduce.map.output.compress", true);
    		// 设置map端输出压缩方式
    	conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);
    
    
    

    Reduce输出端采用压缩

    //在Driver类中
    // 设置reduce端输出压缩开启
    		FileOutputFormat.setCompressOutput(job, true);
    		// 设置压缩的方式
    	    FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);
    	    FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class); 
    //	    FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class); 
    //	    FileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class);
    
    //对FileOutPUtFormat 修改
    
    

    odec.class);

    //对FileOutPUtFormat 修改

    
    
    展开全文
  • 文章目录Hadoop数据压缩1 概述2 MR支持的压缩编码3 压缩方式选择3.1 Gzip压缩3.2 Bzip2压缩3.3 Lzo压缩3.4 Snappy压缩4 压缩位置选择5 压缩参数配置 1 概述 2 MR支持的压缩编码 压缩格式 hadoop自带? 算法 ...

    Hadoop数据压缩

    1 概述

    在这里插入图片描述
    在这里插入图片描述

    2 MR支持的压缩编码

    压缩格式 hadoop自带? 算法 文件扩展名 是否可切分 换成压缩格式后,原来的程序是否需要修改
    DEFLATE 是,直接使用 DEFLATE .deflate 和文本处理一样,不需要修改
    Gzip 是,直接使用 DEFLATE .gz 和文本处理一样,不需要修改
    bzip2 是,直接使用 bzip2 .bz2 和文本处理一样,不需要修改
    LZO 否,需要安装 LZO .lzo 需要建索引,还需要指定输入格式
    Snappy 是,直接使用 Snappy .snappy 和文本处理一样,不需要修改

    为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示。

    压缩格式 对应的编码/解码器
    DEFLATE org.apache.hadoop.io.compress.DefaultCodec
    gzip org.apache.hadoop.io.compress.GzipCodec
    bzip2 org.apache.hadoop.io.compress.BZip2Codec
    LZO com.hadoop.compression.lzo.LzopCodec
    Snappy org.apache.hadoop.io.compress.SnappyCodec

    压缩性能的比较

    压缩算法 原始文件大小 压缩文件大小 压缩速度 解压速度
    gzip 8.3GB 1.8GB 17.5MB/s 58MB/s
    bzip2 8.3GB 1.1GB 2.4MB/s 9.5MB/s
    LZO 8.3GB 2.9GB 49.3MB/s 74.6MB/s

    3 压缩方式选择

    3.1 Gzip压缩

    • 优点:压缩率比较高,而且压缩/解压速度也比较快;Hadoop本身支持,在应用中处理Gzip格式的文件就和直接处理文本一样;大部分Linux系统都自带Gzip命令,使用方便。

    • 缺点:不支持Split。

    应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用Gzip压缩格式。例如说一天或者一个小时的日志压缩成一个Gzip文件。

    3.2 Bzip2压缩

    • 优点:支持Split;具有很高的压缩率,比Gzip压缩率都高;Hadoop本身自带,使用方便。

    • 缺点:压缩/解压速度慢。

    应用场景:适合对速度要求不高,但需要较高的压缩率的时候;或者输出之后的数据比较大,处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况;或者对单个很大的文本文件想压缩减少存储空间,同时又需要支持Split,而且兼容之前的应用程序的情况。

    3.3 Lzo压缩

    • 优点:压缩/解压速度也比较快,合理的压缩率;支持Split,是Hadoop中最流行的压缩格式;可以在Linux系统下安装lzop命令,使用方便。

    • 缺点:压缩率比Gzip要低一些;Hadoop本身不支持,需要安装;在应用中对Lzo格式的文件需要做一些特殊处理(为了支持Split需要建索引,还需要指定InputFormat为Lzo格式)。

    应用场景:一个很大的文本文件,压缩之后还大于200M以上的可以考虑,而且单个文件越大,Lzo优点越越明显。

    3.4 Snappy压缩

    • 优点:高速压缩速度和合理的压缩率。

    • 缺点:不支持Split;压缩率比Gzip要低;Hadoop2版本不支持,需要安装,Hadoop3版本已经自带支持

    应用场景:当MapReduce作业的Map输出的数据比较大的时候,作为Map到Reduce的中间数据的压缩格式;或者作为一个MapReduce作业的输出和另外一个MapReduce作业的输入。

    4 压缩位置选择

    在这里插入图片描述

    5 压缩参数配置

    要在Hadoop中启用压缩,可以配置如下参数:

    参数 阶段 默认值
    io.compression.codecs
    (在core-site.xml中配置)
    输入压缩 无,这个需要在命令行
    输入hadoop checknative查看
    mapreduce.map.output.compress
    (在mapred-site.xml中配置)
    mapper输出 false
    mapreduce.map.output.compress.codec
    (在mapred-site.xml中配置)
    mapper输出 org.apache.hadoop.io
    .compress.DefaultCodec
    mapreduce.output.fileoutputformat.compress
    (在mapred-site.xml中配置)
    reducer输出 false
    mapreduce.output.fileoutputformat.compress.codec
    (在mapred-site.xml中配置)
    reducer输出 org.apache.hadoop.io
    .compress.DefaultCodec
    mapreduce.output.fileoutputformat.compress.type
    (在mapred-site.xml中配置)
    reducer输出 RECORD
    展开全文
  • webapi 源码 版本控制 压缩 参数验证

    热门讨论 2016-04-10 15:54:33
    webapi 源码 版本控制 压缩 参数验证
  • 压缩参数配置 要在Hadoop中启用压缩,可以配置如下参数: 表4-10 配置参数 参数 默认值 阶段 建议 io.compression.codecs (在core-site.xml中配置) org.apache.hadoop.io.compress.DefaultCodec,...

    压缩参数配置

    要在Hadoop中启用压缩,可以配置如下参数:

    表4-10 配置参数

    参数 默认值 阶段 建议
    io.compression.codecs (在core-site.xml中配置) org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec 输入压缩 Hadoop使用文件扩展名判断是否支持某种编解码器
    mapreduce.map.output.compress(在mapred-site.xml中配置) false mapper输出 这个参数设为true启用压缩
    mapreduce.map.output.compress.codec(在mapred-site.xml中配置) org.apache.hadoop.io.compress.DefaultCodec mapper输出 企业多使用LZO或Snappy编解码器在此阶段压缩数据
    mapreduce.output.fileoutputformat.compress(在mapred-site.xml中配置) false reducer输出 这个参数设为true启用压缩
    mapreduce.output.fileoutputformat.compress.codec(在mapred-site.xml中配置) org.apache.hadoop.io.compress. DefaultCodec reducer输出 使用标准工具或者编解码器,如gzip和bzip2
    mapreduce.output.fileoutputformat.compress.type(在mapred-site.xml中配置) RECORD reducer输出 SequenceFile输出使用的压缩类型:NONE和BLOCK

    大数据培训

    展开全文
  • 一、使用 libjpeg-turbo 压缩图片流程...四、设置压缩参数、 五、开始压缩、 六、循环写入压缩数据、 七、完成图片压缩及收尾、 八、libjpeg-turbo 图片压缩案例 ( 官方示例 )、 九、libjpeg-turbo 压缩图片代码示例、



    上一篇博客 【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( JNI 传递 Bitmap | 获取位图信息 | 获取图像数据 | 图像数据过滤 | 释放资源 ) 介绍了从 Java 层传入 Bitmap 对象到 JNI 层 , JNI 层获取到了图像对应的 RGB 像素数据 , 本篇博客中将获取的图像数据进行压缩 , 存储到 JPEG 格式图片中 ;





    一、使用 libjpeg-turbo 压缩图片流程



    使用 libjpeg-turbo 压缩图片流程 :


    ① 初始化压缩对象 : 初始化 JPEG 图片压缩对象 ;

    ② 打开文件 : 使用 Linux C API 打开压缩图片写出文件 ;

    ③ 设置压缩参数 : 设置图片压缩参数 , 如图片宽高 , 像素格式 , 数据格式 , 质量等 ;

    ④ 开始压缩 : 启动压缩 ;

    ⑤ 写入压缩数据 : 图像数据逐行输入 , 并压缩 ;

    ⑥ 压缩完毕 : 压缩完毕后调用对应方法 ;

    ⑦ 释放资源 : 文件资源 , 及压缩相关的内存资源 , 需要释放掉 ;





    二、初始化 JPEG 压缩对象



    1. 初始化 JPEG 压缩对象 :


    ① JPEG 压缩对象概念 : jpeg_compress_struct 结构体和与其关联的工作数据 , 该对象中存储了 JPEG 压缩参数 , 还包含了指向工作空间的指针 , JPEG 库会在需要时分配该指针;

    ② 压缩对象个数 : 该结构体可能会存在多个 , 每个结构体对象都表示了一个压缩或解压缩的工作;



    2. 错误处理机制 :


    ① 错误处理程序 : jpeg_error_mgr 结构体表示错误处理程序 , 将其单独定义成一个结构体 , 是因为应用经常需要提供一个专门的错误处理程序;

    ② 处理处理机制 : 在这里我们采用最简单的方法 , 使用标准的错误处理程序 , 如果 压缩失败 , 在 stderr 上打印失败信息, 并调用 exit() 退出程序 ;

    ③ 结构体生命周期 : 该结构体的生命周期必须与 jpeg_compress_struct 结构体的生命周期保持一致 , 以免产生野指针问题 ;

    ④ 错误处理设置时间 : 在所有操作之前 , 设置错误处理程序 , 为了防止 JPEG 压缩对象初始化时出错, 越早设置错误处理程序越好 , 在内存不足时, 创建 jpeg_compress_struct 可能会失败 ;


    2. 代码示例 :

        /* 该对象中存储了 JPEG 压缩参数, 还包含了指向工作空间的指针, JPEG 库会在需要时分配该指针;
         * 该结构体可能会存在多个, 每个结构体对象都表示了一个压缩或解压缩的工作;
         * JPEG 对象 : jpeg_compress_struct 结构体和与其关联的工作数据
         */
        struct jpeg_compress_struct cinfo;
    
        /* 错误处理程序 : jpeg_error_mgr 结构体表示错误处理程序,
         * 将其单独定义成一个结构体, 是因为应用经常需要提供一个专门的错误处理程序;
         * 处理处理机制 : 在这里我们采用最简单的方法, 使用标准的错误处理程序,
         * 如果压缩失败, 在 stderr 上打印失败信息, 并调用 exit() 退出程序 ;
         * 结构体声明周期 : 该结构体的生命周期必须与 jpeg_compress_struct 结构体的生命周期保持一致,
         * 以免产生野指针问题 ;
         */
        struct jpeg_error_mgr jerr;
    
        /* 为了防止 JPEG 压缩对象初始化时出错, 这里首先设置错误处理
         * 在内存不足时, 创建 jpeg_compress_struct 可能会失败
         */
        cinfo.err = jpeg_std_error(&jerr);
    
        // 初始化 JPEG 压缩对象
        jpeg_create_compress(&cinfo);
    




    三、打开文件



    1. 打开文件 : 使用 Linux C 中的文件操作 , 调用 fopen 函数打开文件 , 传入两个参数 , 文件路径名称 , 和 打开模式 , 打开模式中 “wb” , w 代表写出数据 , b 代表二进制数据 , 该模式的函数以是写出二进制数据 ;


    2. 为 JPEG 压缩对象设置文件输出 : 调用 jpeg_stdio_dest 函数 , 为 JPEG 对象设置输出文件 ; 调用该函数的调用者需要负责文件打开 , 和文件关闭操作 ;

    EXTERN(void) jpeg_stdio_dest(j_compress_ptr cinfo, FILE *outfile);
    

    3. 代码示例 :

        FILE *outfile;
        if ((outfile = fopen(filename, "wb")) == NULL) {
            fprintf(stderr, "can't open %s\n", filename);
            exit(1);
        }
        // 设置文件输出
        jpeg_stdio_dest(&cinfo, outfile);
    




    四、设置压缩参数



    1 . 设置默认参数 :

    • 图片宽度 : cinfo.image_width ; 像素宽度 ;
    • 图片高度 : cinfo.image_height ; 像素高度 ;
    • 像素组件 : cinfo.input_components ; 单个像素 BGR 3个组件 ;
    • 颜色空间 : cinfo.in_color_space ; 输入图像的颜色空间 ;

    上述四个参数设置完毕后 , 调用 jpeg_set_defaults 方法 , 设置默认参数 ;



    2 . 设置非默认参数 :

    • 哈夫曼编码 : cinfo.optimize_coding = TRUE;
    • 编码质量 : 调用 jpeg_set_quality 方法设置压缩质量 ;
        // 下面的四个参数是必须设置的参数
        // 设置图片的宽度
        cinfo.image_width = imageWidth;
        // 设置图片的高度
        cinfo.image_height = imageHeight;
        // 设置每个像素的颜色组件, BGR 3个
        cinfo.input_components = 3;
        // 输入图像数据的颜色空间
        cinfo.in_color_space = JCS_RGB;
    
        // 设置默认的压缩参数, 该操作是函数库的常规步骤
        // 设置该参数前需要设置 cinfo.in_color_space 输入数据的颜色空间
        jpeg_set_defaults(&cinfo);
    
        // 打开哈夫曼编码
        cinfo.optimize_coding = TRUE;
    
        // 设置非默认参数, 该方法设置质量
        jpeg_set_quality(&cinfo, compressQuality, 1);
    




    五、开始压缩



    1 . 开始压缩 : 调用 jpeg_start_compress 方法 , 开始进行图片压缩工作 ;


    2 . 函数原型 :

    • j_compress_ptr cinfo 参数 : jpeg_compress_struct 结构指针 ;
    • boolean write_all_tables 参数 : 设置 TRUE 参数, 表示将完整的图片进行压缩 ; 一般情况下都是设置 TRUE, 如果进行定制压缩, 可以设置 FALSE ;
    typedef struct jpeg_compress_struct *j_compress_ptr;
    
    EXTERN(void) jpeg_start_compress(j_compress_ptr cinfo,
                                     boolean write_all_tables);
    

    3 . 代码示例 :

        // 4. 开始压缩 JPEG 格式图片, 设置 TRUE 参数, 表示将完整的图片进行压缩
        // 一般情况下都是设置 TRUE, 如果进行定制压缩, 可以设置 FALSE
        jpeg_start_compress(&cinfo, TRUE);
    




    六、循环写入压缩数据



    1 . 写入压缩数据原理 : 使用函数库的状态变量, cinfo.next_scanline 作为循环控制变量 , 这样就可以不同自己实现循环控制 , 为了保持代码简单, 每次传递一行图像数据 ;


    2 . 计算每行数据字节数 : 像素宽度乘以 33 , 33 表示每个像素点有 BGR 三个颜色值 , 每个颜色 11 字节 ;

    int row_stride = imageWidth * 3;
    

    3 . 计算每次循环拷贝的行数据首地址 : uint8_t *pixels = data + cinfo.next_scanline * row_stride 是计算过程 ;

    • data 是图像的起始位置
    • row_stride 是每一行的字节数
    • cinfo.next_scanline 是当前的行数
    • 计算出来的 pixels 指针, 指向要写出行的首地址

    4 . 循环控制变量自增 : jpeg_write_scanlines(&cinfo, row, 1) , 调用 jpeg_write_scanlines 方法后, cinfo.next_scanline 自动加 1 ;


    5 . 代码示例 :

        // 每一个行的数据个数
        int row_stride = imageWidth * 3;
    
        // 指向图像数据中的某一行数据
        JSAMPROW row[1];
        while (cinfo.next_scanline < cinfo.image_height) {
            /* 获取一行图像数据
             * data 是图像的起始位置
             * row_stride 是每一行的字节数
             * cinfo.next_scanline 是当前的行数
             * 计算出来的 pixels 指针, 指向要写出行的首地址
             */
            uint8_t *pixels = data + cinfo.next_scanline * row_stride;
            row[0] = pixels;
            // 调用 jpeg_write_scanlines 方法后, cinfo.next_scanline 自动加 1
            jpeg_write_scanlines(&cinfo, row, 1);
        }
    




    七、完成图片压缩及收尾



    1 . 完成图片压缩及收尾 :

    • 调用 jpeg_finish_compress 结束图片压缩过程 ;

    • 调用 fclose 关闭之前 fopen 打开的文件 ;

    • 调用 jpeg_destroy_compress 方法销毁之前使用的 JPEG 压缩对象 ;


    2 . 代码示例 :

        // 6. 完成图片压缩
        jpeg_finish_compress(&cinfo);
    
        // 7. 释放相关资源
        fclose(outfile);
        jpeg_destroy_compress(&cinfo);
    




    八、libjpeg-turbo 图片压缩案例 ( 官方示例 )



    在源码 libjpeg-turbo-2.0.5/example.txt 文件中 , 有详细的 JPEG 图片压缩流程 , 可以直接拷贝上述代码进行使用 ;

    点击此处连接打开官方示例代码





    九、libjpeg-turbo 压缩图片代码示例



    /**
     * 压缩 Jpeg 图片
     *
     * 完整的带详细注释的代码示例参考源码 libjpeg-turbo-2.0.5/example.txt 示例文件
     * 里面有详细的定义图片压缩的过程
     *
     * @param data      要压缩的图片数据, 像素格式是 BGR
     * @param imageWidth     输出的 JPEG 图片宽度
     * @param imageHeight    输出的 JPEG 图片高度
     * @param compressQuality   输出的 JPEG 图片质量
     * @param filename  输出文件路径
     */
    void compressJpegFile(uint8_t *data, int imageWidth, int imageHeight,
                          jint compressQuality, const char *filename) {
    
        // 1. 为 JPEG 图片压缩对象, 分配内存空间
    
        /* 该对象中存储了 JPEG 压缩参数, 还包含了指向工作空间的指针, JPEG 库会在需要时分配该指针;
         * 该结构体可能会存在多个, 每个结构体对象都表示了一个压缩或解压缩的工作;
         * JPEG 对象 : jpeg_compress_struct 结构体和与其关联的工作数据
         */
        struct jpeg_compress_struct cinfo;
    
        /* 错误处理程序 : jpeg_error_mgr 结构体表示错误处理程序,
         * 将其单独定义成一个结构体, 是因为应用经常需要提供一个专门的错误处理程序;
         * 处理处理机制 : 在这里我们采用最简单的方法, 使用标准的错误处理程序,
         * 如果压缩失败, 在 stderr 上打印失败信息, 并调用 exit() 退出程序 ;
         * 结构体声明周期 : 该结构体的生命周期必须与 jpeg_compress_struct 结构体的生命周期保持一致,
         * 以免产生野指针问题 ;
         */
        struct jpeg_error_mgr jerr;
    
        /* 为了防止 JPEG 压缩对象初始化时出错, 这里首先设置错误处理
         * 在内存不足时, 创建 jpeg_compress_struct 可能会失败
         */
        cinfo.err = jpeg_std_error(&jerr);
    
        // 初始化 JPEG 压缩对象
        jpeg_create_compress(&cinfo);
    
    
        // 2. 打开文件, 准备向文件写出二进制数据
    
        // w 代表写出数据, b 代表二进制数据
        FILE *outfile;
        if ((outfile = fopen(filename, "wb")) == NULL) {
            fprintf(stderr, "can't open %s\n", filename);
            exit(1);
        }
        // 设置文件输出
        jpeg_stdio_dest(&cinfo, outfile);
    
    
        // 3. 设置压缩参数
    
        // 下面的四个参数是必须设置的参数
        // 设置图片的宽度
        cinfo.image_width = imageWidth;
        // 设置图片的高度
        cinfo.image_height = imageHeight;
        // 设置每个像素的颜色组件, BGR 3个
        cinfo.input_components = 3;
        // 输入图像数据的颜色空间
        cinfo.in_color_space = JCS_RGB;
    
        // 设置默认的压缩参数, 该操作是函数库的常规步骤
        // 设置该参数前需要设置 cinfo.in_color_space 输入数据的颜色空间
        jpeg_set_defaults(&cinfo);
    
        // 打开哈夫曼编码
        cinfo.optimize_coding = TRUE;
    
        // 设置非默认参数, 该方法设置质量
        jpeg_set_quality(&cinfo, compressQuality, 1);
    
    
        // 4. 开始压缩 JPEG 格式图片, 设置 TRUE 参数, 表示将完整的图片进行压缩
        // 一般情况下都是设置 TRUE, 如果进行定制压缩, 可以设置 FALSE
        jpeg_start_compress(&cinfo, TRUE);
    
    
        // 5. 循环写入数据
    
        /* 循环原理 : 使用函数库的状态变量, cinfo.next_scanline 作为循环控制变量
         * 这样就可以不同自己实现循环控制
         * 为了保持简单, 每次传递一行图像数据
         */
    
    
        // 每一个行的数据个数
        int row_stride = imageWidth * 3;
    
        // 指向图像数据中的某一行数据
        JSAMPROW row[1];
        while (cinfo.next_scanline < cinfo.image_height) {
            /* 获取一行图像数据
             * data 是图像的起始位置
             * row_stride 是每一行的字节数
             * cinfo.next_scanline 是当前的行数
             * 计算出来的 pixels 指针, 指向要写出行的首地址
             */
            uint8_t *pixels = data + cinfo.next_scanline * row_stride;
            row[0] = pixels;
            // 调用 jpeg_write_scanlines 方法后, cinfo.next_scanline 自动加 1
            jpeg_write_scanlines(&cinfo, row, 1);
        }
    
        // 6. 完成图片压缩
        jpeg_finish_compress(&cinfo);
    
        // 7. 释放相关资源
        fclose(outfile);
        jpeg_destroy_compress(&cinfo);
    }
    
    展开全文
  • 首先请出实验对象——豆瓣001-005书籍 大小:191M ​一.正常压缩 ...​压缩后大小为 162M ...​压缩率为:162/191=0....2.调整参数压缩 ​(1)压缩方法由默认deflate转为XZ,加密算法保持不变 ​压缩后大小:
  • 软件加速可以分为压缩结构和压缩参数两种,压缩结构就是将模型结构简化,设计结构更小、参数更小的网络后,从头开始训练,之前博文中提到的MobileNet及ShuffleNet系列网络就是模型压缩的一种。 压缩参数是在已训练...
  • hive 压缩参数

    千次阅读 2015-03-09 15:50:29
    压缩考虑 第一 压缩率  第二 压缩/解压缩时间(cpu开销) 第三 是否支持切分 对以上三个问题说明 BZip2的压缩率最高,消耗的cpu资源也最多,支持分割 Gzip 的压缩率和压缩速度都还可以,如果磁盘利用率...
  • 参数 默认值 阶段 建议 io.compression.codecs (在core-site.xml中配置) 无,这个需要在命令行输入hadoop checknative查看 输入压缩 ...
  • expdp compression压缩参数的测试

    千次阅读 2019-07-23 09:36:03
    RDBMS 12.2.0.1 测试数据泵的...compression默认压缩的是metadata_only,默认的压缩算法是basic。 COMPRESSION Reduce the size of a dump file. Valid keyword values are: ALL, DATA_ONLY, [METADATA_O...
  • linux 压缩参数

    千次阅读 2011-01-07 08:49:00
    备份压缩--ar功能说明:建立或修改备存文件,或是从备存文件中抽取文件。语 法:ar[-dmpqrtx][cfosSuvV][a][b][i][备存文件][成员文件]补充说明:ar可让您集合许多文件,成为单一的备存文件。在备存文件中,所有...
  • 【1】ZIP,是一个文件的压缩的算法,原名Deflate(真空),发明者为菲利普·卡兹(Phil Katz)),他于1989年1月公布了该格式的资料。ZIP通常使用后缀名“.zip”,它的MIME格式为 application/zip 。目前,ZIP格式...
  • tar命令: tar [-cxtzjvfpPN] 文件与目录 ....... j/ p-c :建立一个压缩文件的参数指令(create 的意思); . E {. v5 ^ / v3 O5 H, C @- p& ^-x :解开一个压缩文件的参数指令! 3 |& u2 z: k( A# ?% c-t :查看 t
  •  HTTP 压缩可以大大提高浏览网站的速度,它的原理是,在客户端请求服务器对应资源后,从服务器端将资源文件压缩,再输出到客户端,由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , ...
  • MediaCoder压缩参数设置

    万次阅读 2011-09-08 15:08:28
     在常规选项栏中的参数设置及含义如下:  输出路径:设置最后生成的MP4-AVC所在的目录。   建议:设置到的分区有较大的剩余空间   保持文件夹结构:减少文件碎片。   建议:勾选   在视频选项栏中的...
  • 例2:把/home目录下包括它的子目录全部做备份文件,并进行压缩,备份文件名为usr.tar.gz 。 $ tar czvf usr.tar.gz /home 例3:把usr.tar.gz这个备份文件还原并解压缩。 $ tar xzvf usr.tar.gz 例4:...
  • 上篇讲述了卷积神经网络网络压缩的理论基础,包含filter层面、channel层面、group层面和稀疏矩阵。 本篇博客将总结一下低秩估计的方法,低秩估计主要分为矩阵分解和张量分解。 一、矩阵分解   如上图中两个...
  • 这个参数和 gzip 命令的作用一样,用于指定压缩等级,-1 压缩等级最低,压缩比最差;-9 压缩比最高 注意,gzip 只是不会打包目录,但是如果使用“-r”选项,则可以分别压缩目录下的每个文件;而 bzip2 命令...
  • 参数压缩

    2019-03-04 21:29:00
    参数压缩: ** 1.局部连接 -- 每个神经元不再和上一层所有神经元相连,而只和一小部分神经元相连; 2.权值共享 -- 一组连接可以共享同一个权重,而不是每个连接有一个不同的权重; 3.下 采 样 -- 可使用Pooling来...
  • tar在linux上是常用的打包、压缩、加压缩工具,他的参数很多,这篇文章仅仅列举常用的压缩与解压缩参数,下面直接先上三个常用命令,一起来看看吧 1、压缩当前目录下文件夹/文件test到test.tar.gz: ? 1 ...
  • 各种压缩方式压缩参数对照: 质量压缩 Quality 压缩前存储 压缩后存储 压缩压缩前Bitmap 压缩后Bitmap 压缩压缩前宽 压缩前高 压缩后宽 压缩后高 像素压缩率 100% ...
  • 使用 tar 压缩和解压缩的常用参数

    千次阅读 2018-08-09 09:50:13
    tar 常用参数: -A 新增文件到已压缩文件中 -c 新建新压缩文件 -r 将新文件添加到已压缩文件的末尾 -x 解压缩文件 -k 保留原压缩文件 -f 待压缩或待解压缩文件 -j bzip2格式 -z gzip格式 -v 显示过程   ...
  • WinRAR压缩压缩软件命令行参数

    千次阅读 2012-03-08 12:57:57
    WinRAR压缩压缩软件命令行参数 时间:2010-08-09 09:50来源:互联网 作者:网络 点击: 7149次 Win7教程(www.win7soft.com):WinRAR压缩压缩软件命令行参数   从命令行也...
  • androidBitmap压缩质量参数

    千次阅读 2017-04-24 10:24:18
    A:透明度R:红色G:绿B:蓝Bitmap.Config ARGB_4444:每个像素占四位,即A=4,R=4,G=4,B=4,那么一个像素点占4+4+4+4=16位 Bitmap.Config ARGB_8888:每个像素占四位,即A=8,R=8,G=8,B=8,那么一个像素点占8+...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 16,317
精华内容 6,526
关键字:

压缩参数