精华内容
下载资源
问答
  • 但是最终发现压缩文件比源文件要大几KB,为什么会有这样的情况... BMP中的文件头、信息头、颜色表都是舍弃了,竟然还要比源文件大... 这个可能是哪里出问题了,有什么办法或技巧能够进一步压缩?谢谢!
  • 随着手机村存储越来越大,存的文件也越来越多,想找一个文件有时候太难了,尤其是各种APP的启动广告、弹窗广告,一不小心就下载了一大堆莫名其妙的安装包,还总找不到在哪里,这里我必须吐槽手机迅雷,太坑爹了。...

    随着手机村存储越来越大,存的文件也越来越多,想找一个文件有时候太难了,尤其是各种APP的启动广告、弹窗广告,一不小心就下载了一大堆莫名其妙的安装包,还总找不到在哪里,这里我必须吐槽手机迅雷,太坑爹了。

    那么这个软件是做什么的呢?简单来说,输入文件名以及扩展名中的任何一个字符,1秒钟帮你找到文件!无论隐藏得多深,全给你找出来!神奇吧?

    让我们看看它的界面:

    303072f9-ca18-eb11-8da9-e4434bdf6706.jpeg

    第一个8万多搜索结果,第二个接近两万按照文件位置进行归类排序,并显示存放路径。我们点击某个搜索结果,就可以打开它。当然,前提是手机一定要支持浏览该格式的文件。最重要的是这个软件真的很小巧,只有100KB大小!

    有了这款神奇的软件,再也不用费尽心思在手机里”翻箱倒柜“的寻找文件了,为您节省很多不必要的精力与时间!

    公众号后台回复 一秒搜索 ,立即获取吧!

    展开全文
  • 分段不正确,也不知道哪里错了 #include "stdafx.h" #include #include #include #include"windows.h" #include"WINGDI.h"//图形设备接口 using namespace std; #define Imax 256 #define header 11//每段像素段...
  • 3.21 “无符号保护”和“值保护”规则的区别在哪里? 71 第4章 指针 74 基本的指针应用 74 4.1 指针到底有什么好处? 74 4.2 我想声明一个指针并为它分配一些空间,但却不行。这些代码有什么问题呢?char *p; *p...
  • WINRAR5.0正式注册版

    2013-10-10 10:14:03
    不影响压缩文件注释,此功能两个压缩文件格式的版本中都支持,并且没有删除的 计划。 9. "设置密码" 命令和 "字典大小" 选项被移动到压缩对话框的“常规”页面。 10. 你可以压缩对话框的“高级”对话框中...
  • kafka offset

    2020-08-13 17:39:30
    offsetoffset 偏移量offset存储在哪里?consumer_offsets不同groupid用哪个consumer_offsets_ 呢?LogSegment (分段)Log文件内容分析日志清除/压缩日志清理策略日志压缩策略 offset 偏移量 offset存储在哪里?...

    offset 偏移量

    offset存储在哪里?consumer_offsets

    kafka默认提供了50个consumer_offsets_*的topic,用于存放consumer group 某一时刻提交的offset信息。
    在这里插入图片描述

    不同groupid用哪个consumer_offsets_ 呢?

    计算公式: (“groupid”.hashCode())%50 ;

    如果计算结果5,那么当前group的offset信息保存在consumer_offsets_5里面。

    LogSegment (分段)

    	log.segment.bytes=1073741824    //设置分段大小,默认1G
    

    kafka以Segment为单位,将partition进一步细分。从而避免的单个文件数据量过大而导致的操作难问题。

    Segment的命名从0000开始,后续文件的命名以上一个Segment文件中最后一条消息的offset值命名。

    Segment是一个逻辑概念,对应着partition目录(如log/test-0)下的.index和.log文件。如果partition被分为多个Segment,那么此目录下也会有多个.index和.log文件。

    Kafka0.10.1.0之后,对于每个Segment文件新增了.timeindex文件,基于时间戳操作消息。

    .timeIndex:文件映射时间戳和对应offset:
    在这里插入图片描述

    .index:文件记录了offset和对应的物理位置:
    在这里插入图片描述

    .index 与 .log 映射关系
    在这里插入图片描述

    Log文件内容分析

    在这里插入图片描述
    keysize :key大小。
    compresscodec :压缩编码
    payload :消息具体内容

    日志清除/压缩

    日志的分段存储,方便了kafka进行日志清理。Kafka启动一个后台线程,定期检查的存在可以删除的消息。如果有越来越多的消息得不到及时的消费,有些消息有可能在被消费之前就被清理了,从而造成消息的丢失。

    日志清理策略

    1.根据消息保留时间

    	配置	log.retention.hours=168 (默认7天)
    

    2.根据topic存储大小

    	配置	log.retention.bytes=1073741824(默认1G,不开启)
    

    日志压缩策略

    实际场景中,key对应的value值不断变化,并且消费者只关心最新的value,所以kafka会在后台启动线程,定期将相同key合并,只保留最新value。
    在这里插入图片描述

    展开全文
  • 表引擎(即表的类型)决定了: 1)数据的存储方式和位置,写到哪里以及从哪里读取数据 2)支持哪些查询以及如何支持。 3)并发数据访问。 4)索引的使用(如果存在)。...每列都存储在单独的压缩文件

    表引擎(即表的类型)决定了:

    1)数据的存储方式和位置,写到哪里以及从哪里读取数据
    2)支持哪些查询以及如何支持。
    3)并发数据访问。
    4)索引的使用(如果存在)。
    5)是否可以执行多线程请求。
    6)数据复制参数。
    ClickHouse的表引擎有很多,下面只介绍其中几种,对其他引擎有兴趣的可以去查阅官方文档:https://clickhouse.yandex/docs/zh/operations/table_engines/

    TinyLog

    最简单的表引擎,用于将数据存储在磁盘上。每列都存储在单独的压缩文件中,写入时,数据将附加到文件末尾。
    该引擎没有并发控制

    • 如果同时从表中读取和写入数据,则读取操作将抛出异常;
    • 如果同时写入多个查询中的表,则数据将被破坏。
      这种表引擎的典型用法是 write-once:首先只写入一次数据,然后根据需要多次读取。此引擎适用于相对较小的表(建议最多1,000,000行)。如果有许多小表,则使用此表引擎是适合的,因为它比需要打开的文件更少。当拥有大量小表时,可能会导致性能低下。 不支持索引。
      案例:创建一个TinyLog引擎的表并插入一条数据
    :)create table t (a UInt16, b String) ENGINE=TinyLog;
    :)insert into t (a, b) values (1, 'abc');
    

    此时我们到保存数据的目录/var/lib/clickhouse/data/default/t中可以看到如下目录结构:

    [root@master t]# ls
    a.bin  b.bin  sizes.json
    

    a.bin 和 b.bin 是压缩过的对应的列的数据,sizes.json 中记录了每个 *.bin 文件的大小:

    [root@master t]# cat sizes.json 
    {"yandex":{"a%2Ebin":{"size":"28"},"b%2Ebin":{"size":"30"}}}
    

    Memory

    内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有非常非常高的性能表现(超过10G/s)。
    一般用到它的地方不多,除了用来测试,就是在需要非常高的性能,同时数据量又不太大(上限大概 1 亿行)的场景

    Merge

    Merge 引擎 (不要跟 MergeTree 引擎混淆) 本身不存储数据,但可用于同时从任意多个其他的表中读取数据。 读是自动并行的,不支持写入。读取时,那些被真正读取到数据的表的索引(如果有的话)会被使用。
    Merge 引擎的参数:一个数据库名和一个用于匹配表名的正则表达式。
    案例:先建t1,t2,t3三个表,然后用 Merge 引擎的 t 表再把它们链接起来。

    :)create table t1 (id UInt16, name String) ENGINE=TinyLog;
    :)create table t2 (id UInt16, name String) ENGINE=TinyLog;
    :)create table t3 (id UInt16, name String) ENGINE=TinyLog;
    
    :)insert into t1(id, name) values (1, 'first');
    :)insert into t2(id, name) values (2, 'second');
    :)insert into t3(id, name) values (3, 'i am in t3');
    
    :)create table t (id UInt16, name String) ENGINE=Merge(currentDatabase(), '^t');
    
    :) select * from t;
    ┌─id─┬─name─┐
    │  2 │ second │
    └────┴──────┘
    ┌─id─┬─name──┐
    │  1 │ first │
    └────┴───────┘
    ┌─id─┬─name───────┐
    │ 3	 │ i am in t3 │
    └────┴────────────┘
    

    MergeTree

    Clickhouse 中最强大的表引擎当属 MergeTree (合并树)引擎及该系列(*MergeTree)中的其他引擎。
    MergeTree 引擎系列的基本理念如下。当你有巨量数据要插入到表中,你要高效地一批批写入数据片段,并希望这些数据片段在后台按照一定规则合并。相比在插入时不断修改(重写)数据进存储,这种策略会高效很多。
    格式:

    ENGINE [=] MergeTree(date-column [, sampling_expression], (primary, key), index_granularity)
    

    参数解读:
    date-column — 类型为 Date 的列名。ClickHouse 会自动依据这个列按月创建分区。分区名格式为 “YYYYMM” 。
    sampling_expression — 采样表达式。
    (primary, key) — 主键。类型为Tuple()
    index_granularity — 索引粒度。即索引中相邻”标记”间的数据行数。设为 8192 可以适用大部分场景。
    案例:

    create table mt_table (date  Date, id UInt8, name String) ENGINE=MergeTree(date, (id, name), 8192);
    
    insert into mt_table values ('2019-05-01', 1, 'zhangsan');
    insert into mt_table values ('2019-06-01', 2, 'lisi');
    insert into mt_table values ('2019-05-03', 3, 'wangwu');
    

    在/var/lib/clickhouse/data/default/mt_tree下可以看到:

    [root@master mt_table]# ls
    20190501_20190501_2_2_0  20190503_20190503_6_6_0  20190601_20190601_4_4_0  detached
    
    随便进入一个目录:
    [root@master 20190601_20190601_4_4_0]# ls
    checksums.txt  columns.txt  date.bin  date.mrk  id.bin  id.mrk  name.bin  name.mrk  primary.idx
    
    - *.bin是按列保存数据的文件
    - *.mrk保存块偏移量
    - primary.idx保存主键索引
    

    ReplacingMergeTree

    这个引擎是在 MergeTree 的基础上,添加了“处理重复数据”的功能,该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行,所以你无法预先作出计划。有一些数据可能仍未被处理。因此,ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。
    格式:

    ENGINE [=] ReplacingMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, [ver])
    

    可以看出他比MergeTree只多了一个ver,这个ver指代版本列,他和时间一起配置,区分哪条数据是最新的。
    案例:

    create table rmt_table (date  Date, id UInt8, name String,point UInt8) ENGINE= ReplacingMergeTree(date, (id, name), 8192,point);
    
    插入一些数据:
    insert into rmt_table values ('2019-07-10', 1, 'a', 20);
    insert into rmt_table values ('2019-07-10', 1, 'a', 30);
    insert into rmt_table values ('2019-07-11', 1, 'a', 20);
    insert into rmt_table values ('2019-07-11', 1, 'a', 30);
    insert into rmt_table values ('2019-07-11', 1, 'a', 10);
    
    等待一段时间或optimize table rmt_table手动触发merge,后查询
    :) select * from rmt_table;
    ┌───────date─┬─id─┬─name─┬─point─┐
    │ 2019-07-11 │  1 │ a    │    30 │
    └────────────┴────┴──────┴───────┘
    

    SummingMergeTree

    该引擎继承自 MergeTree。区别在于,当合并 SummingMergeTree 表的数据片段时,ClickHouse 会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行,则可以显著的减少存储空间并加快数据查询的速度,对于不可加的列,会取一个最先出现的值。
    语法:
    ENGINE [=] SummingMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, [columns])
    columns — 包含将要被汇总的列的列名的元组
    案例:

    create table smt_table (date Date, name String, a UInt16, b UInt16) ENGINE=SummingMergeTree(date, (date, name), 8192, (a))
    插入数据:
    insert into smt_table (date, name, a, b) values ('2019-07-10', 'a', 1, 2);
    insert into smt_table (date, name, a, b) values ('2019-07-10', 'b', 2, 1);
    insert into smt_table (date, name, a, b) values ('2019-07-11', 'b', 3, 8);
    insert into smt_table (date, name, a, b) values ('2019-07-11', 'b', 3, 8);
    insert into smt_table (date, name, a, b) values ('2019-07-11', 'a', 3, 1);
    insert into smt_table (date, name, a, b) values ('2019-07-12', 'c', 1, 3);
    等待一段时间或optimize table smt_table手动触发merge,后查询
    :) select * from smt_table 
    
    ┌───────date─┬─name─┬─a─┬─b─┐
    │ 2019-07-10 │ a    │ 1 │ 2 │
    │ 2019-07-10 │ b    │ 2 │ 1 │
    │ 2019-07-11 │ a    │ 3 │ 1 │
    │ 2019-07-11 │ b    │ 6 │ 8 │
    │ 2019-07-12 │ c    │ 1 │ 3 │
    └────────────┴──────┴───┴───┘
    

    发现2019-07-11,b的a列合并相加了,b列取了8(因为b列为8的数据最先插入)。

    Distributed

    分布式引擎,本身不存储数据, 但可以在多个服务器上进行分布式查询。 读是自动并行的。读取时,远程服务器表的索引(如果有的话)会被使用。
    Distributed(cluster_name, database, table [, sharding_key])
    参数解析:
    cluster_name - 服务器配置文件中的集群名,在/etc/metrika.xml中配置的
    database – 数据库名
    table – 表名
    sharding_key – 数据分片键
    案例演示:
    1)在master,slave1,slave2上分别创建一个表t

    :)create table t(id UInt16, name String) ENGINE=TinyLog;
    

    2)在三台机器的t表中插入一些数据

    :)insert into t(id, name) values (1, 'zhangsan');
    :)insert into t(id, name) values (2, 'lisi');
    

    3)在master上创建分布式表

    :)create table dis_table(id UInt16, name String) ENGINE=Distributed(perftest_3shards_1replicas, default, t, id);
    

    4)往dis_table中插入数据

    :) insert into dis_table select * from t
    

    5)查看数据量

    :) select count() from dis_table 
    FROM dis_table 
    
    ┌─count()─┐
    │       8 │
    └─────────┘
    :) select count() from t
    
    SELECT count()
    FROM t 
    
    ┌─count()─┐
    │       3 │
    └─────────┘
    

    可以看到每个节点大约有1/3的数据

    展开全文
  • 但是发现在咱的图片模块下,本地存储的图片只有一帧,问题出在哪里呢? http获取到的byte[]数据是没问题的 断点跟踪了下,发现问题出现在最后一句压缩图片尺寸的时候。 public static Bitmap getScaledBitMap...

    以上图片大家可以看到,虽然是个jpg格式的文件,但是本质上是个动图。

    但是发现在咱的图片模块下,本地存储的图片只有一帧,问题出在哪里呢?

    http获取到的byte[]数据是没问题的

    断点跟踪了下,发现问题出现在最后一句压缩图片尺寸的时候。

    public static Bitmap getScaledBitMap(byte[] data, int width, int height) {
    
            BitmapFactory.Options options = new BitmapFactory.Options();
            options.inJustDecodeBounds = true;
            BitmapFactory.decodeByteArray(data, 0, data.length, options);
    
            float srcWidth = options.outWidth;
            float srcHeight = options.outHeight;
            int inSampleSize = 1;
    
            if (srcHeight > height || srcWidth > width) {
                if (srcWidth > srcHeight)
                    inSampleSize = Math.round(srcHeight / height);
                else
                    inSampleSize = Math.round(srcWidth / width);
            }
    
            options = new BitmapFactory.Options();
            options.inSampleSize = inSampleSize;
    
            return BitmapFactory.decodeByteArray(data, 0, data.length, options);
        }

     

    最后的解决之道是,不经过Bitmap,直接把http获取到的byte[]数据写入到本地;在取出的时候,才进行图片尺寸压缩。

     /**
         * 写入bytes
         *
         * @param url
         * @param bytes
         * @return
         */
        public boolean save(String url, byte[] bytes) {
            if (bytes == null || bytes.length == 0)
                return false;
    
            url = trans2Local(url);
            File file = new File(url);
    
            if (file.exists())
                return true;
    
            ZIO.createNewFile(file);
            FileOutputStream fos = null;
            try {
                fos = new FileOutputStream(file);
                fos.write(bytes);
                return true;
            } catch (Exception e) {
                e.printStackTrace();
                Log.e("存储出错", e.getMessage());
            } finally {
                try {
                    fos.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
            return false;
        }

    这种做法额外的好处是,不再理会奇怪的图片格式质量问题。

     比如我们用Bitmap保存图片的时候还要取判断图片类型,还要去指定压缩精度(如果100的话图片尺寸比原图还要大很多,真奇怪)

        Bitmap.CompressFormat format = url.toLowerCase().indexOf("png") > 0 ? Bitmap.CompressFormat.PNG : Bitmap.CompressFormat.JPEG;
        bitmap.compress(format, 75, fos);

     

    转载于:https://www.cnblogs.com/kimmy/p/4780024.html

    展开全文
  • 客户端版本可通过舰队页面右上角的设置选择配置文件存储位置。无论何种版本,都提供了导入、导出单独配置和全部配置文件的功能。背景图可以下载到本地吗?可以!通过App右上角的“图片”按钮可以进入相应设置。我想...
  • 一.Linux的文件系统结构.....................................................................................................6 二. 文件类型................................................................
  • 网络收藏家

    2006-03-16 00:00:00
    当然您可以使用IE的全部保存功能,但是时间一久,您还能找到它在哪里吗?因此,只能下载还不够,关键是下载后这些资源的管理。当您保存或收藏下来您所需要的网页时,您可能会为不能方便的阅读、管理或找到文章的原始...
  • ASP EXCEL导入SQL

    2013-01-23 01:17:24
     存储主要分为两部分:分布式文件存储以及分布式的数据存储;  由于是多应用的平台,因此随着平台的运营,会产生海量的业务数据以及资源文件,因此伴随着海量的数据而来的问题就是存储、检索、分析以及统计等问题;...
  • windowsnt 技术内幕

    2014-04-09 20:47:17
    理解系统策略 将FAT分区转变为NTFS分区 压缩文件 通过控制台压缩文件 复制和移动压缩文件 “磁盘管理器”工具简介 理解主分区 理解扩展分区 理解分区编号 通过“磁盘管理器”提交当前改变 理解带区集 创建带区集 ...
  • 书中涉及到的T—SQL程序网站上提供下载,打开相应SQL文件即可直接执行其中的代码。  SQL Server 2008是一个能用于大型联机事务处理、数据仓库和电子商务等方面应用的数据库平台,也是一个能用于数据集成、数据...
  • 书中涉及到的T—SQL程序网站上提供下载,打开相应SQL文件即可直接执行其中的代码。  SQL Server 2008是一个能用于大型联机事务处理、数据仓库和电子商务等方面应用的数据库平台,也是一个能用于数据集成、数据...
  • 如何Web页上实现文件上传 谁能讲一讲setproperty(name=)的用法或介绍相关资料 谁有用java mail 收 html 信件的程序呀 有没有现成的class实现crypt算法的 jsp中作HTTP认证的方法 基础知识 -- JavaDoc用法 ...
  • 4 C++在哪里 5 理解Visual c++中的程序文件 6 创建源代码文件 7 理解并创建头文件 第二章 结构和语法 8 理解计算机语言 9 理解计算机语言的句法 10 理解“标记” 11 空白在c和C++中的使用 12 理解变量 13 对变量命名...
  • 4 C++在哪里 5 理解Visual c++中的程序文件 6 创建源代码文件 7 理解并创建头文件 第二章 结构和语法 8 理解计算机语言 9 理解计算机语言的句法 10 理解“标记” 11 空白在c和C++中的使用 12 理解变量 13 对变量命名...
  • 4 C++在哪里 5 理解Visual c++中的程序文件 6 创建源代码文件 7 理解并创建头文件 第二章 结构和语法 8 理解计算机语言 9 理解计算机语言的句法 10 理解“标记” 11 空白在c和C++中的使用 12 理解变量 13 对变量命名...
  • 4 C++在哪里 5 理解Visual c++中的程序文件 6 创建源代码文件 7 理解并创建头文件 第二章 结构和语法 8 理解计算机语言 9 理解计算机语言的句法 10 理解“标记” 11 空白在c和C++中的使用 12 理解变量 13 对变量命名...
  • “path”仅仅告诉Webpack结果存储在哪里,然而“publicPath”项则被许多Webpack的插件用于在生产模式下更新内嵌到css、html文件里的url值。 <p><img alt="publicPath in Development vs Production" src=...
  • Louis主要的兴趣领域是数据库架构和用T-SQL编码,并且,他设计过许多数据库,这许多年中编写过数以千计的存储过程和触发器。  Scott Klein是一位独立咨询师,对SQL Server、.NET和XML相关的所有知识都充满热情。...
  • Louis主要的兴趣领域是数据库架构和用T-SQL编码,并且,他设计过许多数据库,这许多年中编写过数以千计的存储过程和触发器。  Scott Klein是一位独立咨询师,对SQL Server、.NET和XML相关的所有知识都充满热情。...

空空如也

空空如也

1 2 3 4
收藏数 69
精华内容 27
关键字:

压缩文件存储在哪里了