精华内容
下载资源
问答
  • 分表分库面临的问题 MySQL分库分表,一般只能按照一个维度进行查询. 以订单为例, 按照用户ID mod 64 分成 64个数据库. 按照用户的维度查询很快,因为最终的查询落在一台服务器上. 非分区逻辑字段查询 但是如果按照...

    分表分库面临的问题

    MySQL分库分表,一般只能按照一个维度进行查询.
    以订单表为例, 按照用户ID mod 64 分成 64个数据库.
    按照用户的维度查询很快,因为最终的查询落在一台服务器上.

    非分区逻辑字段查询

    但是如果按照商户的维度查询,则代价非常高.
    需要查询全部64台服务器.

    分页查询

    在分页的情况下,更加恶化.
    比如某个商户查询第10页的数据(按照订单的创建时间).需要在每台数据库服务器上查询前100条数据,程序收到 64*100 条数据,然后按照订单的创建时间排序,截取排名90-100号的10条记录返回,然后抛弃其余的6390条记录.如果查询的是第100页,第1000页,则对数据库IO,网络,中间件CPU,都是不小的压力.

    常见解决方案

    分库分表之后,为了应对多维度查询,很多情况下会引入冗余.

    • 全表冗余

    全表冗余

    比如两个集群,一个按照用户ID分库分表,另外一个按照商户ID分库分表.
    这样多维度查询的时候,各查各的.
    但是有几个问题,一样不好解决.
    比如,
    每扩展一个维度,就需要引入一个集群.
    集群间的数据,如何保证一致性.
    冗余占用大量磁盘空间.
    从朋友那里看到的订单表结构.做冗余会占用大量的磁盘空间.

    用户ID分表分库和商户ID分表分库实际操作

    关键问题:保持两份数据的一致性。
    通过消息中间件保持事务操作,然后分表进行入库操作,保持最终一致性。

    案例

    create table TS_ORDER  
    (  
      ORDER_ID        NUMBER(8) not null,  
      SN              VARCHAR2(50),  
      MEMBER_ID       NUMBER(8),  
      STATUS          NUMBER(2),  
      PAY_STATUS      NUMBER(2),  
      SHIP_STATUS     NUMBER(2),  
      SHIPPING_ID     NUMBER(8),  
      SHIPPING_TYPE   VARCHAR2(255),  
      SHIPPING_AREA   VARCHAR2(255),  
      PAYMENT_ID      NUMBER(8),  
      PAYMENT_NAME    VARCHAR2(50),  
      PAYMENT_TYPE    VARCHAR2(50),  
      PAYMONEY        NUMBER(20,2),  
      CREATE_TIME     NUMBER(20) not null,  
      SHIP_NAME       VARCHAR2(255),  
      SHIP_ADDR       VARCHAR2(255),  
      SHIP_ZIP        VARCHAR2(20),  
      SHIP_EMAIL      VARCHAR2(50),  
      SHIP_MOBILE     VARCHAR2(50),  
      SHIP_TEL        VARCHAR2(50),  
      SHIP_DAY        VARCHAR2(255),  
      SHIP_TIME       VARCHAR2(255),  
      IS_PROTECT      VARCHAR2(1),  
      PROTECT_PRICE   NUMBER(20,2),  
      GOODS_AMOUNT    NUMBER(20,2),  
      SHIPPING_AMOUNT NUMBER(20,2),  
      ORDER_AMOUNT    NUMBER(20,2),  
      WEIGHT          NUMBER(20,2),  
      GOODS_NUM       NUMBER(8),  
      GAINEDPOINT     NUMBER(11) default 0,  
      CONSUMEPOINT    NUMBER(11) default 0,  
      DISABLED        VARCHAR2(1),  
      DISCOUNT        NUMBER(20,2),  
      IMPORTED        NUMBER(2) default 0,  
      PIMPORTED       NUMBER(2) default 0,  
      COMPLETE_TIME   NUMBER(11) default 0,  
      CANCEL_REASON   VARCHAR2(255),  
      SIGNING_TIME    NUMBER(11),  
      THE_SIGN        VARCHAR2(255),  
      ALLOCATION_TIME NUMBER(11),  
      SHIP_PROVINCEID NUMBER(11),  
      SHIP_CITYID     NUMBER(11),  
      SHIP_REGIONID   NUMBER(11),  
      SALE_CMPL       NUMBER(2),  
      SALE_CMPL_TIME  NUMBER(11),  
      DEPOTID         NUMBER(11),  
      ADMIN_REMARK    VARCHAR2(1000),  
      COMPANY_CODE    VARCHAR2(32),  
      PARENT_SN       VARCHAR2(50),  
      REMARK          VARCHAR2(100),  
      GOODS           CLOB,  
      ORIGINAL_AMOUNT NUMBER(20,2),  
      IS_ONLINE       CHAR(1),  
      IS_COMMENTED    CHAR(1) default 0,  
      ORDER_FLAG      CHAR(1) default 1  
    )  
    
    

    可以试试用表代替索引的方法.
    1.分库分表
    2.最终一致性
    3.用表代替索引的功能
    在这里插入图片描述
    首先,还是基于分库分表.订单表按照用户ID mod 64 分到不同的服务器上(按照查询最多的维度分)。

    数据库服务器1 的数据库名称为 db_1
    数据库服务器2 的数据库名称为 db_2

    以db_1为例,创建如下表
    1.订单表
    TS_ORDER_1 分区表,每个月一个分区.

    2.事务表
    create table tran_log_1(
    tran_id bigint primary key,
    param varchar(2000)
    );
    分区表,每个月一个分区.

    3.消息表
    create table msg_log_1(
    tran_id bigint,
    shardKey varchar(20) not null,
    primary key(tran_id,shardKey)
    );
    分区表,每个月一个分区.

    4.维度索引表
    create table shard_shop_1(
    id bigint primary key auto_increment,
    shopid int,
    ts timestamp,
    state int,
    dbid int,
    orderid bigint,
    index(shopid,ts,state)
    );
    分区表,每个月一个分区.

    关于使用事务表,消息表实现分库分表最终一致性请参考
    http://blog.itpub.net/29254281/viewspace-1819422/

    关于集群主键生成服务请参考
    http://blog.itpub.net/29254281/viewspace-1811711/

    订单创建的流程
    Web服务器接收到用户订单,首先通过RPC获取一个事务ID(tran_id).
    用事务ID mod 64 找到数据库服务器,
    将事务ID,参数写入tran_log 表,
    然后将事务ID,参数写入消息队列.
    如果写入消息队列成功,则提交事务.否则回滚事务.
    此时就可以返回用户界面.

    后端处理服务收到消息队列的信息,首先查询tran_log 表,是否存在这个事务ID,如果不存在则不予处理.
    然后将队列的消息,分为两个维度分别处理,一个是用户维度,一个是商户维度.
    作为用户维度,
    先根据用户ID mod 64 找到最终落地的数据库,查询那个数据库的消息表msg_log,在用户维度,是否存在这个事务ID,如果存在,则不予处理.
    (select count(*) from msg_log_XX where shardKey=‘订单创建:用户维度’ and tran_id=?)
    如果不存在,则开启一个事务
    插入订单表,我觉得可以用tran_id直接作为订单的ID,
    并且插入消息表 insert msg_log_XX(tran_id,shardKey) values(?,‘订单创建:用户维度’);
    提交事务,commit.

    作为商户维度,
    则根据商户ID mod 64 找到最终的数据库,和用户维度的数据库,可能不是同一台服务器.
    同样,也是先查询落地数据库的消息表,
    (select count(*) from msg_log_XXX where shardKey=‘订单创建:商户维度’ and tran_id=?)
    如果不存在记录,则开启事务,
    插入维度索引表,
    insert into shard_shop_XXX(shopid,ts,state,dbid,orderid) values(…)
    shopid,ts,state 商户ID,订单时间,订单状态都是根据订单的原始信息.
    dbid 指的是 根据用户维度(主维度),订单数据所在的数据库ID,
    orderid 指的是 在用户维度(主维度),订单表的主键.

    插入消息表,insert msg_log_XX(tran_id,shardKey) values(?,‘订单创建:商户维度’);
    最后提交.

    这样,作为商户维度查询的时候,先根据商户的ID mod 64 找到 维度索引表,获取该商户的订单信息
    select * from shard_shop_1 where shopid=? and state=2 order by ts limit 300,10;
    获取的信息可能如下
    在这里插入图片描述
    可以看到,符合条件的订单信息,分别来自 服务器1,2,16,32,64
    获取了这部分信息,就可以直接去这些服务器上取数据,并且是主键查询,速度很快.

    每隔一段时间,由后台程序,查看 tran_log和msg_log,如果发现有缺失的数据,则进行事务补偿.

    扩展的时候,则新增维度索引表即可.

    因为所有的表,都是按月的分区表,可以将过去的冷数据,在一个服务器集中存放,这个实例就同时存放64个数据库.毕竟都是冷数据,访问量很小.
    能分还要能合.比如:

    参考文章:
    http://blog.itpub.net/29254281/viewspace-2086198/

    展开全文
  • 目录0 来自知乎的一个简单解释1 维2 维度3 维度表4 事实5 星型模式结构示意图 0 来自知乎的一个简单解释 1 维 维是关于一个组织想要记录的视角或观点。 2 维度 维度是对数据进行分析时采取的一个角度。比如分析...

    0 来自知乎的一个简单解释

    在这里插入图片描述

    1 维

    维是关于一个组织想要记录的视角或观点。

    参考: 维的百度百科.

    2 维度

    1. 维度是对数据进行分析时采取的一个角度。比如分析产品销售情况,可以按类别来分析,也可以按区域来分析,于是类别和区域就是构成了两个维度;
    2. 每个维度可以有子维度;

    3 维度表

    1. 维度表是对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息;
    2. 维度表和事实表通过主键和外键联系在一起,形成星型,也称为“星型模式”;
    3. 对层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表描述,即“雪花型模式”;
    4. 维度表示例(产品维度表):Prod_id,Product_Name,Category,Color,Size,Price

    在这里插入图片描述
    特性

    1. 记录数少,上千左右;
    2. 大多是文字信息;
    3. 信息具有层次结构;
    4. 只有一个主键;
    5. 信息可修改;

    4 事实表

    1. 事实表用来存储数据和维关键字,是依据某些维度数据聚合后生成的结果表;
    2. 事实表示例:
      在这里插入图片描述

    特性

    1. 大量数据行,存储TB级;
    2. 主要是数值,少量文字或多媒体;
    3. 有和维度表连接的外键;
    4. 主要是静态数据和聚集数据;

    5 星型模式结构示意图

    在这里插入图片描述

    展开全文
  • 维度表冗余很大,主要是因为维度一般不大(相对于事实来说的),而维度表冗余可以使事实节省很多空间。 事实一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要...

    简单解释:

    • 事实表就是交易表。
    • 维度表就是基础表。

    二者的区别:

    1. 维度表的冗余很大,主要是因为维度一般不大(相对于事实表来说的),而维度表的冗余可以使事实表节省很多空间。
    2. 事实表一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。
    3. 事实表一般是没有主键的,数据的质量完全由业务系统来把握。

    以上内容仅供参考学习,如有侵权请联系我删除!
    如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。
    您的鼓励就是博主最大的动力!

    展开全文
  • 维度表、事实

    千次阅读 2013-10-21 13:53:41
    以前一直对维度表, 事实, 数据分析, BI等概念等有一些模糊. 这几天的学习终于让这些有了一些眉目了: 维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域...

    以前一直对维度表, 事实表, 数据分析, BI等概念等有一些模糊. 这几天的学习终于让这些有了一些眉目了:

    维度表示你要对数据进行分析时所的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型产品名等属性。下面是两个常见的维度表结构:

    产品维度表:Prod_id, Product_Name, Category, Color, Size, Price
    时间维度表:TimeKey, Season, Year, Month, Date

    而事实表是数据聚合后依据某个维度生成的结果表。它的结构示例如下:

    销售事实表:Prod_id(引用产品维度表), TimeKey(引用时间维度表), SalesAmount(销售总量,以货币计), Unit(销售量)

    上面的这些表就是存在于数据仓库中的。从这里可以看出它有几个特点:

    1. 维度表的冗余很大,主要是因为维度一般不大(相对于事实表来说的),而维度表的冗余可以使事实表节省很多空间。
    2. 事实表一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。
    3. 维度表的主键一般都取整型值的标志列类型,这样也是为了节省事实表的存储空间。

    展开全文
  • 维度表和事实

    2012-12-10 11:32:49
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color,
  • 维度表和事实的含义

    万次阅读 2015-01-09 11:40:08
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color,
  • 事实维度表

    2018-04-04 16:04:35
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析....下面是两个常见的维度表结构:产品维度表:Prod_id, Product_Name, Category, Color, Size, P...
  • 数据仓库-维度表

    千次阅读 2020-08-25 08:44:20
    比如 时间维度表 这种维度表的属性是稳定的,不需要做天的全量快照数据,直接导入一次即可 缓慢渐变维:维度会随着时间发生缓慢的变化。比如 用户维度表 数据量很大,但是每天变化很小 处理方式: 每天一份全量...
  • 事实维度表

    千次阅读 2015-04-27 19:25:31
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color,
  • 事实 维度表 概念

    千次阅读 2014-04-17 16:18:15
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color, Siz
  • 维度表, 事实

    2013-11-11 14:41:24
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color, Size,
  • bi项目中数据仓库的维度表和事实

    千次阅读 2017-11-15 18:04:34
    度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。...产品维度表:Prod_id, Product_Name, Category, Color, Size
  • 有些需求不需要最细节的数据。例如更想要某个月的销售汇总,而不是某天的数据。再比如相对于全部的销售... 有时称细节维度为基本维度维度子集为子维度,基本维度表与子维度表具有相同的属性或内容,称这样的维度表具
  • 维度表 事实

    千次阅读 2011-11-16 18:03:27
    维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析....另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等
  • 数仓维度建模之维度表设计(基础概念一) 1、事实&度量 对业务过程的度量称为事实 2、维度是什么 1)维度定义 在维度建模中,将度量称为“事实”,将环境描述为“维度”,维度是用于分析事实所需要的多样环境 2...
  • 概述 维度建模是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。...维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 维度建模优点 事实 事实存储了从...
  • 使用np.squeeze去掉长度为一的维度 自记 示例 原数据如下,第三个维度为一 gen_sig.shape # (1000, 1024, 1) 使用np.squeeze函数后 gen_sig = np.squeeze(gen_sig) # (1000, 1024)
  • 事实数据的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位作为历史的数据,每个事实数据包含一个由多个部分组成的索引,该索引包含作为外键的相关性维度表的主键,而维度表包含事实...
  • 简述桥接是如何将维度表和事实进行关联的? 答:桥接(Bridge Table)是维度建模中的一类比较特殊的。 在数据仓库的建模时,会遇到具有层次结构的维度表,对于这样的有一种建模方式...
  • 3. 修改定期装载维度表的转换 4. 修改定期装载事实的转换 5. 测试 二、维度子集 1. 建立包含属性子集的子维度 2. 建立包含行子集的子维度 3. 使用视图实现维度子集 三、角色扮演维度 1.修改数据库模式 2....
  • 数仓设计基本方法 1、设计步骤: 1)第一步:选择维度或新建维度。...以淘宝商品维度为例,s_auction_ auctions是与前台商品中心系统同步的商品,此即是主维。 3)第三步:确定相关维。 数据仓库...
  • 数据仓库--事实维度表

    千次阅读 2018-07-31 23:06:08
    事实数据和维度数据的识别必须依据具体的主题问题而定。“事实”,用来存储事实的度量(measure)及指向各个维的外键值。维用来保存该维的元数据,即维的描述信息,包括维的层次及成员类别等 所产生的数据,...
  • 一、什么是杂项维度 简单地说,杂项维度就是一种包含的数据具有很少可能值的维度。事务型商业过程通常产生一系列混杂的、低基数的标志位或状态信息。与其为每个标志或属性定义不同的维度,不如建立单独的将不同维度...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,001
精华内容 12,800
关键字:

维度表冗余问题