精华内容
下载资源
问答
  • 数据矩阵的设计

    千次阅读 2019-06-12 14:17:11
    001,业务数据矩阵 业务数据矩阵,我们可以认为它的作用是从全局的角度来对公司的数据进行规划和设计。在数据仓库的设计初期,数据仓库架构师会根据对业务和数据的理解来设计一个全局的业务数据矩阵,以此从宏观的...

    001,业务数据矩阵
    业务数据矩阵,我们可以认为它的作用是从全局的角度来对公司的数据进行规划和设计。在数据仓库的设计初期,数据仓库架构师会根据对业务和数据的理解来设计一个全局的业务数据矩阵,以此从宏观的角度来描述公司的业务和数据现状,并指导后续的数据仓库建模
    如下表,是业务数据矩阵的表示方法,其中每一列是一个业务主题,每一行是一个数据主题。
    1,业务主题:我们可以将一个业务主题理解为公司的一条业务线,或者说数据仓库仓库待建设的一个数据集市。
    2,数据主题:一般来讲,我们会侧重于将数据主题理解为行为数据主题,比如说登陆、点击、下载等行为主题。

    在这里插入图片描述
    它的作用:
    1,能够帮助数据仓库架构师清晰地梳理整个数据体系
    2,能够帮助决策者从宏观的角度了解数据仓库的整体情况
    3,能够让所有的数据仓库参与者了解数据仓库的设计,根据矩阵有规划的填充数据表即可

    使用场景:
    矩阵可以当作数据项目的进度表来用,在矩阵里写负责人和完成时间,这样可以方便定期的项目Review和汇报

    002,实例
    假设某个电商网站的数据仓库架构师
    ,有几种类型的数据:通用行为数据、业务强相关的数据、通用行为衍生出的行为数据以及其它不易划分的数据:

    通用行为数据主题:即各业务场景都容易出现行为,比如曝光、点击和下载等。
    业务行为数据主题:主要是指和业务强相关的行为,比如说视频业务中有播放行为,论坛业务中发表帖子行为。
    衍生行为数据主题:主要是指非用户原始的行为,比如说留存,本身是由用户活跃来描述的。
    其它行为数据主题:有一些多主题交叉的数据,比如跨业务主题的海内外互通用户主题,或者跨业务和行为的阅读带来的购买行为数据主题。

    设计思路:
    有了业务背景和数据北京,就可以将整个数据体系按照矩阵的方式展示出来,凡是存在的主题,打勾即可
    如下表:
    在这里插入图片描述
    业务数据矩阵的适用范围:
    业务数据矩阵的数据主要集中的数据分层中的DWD和DWM层,因为在DWD和DWM曾的数据聚合成都相对较低,数据主题可以从行为的角度来切分
    主题的划分方法
    主题划分是指两部分:行为主题和业务主题。不同的场景的有不同的划分方式,或者说不同的阶段也有不同的划分方式。

    首先说行为主题,本文所举的例子未必是最合适的,比如留存和流失这些内容,其实也可以放在登陆数据主题中,因为一般的留存是按照是否登陆来判断的。这里需要根据具体的业务场景来对数据进行划分。

    然后是业务主题的设计,本文的例子是根据公司的业务来划分主题的,即一个大的业务为一个业务主题。这里当然可以更细致来进行划分,比如把一个使用场景当作一个业务主题,比如买家和卖家对话可以是一个业务主题。

    前面的设计比较偏向于DWM层。那么在数据集市层,也可以按照不同的数据集市来划分业务主题。

    本文链接:术东居士https://blog.csdn.net/zhaodedong/article/details/85528774

    展开全文
  • 数据矩阵与相异性矩阵

    千次阅读 2015-06-02 15:53:03
    数据矩阵:n*p 矩阵(n个对象,每个对象有p个属性) xi 表示为对象 i,xij表示对象i的第j个属性的值 相异性矩阵:n*n矩阵,存放对象之间的相异性,即对象之间的差异性度量 例如: 主对角线元素为0,...

    数据矩阵:n*p 矩阵(n个对象,每个对象有p个属性)



    xi 表示为对象 i,xij表示对象i的第j个属性的值


    相异性矩阵:n*n矩阵,存放对象之间的相异性,即对象之间的差异性度量

    例如:

    主对角线元素为0,因为对象与对象本身被认为是没有差异的

    d(i,j) = d(j,i),因此相异性矩阵是对称矩阵


    相似性度量:相似性是相异性相反的概念,用sim(i,j)表示

    sim(i,j) = 1 - d(i,j)


    展开全文
  • 本文将分享数据仓库实践中的业务数据矩阵的设计经验,帮助大家在工作中快速理解业务并规划数据仓库体系。 本文将包含如下三部分内容: 分享业务数据仓库的概念的作用 举个栗子说明 一些思考 0x01 业务...

    怀疑有如草木之芽,从真理之根萌生...

    0x00 概述

    数据仓库的设计不能完全依赖于业务的需求,但又必须服务于业务的价值。那么,该如何地从业务的角度出发,设计一套切实可行的数据仓库呢?

    本文将分享数据仓库实践中的业务数据矩阵的设计经验,帮助大家在工作中快速理解业务并规划数据仓库体系。

    本文将包含如下三部分内容:

    1. 分享业务数据仓库的概念的作用
    2. 举个栗子说明
    3. 一些思考

    0x01 业务数据矩阵

    那么,什么是业务数据矩阵,它又有什么用呢?

    业务数据矩阵,我们可以认为它的作用是从全局的角度来对公司的数据进行规划和设计。一般来讲,在数据仓库的设计初期,数据仓库架构师会根据对业务和数据的理解来设计一个全局的业务数据矩阵,以此从宏观的角度来描述公司的业务和数据现状,并指导后续的数据仓库建模。

    如下表,是业务数据矩阵的表示方法,其中每一列是一个业务主题,每一行是一个数据主题。

    • 业务主题:我们可以将一个业务主题理解为公司的一条业务线,或者说数据仓库仓库待建设的一个数据集市。
    • 数据主题:一般来讲,我们会侧重于将数据主题理解为行为数据主题,比如说登陆、点击、下载等行为主题。

    设计

    如果了解了什么是业务数据矩阵,那么它的作用就很容易被理解。简单来讲:

    1. 能够帮助数据仓库架构师清晰地梳理整个数据体系。
    2. 能够帮助决策者(各位老板)从宏观的角度了解数据仓库的整体情况。
    3. 能够让所有的数据仓库参与者了解数据仓库的设计,根据矩阵有规划地填充数据表即可。

    0x02 举个栗子

    趁热打铁,居士举一个栗子来说明业务数据矩阵的设计。

    业务背景

    假设你是某电商网站的数据仓库架构师,公司的业务和某宝相似,有主营的电商业务,也有资讯阅读类业务、论坛业务和视频业务(比如拆箱导购视频)等。具体的业务就不多描述,简单的想象一下即可。

    数据背景

    在上面不同的业务中,有几种类型的数据:通用行为数据、业务强相关的数据、通用行为衍生出的行为数据以及其它不易划分的数据:

    • 通用行为数据主题:即各业务场景都容易出现行为,比如曝光、点击和下载等。
    • 业务行为数据主题:主要是指和业务强相关的行为,比如说视频业务中有播放行为,论坛业务中发表帖子行为。
    • 衍生行为数据主题:主要是指非用户原始的行为,比如说留存,本身是由用户活跃来描述的。
    • 其它行为数据主题:有一些多主题交叉的数据,比如跨业务主题的海内外互通用户主题,或者跨业务和行为的阅读带来的购买行为数据主题。

    设计思路

    有了业务背景和数据背景,我们就可以将整个数据体系按照矩阵的方式展现出来,凡是存在的主题,打勾即可。

    比如国内和海外的电商业务都有订单相关的数据主题,那在这两项打勾即可。

    根据上面的描述,一个业务数据矩阵的设计就可以出来了。如下表。

    业务数据矩阵

    0x03 思考

    如同该系列的其它文章一样(可参考https://github.com/dantezhao/data-warehouse ),本文也会从不同的角度来思考和总结业务数据矩阵的设计方法和原则。

    业务数据矩阵的适用范围

    从个人的角度来看,居士认为,业务数据矩阵的数据主要集中的数据分层中的DWD和DWM层,具体的分层可参考《一种通用的数据仓库分层方法》。因为在DWD和DWM层的数据的聚合程度相对较低,数据主题可以从行为的角度来切分,在DWS层的话,大部分数据的都会被整合起来。以国内电商业务主题为例,DWS层的数据表相对来讲就会少很多,该层的用户维度的相关表可能只有一到两张,大部分的行为都会被放入这一到两张表中。

    另外,该矩阵更多地是作用于设计阶段,到具体的数据建模过程,表中的对勾可以替换成一张张的表名,比如国内电商业务的订单数据主题中,可能就会有多张表DWD和DWM的表。

    主题划分的方法

    主题划分是指两部分:行为主题和业务主题。不同的场景的有不同的划分方式,或者说不同的阶段也有不同的划分方式。

    首先说行为主题,本文所举的例子未必是最合适的,比如留存和流失这些内容,其实也可以放在登陆数据主题中,因为一般的留存是按照是否登陆来判断的。这里需要根据具体的业务场景来对数据进行划分。

    然后是业务主题的设计,本文的例子是根据公司的业务来划分主题的,即一个大的业务为一个业务主题。这里当然可以更细致来进行划分,比如把一个使用场景当作一个业务主题,比如买家和卖家对话可以是一个业务主题。

    前面的设计比较偏向于DWM层。那么在数据集市层,也可以按照不同的数据集市来划分业务主题。

    0xFF 总结

    以上,主要是居士工作中总结的一种设计方法,暂无理论的支持。有相关经验的小伙伴可以交流一下。

    然后补充一个业务数据矩阵的使用场景,该矩阵可以当作是数据项目的进度表来用,在矩阵里面写上负责人,和完成时间,这样可以方便定期的项目Review和汇报。

    展开全文
  • 1.数据矩阵单位化方法一:[plain] view plain copy %%矩阵的列向量单位化%输出矩阵Y为单位化矩阵%方法即是矩阵中所有元素除以该元素所在列向量的二范数clc;clear;X=...

    1.数据矩阵单位化

    方法一:
    [plain] view plain copy
    1. %%矩阵的列向量单位化  
    2. %输出矩阵Y为单位化矩阵  
    3. %方法即是矩阵中所有元素除以该元素所在列向量的二范数  
    4. clc;  
    5. clear;  
    6. X=[790 3977 849 1294 1927 1105 204 1329  
    7.     768 5037 1135 1330 1925 1459 275 1487  
    8.     942 2793 820 814 1617 942 155 976  
    9.     916 2798 901 932 1599 910 182 1135  
    10.     1006 2864 1052 1005 1618 839 196 1081];  
    11. %方法一  
    12. [m,n]=size(X);  
    13. for i=1:n  
    14.     A(1,i)=norm(X(:,i));  
    15. end  
    16. A=repmat(A,m,1);  
    17. Y=X./A;  
    输出结果:
    Y =
        0.3974    0.4932    0.3959    0.5290    0.4941    0.
    展开全文
  • 今天,遇上一个需求就是根据数据生成图像,当然不仅仅是这么简单,但是突然觉得很好玩,就简单实验了一下,随机的生成二维的数据矩阵,然后使用这个随机矩阵的数据来生成随机的图像,仅仅是好玩,下面是具体的实现:...
  • 目标如题:我们将使用numpy中对随机数据矩阵进行归一化处理。 需要用到的知识点包括: random模块生成随机数矩阵 使用np的.mean函数和.std函数对数据进行归一化(数据-平均)/标准差 处理 使用axis参数指定按行计算...
  • 过程/数据矩阵(U/C矩阵)

    万次阅读 2015-01-20 11:50:50
    目录 [隐藏] 1 什么是U/C矩阵2 U/C矩阵的正确性的检验3 利用U/C矩阵方法划分子系统的步骤4 U/C矩阵的主要功能5 U/C矩阵的特点[1]6 U/C矩阵的...矩阵中的行表示数据类,列表示过程,并以字母U(Use)和C(Crea
  • 简单使用min、max函数来得到二维数据矩阵中的最大最小值,很简单,这是因为工作需要用到一个东西所以先简单来写了一下: #!usr/bin/env python #encoding:utf-8 ''' __Author__:沂水寒城 功能:找出来随机生成矩阵...
  • 首先使用imagesc函数对数据矩阵进行画图,接着使用getframe得到画出的图,将图片保存到文件夹。 1 获取坐标轴为界的图像 data = [1.2,-2.5,6.0,2.1;1.5,3.2,-1.6,6.8;4.4,-3.3,-8.2,5.0;6.5,-4.8,7.6,3.4]; imagesc...
  • 我现在有一个206*2896的波形数据,现在需要将每一行分成18段,再将18段中每段的最大值求出,最后把结果合并到一个矩阵当中,如何编写这个循环?
  • 数据矩阵及R语言的表示

    千次阅读 2019-03-14 18:47:31
    函数 mode()返回向量的数据类型; x1=c(171,175,152,184,165,172,153,165,182,175,168,169) length(x1) [1] 12 mode(x1) [1] “numeric” 2、创建一个矩阵(二维数组) (1)合并命令,可以用rb...
  • 本人初学Python,数据大概在40M左右,txt格式,用numpy中的Loadtxt打开后,需要删除所有第二列为空的行,自己写的代码如下: import numpy as np data=np.loadtxt('GSE4187.txt',delimiter='\t',skiprows=0,dtype='...
  • 仅仅是因为用到这个东西就简单记录一下,做法很简单,这里先随机产生一个数据文件保存,之后将该数据文件内容写入到Excel中,数据文件可以形成一个矩阵,这里将矩阵转置后写入另一个Excel文件中,下面是具体的实现:...
  • python 将excel、csv文件中的数据读取为矩阵利用 pandas 读取Excel 形成数据矩阵注意利用 xlrd 读取 Excel 形成数据矩阵注意利用 pandas 读取 CSV 文件注意给 CSV 文件 添加表头 分享记录一些自己在数据处理过程中的...
  • 数据结构之矩阵实现

    千次阅读 2017-05-31 16:03:23
    数据结构的矩阵实现
  • python矩阵数据读写

    千次阅读 2018-12-07 13:54:20
    工具 numpy工具包 import numpy as np; 读矩阵 matrix = np.loadtxt(open("matrix.csv","rb"),delimiter="...写矩阵 ...矩阵matrix必须是一维或者二维矩阵。...读写保持一致,保证读写不改变数据...
  • 数据建模之总线矩阵

    千次阅读 2020-07-27 20:40:20
    企业数据仓库总线矩阵是DW/BI系统的一个总体数据架构,如果我们在建立数据仓库的时候,只考虑单独的某个业务系统的数据建设,则无法满足一致性的目标,例如:相互有联系的系统数据的维度不同导致关联复杂或者关联不...
  • 稀疏矩阵数据

    千次阅读 2018-12-10 18:32:59
    SuiteSparse矩阵集合(以前称为佛罗里达大学稀疏矩阵集合),是一个大的和积极增长的稀疏矩阵集合,出现在实际应用。该集合被数值线性代数社区广泛用于稀疏矩阵算法的开发和性能评估。它支持健壮的和可重复的实验:健壮...
  • python +gis 点数据转栅格数据 绘制矩阵图 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl mpl.rcParams['font.sans-serif'] = ['SimHei'] #将全局字体设...
  • MATLAB读取矩阵数据

    万次阅读 2019-04-10 11:09:51
    命令行窗口中输入a=[1 2 3 4;...获取矩阵某列的连续数据,可以使用a(1:2,3),获取第3列第1个到第2个数据, 使用a(2:end,3)获取第3列,第2个到最后一个数据 2. 获取Matlab矩阵顺序第一个的数据方...
  • matlab遍历矩阵(读取矩阵每一个数据

    万次阅读 多人点赞 2019-04-14 10:38:22
    matlab遍历矩阵(读取矩阵每一个数据)描述代码输出 描述 matlab遍历矩阵(读取矩阵每一个数据) 思想在于建立for循环嵌套 代码 A = randn(3,4) % 创建3行4列随机矩阵 [r,c] = size(A) % 读取行r、列c for i ...
  • Matlab提取矩阵数据

    万次阅读 2018-03-13 10:22:17
    特别是在提取矩阵数据中的情况 在演示之前,先建立矩阵,并看一下 M = [1,2; 3,4; 5,6] 输出的结果是: M = 1 2 3 4 5 6 获取Matlab矩阵顺序第一个的数据方法 记住,这只是获得整个矩阵中,顺序遍历的...
  • 协方差矩阵和相关矩阵

    千次阅读 2020-02-29 23:37:29
    假设数据矩阵定义如下: 则协方差矩阵为: 相关矩阵为:
  • 不知道大家还记不记得上一周给大家分享的波士顿矩阵,当时在分享波士顿矩阵的时候忘记给大家提到了一个重要的矩阵就是今天要给大家分享的麦肯锡矩阵(GE矩阵)。由于波士顿矩阵在使用的时候其实会存在很多的问题...
  • MATLAB矩阵复制数据

    千次阅读 2014-11-27 11:36:39
    如果想让矩阵A(m,n)的数据的每一行复制b遍,组成一个m*b行的大矩阵,可以用 B = A(reshape(ones(b,1)*(1:m),m*b,1),:);
  • 数据结构 图的邻接矩阵

    万次阅读 多人点赞 2018-05-07 21:19:59
    图的邻接矩阵的存储方式是用两个数组来实现的,一个一维数组存储顶点信息,一个二维数组存储线(无向图)或弧(有向图)的信息。设图G有n个顶点,则邻接矩阵是一个n × n的方阵,定义为:无向图的邻接矩阵,两个顶点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 544,504
精华内容 217,801
关键字:

数据矩阵