精华内容
下载资源
问答
  • 问题导读:1、数据仓库的总体架构是怎样的?...根据专家系统数据仓库建设目标,结合系统数据业务规,包括数据采集频率、数据采集量等相关因素,设计专家系统数据仓库架构如下:数据仓库架构从层次结构上分为数..

    问题导读:
    1、数据仓库的总体架构是怎样的?
    2、如何进行数据采集?
    3、数据是如何进行加工和处理的?


    1.1    数据仓库总体架构
    专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据,经过一系列综合诊断分析,以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施,为车辆的故障根因修复提供必要的支持。
    根据专家系统数据仓库建设目标,结合系统数据业务规,包括数据采集频率、数据采集量等相关因素,设计专家系统数据仓库架构如下:

    数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容:
    数据采集:负责从各业务自系统中汇集信息数据,系统支撑Kafka、Storm、Flume及传统的ETL采集工具。
    数据存储:本系统提供Hdfs、Hbase及RDBMS相结合的存储模式,支持海量数据的分布式存储。
    数据分析:数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。
    数据服务总线:数据系统提供数据服务总线服务,实现对数据资源的统一管理和调度,并对外提供数据服务。

    1.2    数据采集
    专家系统数据仓库数据采集包括两个部分容:外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层(ODS);部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。
    1.2.1    外部数据汇集
    专家数据仓库数据源包括列车监控与检测系统(TCMS)、车载子系统等相关子系统,数据采集的容分为实时数据采集和定时数据采集两大类,实时数据采集主要对于各项检测指标数据;非实时采集包括日检修数据等。
    根据项目信息汇集要求,列车指标信息采集具有采集数据量大,采集频率高的特点,考虑到系统后期的扩展,因此在数据数据采集方面,要求采集体系支持高吞吐量、高频率、海量数据采集,同时系统应该灵活可配置,可根据业务的需要进行灵活配置横向扩展。
    本方案在数据采集架构采用Flume+Kafka+Storm的组合架构,采用Flume和ETL工具作为Kafka的Producer,采用Storm作为Kafka的Consumer,Storm可实现对海量数据的实时处理,及时对问题指标进行预警。具体采集系统技术结构图如下:


    1.2.1.1    数据汇集架构功能
    Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。Flume的数据接受方,可以是console(控制台)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系统)等。在我们系统中由kafka来接收。
    Kafka分布式消息队列,支撑系统性能横向扩展,通过增加broker来提高系统的性能。
    Storm流处理技术,支撑Supervisor横向扩展以提高系统的扩展性和数据处理的实时性。
    1.2.1.2    采集架构优势
    (一)    解耦
    在项目中要平衡数据的汇集与数据的处理性能平衡,是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

    • 冗余

    有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。在被许多消息队列所采用的“插入-获取-删除”式中,在把一个消息从队列中删除之前,需要你的处理过程明确的指出该消息已经被处理完毕,确保你的数据被安全的保存直到你使用完毕。

    • 扩展性

    因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的;只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

    • 灵活性 & 峰值处理能力

    在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见;如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

    • 可恢复性

    当体系的一部分组件失效,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。而这种允许重试或者延后处理请求的能力通常是造就一个略感不便的用户和一个沮丧透顶的用户之间的区别。

    • 送达保证

    消息队列提供的冗余机制保证了消息能被实际的处理,只要一个进程读取了该队列即可。在此基础上,IronMQ提供了一个”只送达一次”保证。无论有多少进程在从队列中领取数据,每一个消息只能被处理一次。这之所以成为可能,是因为获取一个消息只是”预定”了这个消息,暂时把它移出了队列。除非客户端明确的表示已经处理完了这个消息,否则这个消息会被放回队列中去,在一段可配置的时间之后可再次被处理。

    • 缓冲

    在任何重要的系统中,都会有需要不同的处理时间的元素。例如,加载一图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行—写入队列的处理会尽可能的快速,而不受从队列读的预备处理的约束。该缓冲有助于控制和优化数据流经过系统的速度。

    • 异步通信

    很多时候,你不想也不需要立即处理消息。消息队列提供了异步处理机制,允许你把一个消息放入队列,但并不立即处理它。你想向队列中放入多少消息就放多少,然后在你乐意的时候再去处理它们。

    1.2.2    部各层数据提取与加载
    数据汇集将数据储存于操作型数据存储层(ODS),在数据仓库各层次间数据转换提取加载,采用传统的ETL工具进行采集,数据仓库间的各层次的数据采集的实效性根据具体的数据需求而定,具体ETL建模界面如图:

    1.3    数据加工与处理
    对于数据仓库平台,应该建立一套标准化、规化的数据处理流程,例如:如何采集部和外部数据、结构化和非结构化数据;如何清洗采集来的脏数据和无效数据;如何对不同来源的数据进行打通;如何对非结构化的数据进行结构化加工;如何在结构化数据的基础上进行商业建模和数据挖掘等等。
    大数据管理层在一条数据总线上构建了一条完整的大数据处理流水线。这条流水线从数据的采集、清洗到加工处理,把原始杂乱无章的数据加工成结构化的数据组件,供上层的大数据应用来拼装调用,让企业拥有创造数据资产的能力。


    1.4    存储设计
    1.4.1    数据量估算
    按每列列车平均500毫秒通过车地通信采集监测数据100条,每天运营时间18小时,按每条记录160字节计算(监测数据的数据项相对简单),初步按照67列列车计算。
    单列列车日监测数据=3600*2*160*100*18/1024/1024/1024≈2G
    67列列车年数据量=2*67*365/1024 ≈ 48T
    10年总数据量(乘上增长系数10%)≈530T  (含操作系统)

    数据规划10年,加上系统用户信息、系统日志信息、专家信息、业务数据及其它不可预测类数据,数据总量预估530T。

    1.4.2    数据存储
    专家系统数据采用混合存储模式进行存储,RDBMS存储专家系统业务基本数据及最近1年的监测数据,10年历史监测数据采用NoSQL HBase数据库进行存储,以方便查询,HBase基于Hdfs分布式文件系统搭建,具体存储模式如下图。

    1.    RDBMS数据库,支持专家库的核心业务,存储列车最近1年的监测数据为保证专家系统安全、稳定运行,在数据库系统上支撑各种统计分析及传统的BI业务。考虑到操作系统存储、缓存存储、数据库系统存储、日志存储等因素, RDBMS数据库服务器预计每台60T存储,考虑数据安全及系统稳定因素RDBMS采用双机热备技术互备。
    2.    大数据平台规划存储最近10年监测数据,日志文件备份及历史数据采用大数据Hadoop和HBase存储,大数据平台数据采用节点间冗余备份,预设数据2倍冗余存储,
    (考虑平台提供的压缩技术,压缩存储可以节省30-55%的空间)。
    10年数据量=530T*1.5≈ 800T  (2倍冗余存储)

    1.4.3    分层存储
    专家数据分三个层次进行汇集与存储,分别为ODS层、数据仓库层、主题数据层,各层次数据存储容如下

    • ODS层:数据来源于各生产系统,通过ETL工具对接口文件数据进行编码替换和数据清洗转换,不做关联操作。未来也可用于准实时数据查询。
    • 数据仓库层:数据深度汇集层,根据业务有选择的对ODS层的数据进行提取,通过对数据的加工处理,将单一的数据信息转换成体系信息,将点信息数据变成面信息数据。
    • 主题数据层:将数据信息体系根据各主题进行提取与转换,主题域部进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并。

    展开全文
  • 数据仓库建设

    2014-11-16 01:22:08
    介绍陕西省国家税务总局建设的基于已建信息化系统现状的描述,建立统一门户应用平台,包括数据库建设
  • repo 仓库建设方法

    2017-11-17 13:40:59
    android repo 仓库建设文档,非常实用,希望对大家有帮助
  • 大数据数据仓库建设

    2021-01-27 13:20:21
    互联网行业,除了数据量大之外,业务时效性要求也很高,甚至很多是要求实时的,另外,互联网行业的业务变化非常快,不可能像传统...2.ODS层数据仓库源头系统的数据表通常会原封不动地存储份,这称为ODS(Operation
  • 精品文档 大数据技术部 建设数据仓库的八个步骤 2017 年 04 月 25 日 编制 精品文档 精品文档 建设数据仓库的八个步骤 摘要 建立数据仓库一个解决企业问题的过程 业务人员往往不懂如何建立和使用数据仓库 发挥其 ...
  • 粮食仓库建设标准

    2020-12-31 03:34:50
    相信来查找粮食仓库建设标准的你对于这行业多少也有些了解,而粮食仓库建设标准就是最好的选择,赶快下...该文档为粮食仓库建设标准,是份很不错的参考资料,具有较高参考价值,感兴趣的可以下载看看
  • 摘要:建立数据仓库一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题。关键词:数据仓库元数据 建设数据...

    摘要:建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题。
    关键词: 数据仓库 元数据

     

    建设数据仓库


        建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发数据仓库


        开发数据仓库的过程包括以下几个步骤。


        1.系统分析,确定主题


        建立数据仓库的第一个步骤就是通过与业务部门的充分交流,了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。


        业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类汇总,确定数据仓库所实现的业务功能。一旦确定问题以后,信息部门的人员还需要确定一下几个因素:


        ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。


        ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。


        ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。


        ·用户所能接受的响应时间是多长、是几秒钟,还是几小时。


        由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能确实是业务部门所需要的。


        2.选择满足数据仓库系统要求的软件平台


        在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准:


        ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。


        ·数据库对大数据量(TB级)的支持能力。


        ·数据库是否支持并行操作。


        ·能否提供数据仓库的建模工具,是否支持对元数据的管理。


        ·能否提供支持大数据量的数据加载、转换、传输工具(ETT)。


        ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。


        3.建立数据仓库的逻辑模型


        具体步骤如下:


        (1)确定建立数据仓库逻辑模型的基本方法。


        (2)基于主题视图,把主题视图中的数据定义转到逻辑数据模型中。


        (3)识别主题之间的关系。


        (4)分解多对多的关系。


        (5)用范式理论检验逻辑数据模型。


        (6)由用户审核逻辑数据模型。


        4.逻辑数据模型转化为数据仓库数据模型


        具体步骤如下:


        (1)删除非战略性数据:数据仓库模型中不需要包含逻辑数据模型中的全部数据项,某些用于操作处理的数据项要删除。


        (2)增加时间主键:数据仓库中的数据一定是时间的快照,因此必须增加时间主键。


        (3)增加派生数据:对于用户经常需要分析的数据,或者为了提高性能,可以增加派生数据。


        (4)加入不同级别粒度的汇总数据:数据粒度代表数据细化程度,粒度越大,数据的汇总程度越高。粒度是数据仓库设计的一个重要因素,它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型。显然,粒度级别越低,则支持的查询越多;反之,能支持的查询就有限。


        对数据操作的效率与能得到数据的详细程度是一对矛盾,通常,人们希望建成的系统既有较高的效率,又能得到所需的详细资料。实施数据仓库的一个重要原则就是不要试图包括所有详细数据,因为90%的分析需求是在汇总数据上进行的。试图将粒度细化到最低层,只会增加系统的开销,降低系统的性能。


    [page]    5.数据仓库数据模型优化


        数据仓库设计时,性能是一项主要考虑因素。在数据仓库建成后,也需要经常对其性能进行监控,并随着需求和数据量的变更进行调整。


        优化数据仓库设计的主要方法是:


        ·合并不同的数据表。


        ·通过增加汇总表避免数据的动态汇总。


        ·通过冗余字段减少表连接的数量,不要超过3~5个。


        ·用ID代码而不是描述信息作为键值。


        ·对数据表做分区。


        6.数据清洗转换和传输


        由于业务系统所使用的软硬件平台不同,编码方法不同,业务系统中的数据在加载到数据仓库之前,必须进行数据的清洗和转换,保证数据仓库中数据的一致性。


        在设计数据仓库的数据加载方案时,必须考虑以下几项要求:


        ·加载方案必须能够支持访问不同的数据库和文件系统。


        ·数据的清洗、转换和传输必须满足时间要求,能够在规定的时间范围内完成。


        ·支持各种转换方法,各种转换方法可以构成一个工作流。


        ·支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库


        7.开发数据仓库的分析应用


        建立数据仓库的最终目的是为业务部门提供决策支持能力,必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。


        信息部门所选择的开发工具必须能够:


        ·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门,他们的业务不同,要求的分析功能也不同。如有的用户只是简单的分析报表,有些用户则要求做预测和趋势分析。


        ·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现,支持复杂的图表。使用方式上,可以是客户机/服务器方式,也可以是浏览器方式。


        事实上,没有一种工具能够满足数据仓库的全部分析功能需求,一个完整的数据仓库系统的功能可能是由多种工具来实现,因此必须考虑多个工具之间的接口和集成性问题,对于用户来说,希望看到的是一致的界面。


        8.数据仓库的管理


        只重视数据仓库的建立,而忽视数据仓库的管理必然导致数据仓库项目的失败。数据仓库管理主要包括数据库管理和元数据管理。


        数据库管理需要考以下几个方面:


        ·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据,数据在传输过程中的加密策略。


        ·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。


        ·如何保证数据仓库系统的可用性,硬件还是软件方法。


        ·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法,如历史数据只保存汇总数据,当年数据保存详细记录。


        然而,元数据管理贯穿于整个系统的建设过程中,元数据是描述数据的数据。在数据采集阶段,元数据主要包括下列信息:


        ·源数据的描述定义:类型、位置、结构。


        ·数据转换规则:编码规则、行业标准。


        ·目标数据仓库的模型描述:星型/雪花模型定义,维/事实结构定义。


        ·源数据到目标数据仓库的映射关系:函数/表达式定义。


        ·代码:生成转换程序、自动加载程序等。


        在数据管理阶段,元数据主要包括下列信息:


        ·汇总数据的描述:汇总/聚合层次、物化视图结构定义。


        ·历史数据存储规则:位置、存储粒度。


        ·多维数据结构描述:立方体定义、维结构、度量值、钻取层次定义等。


        在数据展现阶段,元数据主要包括以下信息:


        ·报表的描述:报表结构的定义。


        ·统计函数的描述:各类统计分析函数的定义。


        ·结果输出的描述:图、表输出的定义。


        元数据不但是独立存放,而且对用户是透明的,标准元数据之间可以互相转换。

    转载于:https://www.cnblogs.com/8899man/p/5864063.html

    展开全文
  • 数据仓库建设方案

    2015-10-17 20:35:05
    数据仓库建设方案 基于Informatica、oracle、SAP BO
  • 数据仓库系统建设

    2014-10-25 13:28:27
    数据仓库 商业智能 麦肯锡 数据仓库建设方法论 系统新的介绍 和案例
  • 数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库
  • 文物库房智慧管理系统建设方案
  • 文物库房智慧管理平台建设方案
  • 数据仓库建设.zip

    2020-08-20 20:21:29
    这是关于数据仓库的一些资料,关于数据仓库建设以及一些理论知识,可以供大家学习和交流,有不懂的问题可以多多指教,谢谢大家!
  • 移动互联网数据仓库建设实践,实时主动数据仓库 (real-time active data warehouse)RTADW
  • 建设数据仓库步骤

    2020-08-11 14:29:01
    建立数据仓库一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目...

          建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发数据仓库。

          开发数据仓库的过程包括以下几个步骤:

    1.系统分析,确定主题

         建立数据仓库的第一个步骤就是通过与业务部门的充分交流,了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。

         业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类汇总,确定数据仓库所实现的业务功能。一旦确定问题以后,信息部门的人员还需要确定一下几个因素:

          >操作出现的频率,即业务部门每隔多长时间做一次查询分析。

         >在系统中需要保存多久的数据,是一年、两年还是五年、十年。

         >用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。

         >用户所能接受的响应时间是多长、是几秒钟,还是几小时。

        由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能确实是业务部门所需要的。

    2.选择满足数据仓库系统要求的软件平台

         在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准:

         ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。

         ·数据库对大数据量(TB级)的支持能力。

         ·数据库是否支持并行操作。

         ·能否提供数据仓库的建模工具,是否支持对元数据的管理。

         ·能否提供支持大数据量的数据加载、转换、传输工具(ETL)。

         ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。

    3.建立数据仓库的逻辑模型

    具体步骤如下:

     (1)确定建立数据仓库逻辑模型的基本方法。

     (2)基于主题视图,把主题视图中的数据定义转到逻辑数据模型中。

     (3)识别主题之间的关系。

     (4)分解多对多的关系。

     (5)用范式理论检验逻辑数据模型。

     (6)由用户审核逻辑数据模型。

    4.逻辑数据模型转化为数据仓库数据模型

    具体步骤如下:

     (1)删除非战略性数据:数据仓库模型中不需要包含逻辑数据模型中的全部数据项,某些用于操作处理的数据项要删除。

     (2)增加时间主键:数据仓库中的数据一定是时间的快照,因此必须增加时间主键。

     (3)增加派生数据:对于用户经常需要分析的数据,或者为了提高性能,可以增加派生数据。

     (4)加入不同级别粒度的汇总数据:数据粒度代表数据细化程度,粒度越大,数据的汇总程度越高。粒度是数据仓库设计的一个重要因素,它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型。显然,粒度级别越低,则支持的查询越多;反之,能支持的查询就有限。

        对数据操作的效率与能得到数据的详细程度是一对矛盾,通常,人们希望建成的系统既有较高的效率,又能得到所需的详细资料。实施数据仓库的一个重要原则就是不要试图包括所有详细数据,因为90%的分析需求是在汇总数据上进行的。试图将粒度细化到最低层,只会增加系统的开销,降低系统的性能。

    5.数据仓库数据模型优化

         数据仓库设计时,性能是一项主要考虑因素。在数据仓库建成后,也需要经常对其性能进行监控,并随着需求和数据量的变更进行调整。

    优化数据仓库设计的主要方法是:

       ·合并不同的数据表。

       ·通过增加汇总表避免数据的动态汇总。

       ·通过冗余字段减少表连接的数量,不要超过3~5个。

       ·用ID代码而不是描述信息作为键值。

       ·对数据表做分区。

    6.数据清洗转换和传输

         由于业务系统所使用的软硬件平台不同,编码方法不同,业务系统中的数据在加载到数据仓库之前,必须进行数据的清洗和转换,保证数据仓库中数据的一致性。

    在设计数据仓库的数据加载方案时,必须考虑以下几项要求:

      ·加载方案必须能够支持访问不同的数据库和文件系统。

      ·数据的清洗、转换和传输必须满足时间要求,能够在规定的时间范围内完成。

      ·支持各种转换方法,各种转换方法可以构成一个工作流。

      ·支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库。

    7.开发数据仓库的分析应用

        建立数据仓库的最终目的是为业务部门提供决策支持能力,必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。

    信息部门所选择的开发工具必须能够:

        ·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门,他们的业务不同,要求的分析功能也不同。如有的用户只是简单的分析报表,有些用户则要求做预测和趋势分析。

       ·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现,支持复杂的图表。使用方式上,可以是客户机/服务器方式,也可以是浏览器方式。

        事实上,没有一种工具能够满足数据仓库的全部分析功能需求,一个完整的数据仓库系统的功能可能是由多种工具来实现,因此必须考虑多个工具之间的接口和集成性问题,对于用户来说,希望看到的是一致的界面。

    8.数据仓库的管理

        只重视数据仓库的建立,而忽视数据仓库的管理必然导致数据仓库项目的失败。数据仓库管理主要包括数据库管理和元数据管理。

        数据库管理需要考以下几个方面:

          ·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据,数据在传输过程中的加密策略。

          ·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。

          ·如何保证数据仓库系统的可用性,硬件还是软件方法。

          ·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法,如历史数据只保存汇总数据,当年数据保存详细记录。

        然而,元数据管理贯穿于整个系统的建设过程中,元数据是描述数据的数据。在数据采集阶段,元数据主要包括下列信息:

         ·源数据的描述定义:类型、位置、结构。

         ·数据转换规则:编码规则、行业标准。

         ·目标数据仓库的模型描述:星型/雪花模型定义,维/事实结构定义。

         ·源数据到目标数据仓库的映射关系:函数/表达式定义。

         ·代码:生成转换程序、自动加载程序等。

    在数据管理阶段,元数据主要包括下列信息:

        ·汇总数据的描述:汇总/聚合层次、物化视图结构定义。

        ·历史数据存储规则:位置、存储粒度。

        ·多维数据结构描述:立方体定义、维结构、度量值、钻取层次定义等。

    在数据展现阶段,元数据主要包括以下信息:

        ·报表的描述:报表结构的定义。

        ·统计函数的描述:各类统计分析函数的定义。

        ·结果输出的描述:图、表输出的定义。

       元数据不但是独立存放,而且对用户是透明的,标准元数据之间可以互相转换。

       数据维护与管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据库所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库,以反映数据源的变化,且对时间相关性进行处理。更新操作有2种情况,即在仓库的原有数据表中进行某些数据的更新和产生一个新的时间区间的数据,因为汇总数据与数据仓库中的许多信息元素有关系,必需完整地汇总,这样才能保证全体信息的一致性。

     数据仓库规模一般都很大,从建立之初就要保证它的可管理性,一个企业可能建立几个数据仓库或数据集市,但他们可共用一个元数据库对其进行管理。首先从元数据库查询所需元数据,然后进行数据仓库更新作业,更新结束后,将更新情况记录于元数据库中。当数据源的运行环境、结构及目标数据的维护计划发生变化时,需要修改元数据。元数据是数据仓库的重要组成部分,元数据的质量决定整个数据仓库的质量。

     对企业自身来说,数据仓库的建设是一个系统工程,是一个不断建立、发展、完善的过程,通常需要较长的时间。这就要求各企业对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图,将整个项目的实施分成若干个阶段,以“总体规划、分步实施、步步见效”为原则,不仅可迅速从当前投资中获得收益,而且可以在已有的基础上,结合其他已有的业务系统,逐步构建起完整、健壮的数据仓库系统。

    展开全文
  • 档案库房一体化智能管理系统建设探索().pdf
  • 分析了矿山系统传统数据存储特点,认为传统数据库已无法满足矿山管理应用需求,数字矿山的建设急需建立一个方便存储和提取的工具。矿山数据大多为空间数据,因此,空间数据仓库的建立能解决矿山数据的收集和存储问题,...
  • 数据仓库建设步骤

    千次阅读 2018-06-19 15:58:09
    1.系统分析,确定主题确定一下几因素: ·操作出现的频率,即业务部门每隔多长时间做次查询分析。 ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。 ·用户查询数据的主要方式,如在时间维度上是...

    1.系统分析,确定主题

    确定一下几个因素:
        ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。
        ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。
        ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。
        ·用户所能接受的响应时间是多长、是几秒钟,还是几小时。

    2.选择满足数据仓库系统要求的软件平台

    选择合适的软件平台,包括数据库、建模工具、分析工具等。有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准:
        ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。
        ·数据库对大数据量(TB级)的支持能力。
        ·数据库是否支持并行操作。
        ·能否提供数据仓库的建模工具,是否支持对元数据的管理。
        ·能否提供支持大数据量的数据加载、转换、传输工具(ETT)。
        ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。

    3.建立数据仓库的逻辑模型

    具体步骤如下:
        (1)确定建立数据仓库逻辑模型的基本方法。
        (2)基于主题视图,把主题视图中的数据定义转到逻辑数据模型中。
        (3)识别主题之间的关系。
        (4)分解多对多的关系。
        (5)用范式理论检验逻辑数据模型。
        (6)由用户审核逻辑数据模型。

    4.逻辑数据模型转化为数据仓库数据模型

    具体步骤如下:
        (1)删除非战略性数据:数据仓库模型中不需要包含逻辑数据模型中的全部数据项,某些用于操作处理的数据项要删除。
        (2)增加时间主键:数据仓库中的数据一定是时间的快照,因此必须增加时间主键。
        (3)增加派生数据:对于用户经常需要分析的数据,或者为了提高性能,可以增加派生数据。
        (4)加入不同级别粒度的汇总数据:数据粒度代表数据细化程度,粒度越大,数据的汇总程度越高。粒度是数据仓库设计的一个重要因素,它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型。显然,粒度级别越低,则支持的查询越多;反之,能支持的查询就有限。

    5.数据仓库数据模型优化

    数据仓库设计时,性能是一项主要考虑因素。在数据仓库建成后,也需要经常对其性能进行监控,并随着需求和数据量的变更进行调整。
    优化数据仓库设计的主要方法是:
        ·合并不同的数据表。
        ·通过增加汇总表避免数据的动态汇总。
        ·通过冗余字段减少表连接的数量,不要超过3~5个。
        ·用ID代码而不是描述信息作为键值。
        ·对数据表做分区。

    6.数据清洗转换和传输

    由于业务系统所使用的软硬件平台不同,编码方法不同,业务系统中的数据在加载到数据仓库之前,必须进行数据的清洗和转换,保证数据仓库中数据的一致性。
        在设计数据仓库的数据加载方案时,必须考虑以下几项要求:
        ·加载方案必须能够支持访问不同的数据库和文件系统。
        ·数据的清洗、转换和传输必须满足时间要求,能够在规定的时间范围内完成。
        ·支持各种转换方法,各种转换方法可以构成一个工作流。
        ·支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库

    7.开发数据仓库的分析应用

    建立数据仓库的最终目的是为业务部门提供决策支持能力,必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。
        信息部门所选择的开发工具必须能够:
        ·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门,他们的业务不同,要求的分析功能也不同。如有的用户只是简单的分析报表,有些用户则要求做预测和趋势分析。
        ·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现,支持复杂的图表。使用方式上,可以是客户机/服务器方式,也可以是浏览器方式。
        事实上,没有一种工具能够满足数据仓库的全部分析功能需求,一个完整的数据仓库系统的功能可能是由多种工具来实现,因此必须考虑多个工具之间的接口和集成性问题,对于用户来说,希望看到的是一致的界面。

    8.数据仓库的管理

    只重视数据仓库的建立,而忽视数据仓库的管理必然导致数据仓库项目的失败。数据仓库管理主要包括数据库管理和元数据管理。
        数据库管理需要考以下几个方面:
        ·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据,数据在传输过程中的加密策略。
        ·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。
        ·如何保证数据仓库系统的可用性,硬件还是软件方法。
        ·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法,如历史数据只保存汇总数据,当年数据保存详细记录。
        然而,元数据管理贯穿于整个系统的建设过程中,元数据是描述数据的数据。在数据采集阶段,元数据主要包括下列信息:
           ·源数据的描述定义:类型、位置、结构。
           ·数据转换规则:编码规则、行业标准。
           ·目标数据仓库的模型描述:星型/雪花模型定义,维/事实结构定义。
           ·源数据到目标数据仓库的映射关系:函数/表达式定义。
           ·代码:生成转换程序、自动加载程序等。
        在数据管理阶段,元数据主要包括下列信息:
        ·汇总数据的描述:汇总/聚合层次、物化视图结构定义。
        ·历史数据存储规则:位置、存储粒度。
        ·多维数据结构描述:立方体定义、维结构、度量值、钻取层次定义等。
           在数据展现阶段,元数据主要包括以下信息:
           ·报表的描述:报表结构的定义。
           ·统计函数的描述:各类统计分析函数的定义。
           ·结果输出的描述:图、表输出的定义。
        元数据不但是独立存放,而且对用户是透明的,标准元数据之间可以互相转换

    展开全文
  • 数据仓库云平台建设方案 目 录 1 项目概述 1 1.1 背景 1 1.2 建设目标 2 2 项目建设规范 3 2.1 应用范围 3 2.2 引用规范 3 3 设计原则 5 3.1 仓库层级设计原则 5 3.1.1 缓存层ODS 5 3.1.2 仓库层DW 5 3.1.3 集市层DM...
  • 数据仓库ETL建设宝典

    2016-03-10 15:48:46
    数据仓库ETL建设宝典,最新最全的ETL建设方案和详解!与大家分享!
  • 这是个人的大数据仓库,本人将根据以下技术栈路线图不断更新仓库,同时欢迎大家一起建设个仓库仓库的基础知识 这部分是大数据的基础的知识 Scala数据结构与算法 zookeeper Hive HBase Azkaban Flume Oozie ...
  • 新华保险数据仓库建设方案

    热门讨论 2011-11-22 23:01:00
    新华保险数据仓库建设方案 目录: 公司介绍 EDW总体规划方案 EDW整体技术架构方案 EDW数据模型解决方案 EDW业务应用解决方案 EDW建设战略与实施方法 EDW项目期实施方案 EDW建设最佳实践经验 交流答疑
  • 数据仓库建设规范模板.docx
  • 企业数据仓库建设 企业数据仓库建设阶段性各个操作 阶段 企业数据仓库建设的阶段性包括报表 查询统计数据分析数据挖掘运营导 向运营自动化等等 1 报表查询统计 报表查询统计是多年以来 IT技术 辅助企业管理决策最...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,866
精华内容 13,146
关键字:

如何建设一个仓库