精华内容
下载资源
问答
  • 03.企业级数据中心服务器部署方案
  • 为了满足基于大数据的数据存储、处理、分析及应用需求,结合并行计算、大规模数据分析挖掘、线性扩展、全类数据支持等技术的企业级数据中心能够有效的实现全业务、全层级、全类型数据资源的集中整合和分析。...

    摘要

    目前工程企业所使用数据中心,多采用传统技术建设,普遍存存在着

    建设成本高、扩展性不强、计算处理及分析挖掘能力有限的缺点。为了满足基于大数据的数据存储、处理、分析及应用需求,结合并行计算、大规模数据分析挖掘、线性扩展、全类数据支持等技术的企业级数据中心能够有效的实现全业务、全层级、全类型数据资源的集中整合和分析。

    目前,大部分工程行业企业所构建的数据中心积累了大量的结构化数据、非结构化数据、地理信息数据和海量的实时数据,同时大多采用集中式服务器架构(如Oracle Rac)技术导致扩展性不强,因此无法满足数据的不断增长的全存储需求;并且数据处理以单点模式为主,缺少实时并行计算处理能力,无法应对海量数据的实时分析处理需求;数据存储与处理多只支持结构化数据,无法对非结构化数据进行有效存储、处理及分析,无法提供大数据环境下全方位、全类型数据存储及处理服务,无法为数据深度分析挖掘提供支撑。

    基于大数据的工程行业的企业级数据中心总体架构图如图一所示,按照层次可以划分为数据源层、数据集成层、数据存储层、分析/服务层、业务应用层、前段访问层以及整体的数据管理平台。

    图一、基于大数据技术的工程行业企业数据中心总体架构

    数据中心通过接口表、接口文件、数据接收服务、数据消息接收等方式,实现对结构化数据、非结构化数据以及实施数据的获取,满足不同的数据时效性要求;数据中心在数据存储层包含数据仓库平台、分布式数据平台和流数据平台,用来存储不同特性的数据,并提供相应的数据服务;数据中心通过批量推送、数据实时服务等方式为目标系统提供整合后的结果数据,同时通过数据异步推送的方式,满足数据共享及应用的需求;数据中心实现信息综合展示及职能分析决策功能,并通过各种终端的集成展示,如PC终端、大屏幕以及移动终端,满足各类分析结果在前端展示要求;并且提供数据中心数据资源管理,实现对数据中心元数据、数据质量、数据标准、数据模型以及数据资源的管理。

    、数据集成层:【包括数据获取和作业调度两部分

    数据获取即将采集源系统的结构化数据、非结构化数据和实时数据送入数据中心,包括口表处理、消息接收处理、数据接收处理、实时数据采集和非结构化文件处理。

    作业调度,实现对结构化数据、非结构化数据和实时数据获取等作业的调度,实现对数据中心内部数据处理流操作(包括ETL、MapReduce、Sqoop等),以及数据推送给各目标系统的作业的统一集中调度。调度实现调度引擎,提供作业的自动、手动调节方式,基于作业依赖配置信息控制作业执行的先后顺序,同时控制作业的并发度,并记录作业的运行结果和日志。

    二、数据存储层:

    包含基于关系数据库的传统数据仓库平台、基于Hadoop生态体系分布式数据平台及流数据平台,用来存放不同性质的数据,并提供不同的数据服务。

    数据仓库平台:采用分层设计,即分为缓冲层、整合层、汇总层和集市层。缓冲层存储的是数据中心从源系统采集的数据,数据缓冲层能够很好的分担源系统批量/实时分发数据的压力,避免了重复获取数据带来的性能压力、版本时差、多次开发、冗余存储等问题,同时也能作为一个给的数据源,一定程度上屏蔽原系统(数据结构、时间窗口等)的变化对数据整合层、汇总层带来的影响。整合层是经过数据清洗、转换、整合后的业务数据,是数据中心的核心数据层,数据整合层是数据中心存储数据的核心层。汇总层存储,根据主题维度形成企业统计、汇总数据;更具主体报表加工需要,形成汇总数据;按主体存储汇总数据,通过日期、主体和处理类型等维度对业务数据进行计算后形成汇总数据存储。数据集市是面向特定业务单元(如业务部门)的分析数据集,数据主要基于整合层、汇总层数据,同时包含支撑目标特有的分析数据。

    分布式数据平台主要保存以下几类数据:在传统关系数据库中难以保存的海量结构化数据、非结构化文档数据、流数据转储数据和关系型数据库的转储数据。按照数据存取需求和分布式平台技术组件的特性,把存储区分为基于HBase的数据存储区和基于Hive的数据存储区。非结构化数据层中存储来自各源系统的非结构化数据,包括办公文档、设计图纸、文本文件、图像文件等。海量结构化数据层中存储来自各源系统的海量结构化数据。流数据转储层中存储来自流数据平台的定期转储数据,协助流数据平台实现实时数据的持久化保存。

    流数据平台包含实时数据整合层、实时数据汇总层和业务缓存层。实时数据整合层:在流数据平台整合层中,为了避免数据源的不一致性,源系统入口端统一采用Socket通信的方式进行交互。由数据中心系统对源系统的Socket进行监听,当源系统有数据产生时,监听程序获得数据,并将监听的数据来源信息写入相应的消息队列中。实时数据汇总层:采用 Storm 以流的方式对整合层消息队列中的源数据进行处理,按照业务需要进行数据的汇总、计算和存储。业务数据缓存层:当 Storm 对流数据进行计算完成后,会根据具体的业务计算逻辑得出数据(架构如图二所示)。

    图二、数据存储层架构图

    三、分析/服务层包含信息综合展示平台、智能分析决策平台和数据服务(如图三所示)。

    信息综合展示平台,以数据存储层为基础,是一个集报表查询、综合分析为一体的应用平台,实现对分析展现页面内容、布局、组件、央视、联动关系等进行动态配置。

    智能分析决策平台功能包含数据加载、数据预处理、数据挖掘算法、分析模型管理及模型运行调度等模块;为数据挖掘过程中数据理解、数据预处理、算法建模、模型评估、模型应用等环节提供技术职称;并针对大数据分析的应用需求,融合大数据挖掘算法库(包括描述性挖掘算法,如聚类分析、关联分析等;预测性算挖掘算法,如分类分析、演化分析、异类分析等;专用数据分析挖掘算法,如文本分析、语音分析、图像分析、视频分析等)。

    数据服务接口实现的主要功能包括数据实时服务、订阅发布、批量数据服务等,并给予告诉缓存功能提升系统的整体性能。

    图三、分析/服务层架构图

    四、数据管理层:由元数据管理、数据质量管理、主数据管理、数据标准管理、作业集中调度监控功能(如图四所示)。

    元数据管理:实现数据中心元数据的快速查找、获取、使用和共享,为数据中心数据共享交换、多维分析、辅助决策、数据挖掘等应用提供元数据支撑。

    数据质量管理:实现数据中心数据的常态化质量稽核,保障业务系统数据接入的及时性、完整性和合规性。

    主数据管理:实现物资、项目、合同等主数据的统一管理、应用和维护,保证物资、项目、合同主数据修改的一致性和稳定性。

    数据标准管理:实现对数据中心标准文档的统一管理。

    作业集中调度监控:实现对数据中心ETL接口作业、大数据作业的统一任务调度管理及监控。

    **图四、管理层架构图**

    随着工程行业的信息化水平不断提高,信息系统已经全面融入到企业生产经营管理业务的各个方面,积累了大量的结构化数据、非结构化数据、地理信息数据和海量实时数据;因此采用基于大数据的企业级数据中心可以弥补传统技术的缺点,解决了传统技术扩展性不强、建设成本高、计算处理及分析挖掘能力有限的缺点,满足企业大数据环境下的全类型数据存储、处理、分析及应用的需求。

    展开全文
  • 一、企业级数据中心应用推广中的弊端  1.电网企业数据中心建设多厂商、多技术形态,导致不同的各类数据分散,难以有统一的操作平台,gbase、SG-RDB(Mysql)、Hadoop、Informatica、等等。  2.企业数据中心建成后...

                                     

    一、企业级数据中心应用推广中的弊端

      1.电网企业数据中心建设多厂商、多技术形态,导致不同的各类数据分散,难以有统一的操作平台,gbase、SG-RDB(Mysql)、Hadoop、Informatica、等等。

      2.企业数据中心建成后,支撑各业务部门开展大数据分析应用建设,每一个业务部门背后都有其固定的厂商支撑信息化建设,比较熟悉对口的业务。

      3.各厂商得技术储备不一样,人员技术能力层次不齐,有的熟悉Oracle、有的熟悉Mysql、鲜有对gbase(大规模并行数据库有了解)、鲜有真正掌握Hadoop生态圈技术人员。或者说惰与接触新的知识体系。

      4.各厂商均有占“坑”的意识,难以通过统一的一套平台推动企业大数据分析应用建设。

      5.各有原由,不会技术、不懂原理、不按照统一规则执行.......,甚至给出了方法、流程,依旧不会,还气质昂扬。

        6.确实存在多端操作问题。操作Gbase数据库通过运维审计平台navicat工具,操作操作系统通过运维审计平台xshell,操作Inforatica需要通过运维审计平台跳转中专机(win虚拟机),需要运行java API操作大数据平台Hbase,似乎现在没有太多的方法,只能通过把写好的代码打成jar包上传大数据平台服务器。

      7.一些项目组人员甚至连客户端和服务端都搞不清楚。

           8.动辄申请各种端口,各种权限等等,凡此种种。这其中有管理上的问题、有各厂商的问题,既需要在现阶段提出解决方案。

           9.以上问题,导致不同的厂商确实很懵逼,需要给大家一个完整的操作环境。以提升整体的体验。但凡是各向进入数据中心建设大数据分析应用的厂商有空杯心态,那么事情或许没有这么复杂。

    二、现阶段的解决办法,建立一套完整的操作环境。

           1.现阶段不具备Docker的情况下,解决问题,做好的办法是建立一套完整的虚拟机模版,包括各类数据库操作客户端,linux系统操作工具、Java开发环境,根据项目需要开通访问端口。

      2.建立完整的权限控制,在该虚拟机上能授权操作的空间可进行操作,不能存储的空间断开运维审计平台侯自动清理,保持该操作机器的干净。

      3.运维审计平台仅仅对该机器进行全程操作监控,不采用运维审计平台上其他功能(如navicat、xshell、PL/Sql)等等

      4.一直强调的数据不出环境,也可以得到保障,通过操作机控制数据往外拷贝。解决原来通过运维审计平台数据库链接工具操作,往外拷贝数据情况。文件只进不出。

      5.通过一下操作方式免去各项目开通端口,掌握部署架构,等一系列问题。

                                                

    三、统一开发操作环境逻辑部署图

      待补充
    四、统一开发操作环境说明

       

        能在一定程度上解决现阶段问题,但核心的矛盾依然存在。

     

    展开全文
  • 3月29日,由中国电子信息产业发展研究院主办,IT运维网及《网络安全和信息化》杂志社承办的“2018(第十届)企业级数据中心建设论坛”在京成功举办。论坛以“AI引领应用感知”为主题,邀请业界专家齐聚现场,与用户...

    3月29日,由中国电子信息产业发展研究院主办,IT运维网及《网络安全和信息化》杂志社承办的“2018(第十届)企业级数据中心建设论坛”在京成功举办。论坛以“AI引领应用感知”为主题,邀请业界专家齐聚现场,与用户一起,共同探讨人工智能、边缘计算等新型技术下企业级数据中心的应用之道。智恒科技技术总监杨峰在会上为大家带来了主题为“数据中心安全防护建设策略”的演讲。

     

    智恒科技杨峰在大会上演讲

    会上,IT运维网评出“2018企业级数据中心建设十大用户信赖品牌”。本次评选是基于IT运维网对近50万企业用户调查,最后经由专家的评审产生。智恒科技在此次评选中荣获“2018企业级数据中心建设十大用户信赖品牌”

    展开全文
  • 一、企业级数据中心应用推广中的弊端  1.电网企业数据中心建设多厂商、多技术形态,导致不同的各类数据分散,难以有统一的操作平台,gbase、SG-RDB(Mysql)、Hadoop、Informatica、等等。  2.企业数据中心建成...

                                     

    一、企业级数据中心应用推广中的弊端

      1.电网企业数据中心建设多厂商、多技术形态,导致不同的各类数据分散,难以有统一的操作平台,gbase、SG-RDB(Mysql)、Hadoop、Informatica、等等。

      2.企业数据中心建成后,支撑各业务部门开展大数据分析应用建设,每一个业务部门背后都有其固定的厂商支撑信息化建设,比较熟悉对口的业务。

      3.各厂商得技术储备不一样,人员技术能力层次不齐,有的熟悉Oracle、有的熟悉Mysql、鲜有对gbase(大规模并行数据库有了解)、鲜有真正掌握Hadoop生态圈技术人员。或者说惰与接触新的知识体系。

      4.各厂商均有占“坑”的意识,难以通过统一的一套平台推动企业大数据分析应用建设。

      5.各有原由,不会技术、不懂原理、不按照统一规则执行.......,甚至给出了方法、流程,依旧不会,还气质昂扬。

        6.确实存在多端操作问题。操作Gbase数据库通过运维审计平台navicat工具,操作操作系统通过运维审计平台xshell,操作Inforatica需要通过运维审计平台跳转中专机(win虚拟机),需要运行java API操作大数据平台Hbase,似乎现在没有太多的方法,只能通过把写好的代码打成jar包上传大数据平台服务器。

      7.一些项目组人员甚至连客户端和服务端都搞不清楚。

           8.动辄申请各种端口,各种权限等等,凡此种种。这其中有管理上的问题、有各厂商的问题,既需要在现阶段提出解决方案。

           9.以上问题,导致不同的厂商确实很懵逼,需要给大家一个完整的操作环境。以提升整体的体验。但凡是各向进入数据中心建设大数据分析应用的厂商有空杯心态,那么事情或许没有这么复杂。

    二、现阶段的解决办法,建立一套完整的操作环境。

           1.现阶段不具备Docker的情况下,解决问题,做好的办法是建立一套完整的虚拟机模版,包括各类数据库操作客户端,linux系统操作工具、Java开发环境,根据项目需要开通访问端口。

      2.建立完整的权限控制,在该虚拟机上能授权操作的空间可进行操作,不能存储的空间断开运维审计平台侯自动清理,保持该操作机器的干净。

      3.运维审计平台仅仅对该机器进行全程操作监控,不采用运维审计平台上其他功能(如navicat、xshell、PL/Sql)等等

      4.一直强调的数据不出环境,也可以得到保障,通过操作机控制数据往外拷贝。解决原来通过运维审计平台数据库链接工具操作,往外拷贝数据情况。文件只进不出。

      5.通过一下操作方式免去各项目开通端口,掌握部署架构,等一系列问题。

                                                

    三、统一开发操作环境逻辑部署图

      待补充
    四、统一开发操作环境说明

       

        能在一定程度上解决现阶段问题,但核心的矛盾依然存在。

     

    转载于:https://www.cnblogs.com/fameg/p/9960420.html

    展开全文
  • 摘 要:新型数据中心引入SDN(软件定义网络)和虚拟化网络后面临诸多新型安全威胁,针对3类主要的安全威胁提出了安全防护的3个阶段,有效解决了新型网络的特有问题和现有安全产品缺陷,并针对目前安全难以适应的业务...
  • 3月31日,由中国电子信息产业发展研究院(赛迪集团),《网络运维与管理》杂志社主办的2016(第八届)企业级数据中心建设论坛,在北京新世纪日航酒店隆重举行。它已经成了中国数据中心领域一年一度的行业盛会。来自...
  • 如Gartner所述,未来五年内的数据中心将面临大幅度改变,改变的方向即是“新一代数据中心”,也即IBM目前所提倡的“新企业级数据中心”。根据IBM的观点,这需要历经三个阶段,即:简化、共享和动态调配。 1968年,...
  • 随着信息化的快速发展,企业数据中心的硬件设备不断增加,数据量呈现爆炸式增长,业务系统对存储容量的要求越来越大。但由于历史原因,很多企业在存储管理上面临着这种困境:不同厂商的硬件和软件产品共存运行,且彼此不能...
  • 作者:计世资讯(CCW Research) 沈韶恂 计世资讯 (CCW Research) 《2006年企业级数据中心IT应用与趋势研究报告》认为,2007年政府将超越金融和电信行业,成为企业级数据中心最大的行业市场。政府和金融、电信行业在...
  • 企业级数据中心架构 数据仓库的整体架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成...
  • 包括模块化、自然冷却、高压直流供电、市电直供、风墙制冷、分布式电源等应用案例在市场大量出现,提升了数据中心行业的技术水平,受这些成功案例的影响,不少企业也跃跃欲试。 不过,由于对新技术不了解和企业业务...
  • 1、高力国际:对整个数据中心的政策和市场做了一个总体介绍,由于是第一个嘉宾,语速特别快,好在通俗易懂,感觉数据中心的选择与房地产也有关系; 2、数据港:讲的不错,记忆比较深刻的就是静默式液冷技术,包括...
  • IBM全新企业级数据中心转型方案建议书 近几年来,仅与服务器增长相关的能源成本已从不到IT预算的10%增长到IT预算的30%... 更多 转载于:https://my.oschina.net/u/856019/blog/109533
  • 而大量的意外事件,如存储、网络、外界因素电网、病毒灾难等处界因素、应用系统内部容错措施失效等原因都将会导致应用系统的数据丢失、业务中断,势必造成巨大的经济损失。 为此在存储项目中建设一套高效、可靠、...
  • 台湾,台北(2012年12月10日)–全球数字信息分享领导厂商–宏正自动科技(ATEN International,6277) 今日发布最畅销企业级KVM解决方案产品线。KM0932/KM0532多组控制端32-端口矩阵式KVM多电脑切换器专为现代的数据...
  • 全球整合将企业置于极为复杂的运营环境中。这一点从接受IBM 2010年CEO调查——“利用复杂性:全球首席执行官调查之启示” 1 的1,500名首席执行官及其他领导人的回答中显而易见。
  • 思科和Panduit协作探索出了新一代的企业数据中心拓扑,为高性能、灵活、易于扩展且稳定可靠的数据中心设计提供了设计准则。其中,Panduit:registered: Net-Access:trade_mark:交换机机柜为机柜提供了安全性和美观性...
  • 然而对于大部分中小型企业来说,自建数据中心工程浩大,除了要付出高额的建设和运营成本外,还需要专业的IT技术人员和数据中心场地等资源。面对IT部署的刚性需求与企业TCO成本的平衡,我们该如何选择? ...
  • “绿色能源”成为今年热议的一个话题,IT经理们面对着缩减存储占地空间和降低数据中心能耗的巨大压力,在今年开源继续紧缩的情况下已经有迹象表明闪存开始进入到企业级领域中来。 “绿色能源”成为今年热议的一个...
  • 企业级灾备中心数据恢复

    千次阅读 2014-08-24 16:21:07
    数据中心的容灾备份和业务连续对公司来说有多重要?我们来看看国外在这方面的一些统计吧:金融业在灾难停机两天内所受损失为日营业额的50%;... 实施数据中心的容灾备份,是企业业务持续运作的要求、同时也
  • 而对企业来说,要想在瞬息万变的市场竞争中立于不败之地,就需要灵活应对并及时响应市场的发展。因此,对于那些渴望成功的企业来说,拥有快速捕捉市场改变的能力,并在第一时间调整运营策略就显得尤为重要。 然而在....
  • 在IDF 2010英特尔信息技术峰会上,英特尔IT策略、架构和创新部门总裁兼首席架构师——Gregg Wyant和英特尔IT工程计算部门首席工程师——Shesha ...大家分享了英特尔企业级数据中心领域的部署及高性能计算的应用情况等...
  • 美光科技有限公司今天推出了美光5100 ...美光科技的 5100 系列企业级 SATA 固态硬盘让 IT 人员能够轻松进行迁移,完善基础设施,为迎接未来的全闪存数据中心做好准备。 5100 系列拥有业界领先的 8 太字节 (TB) 容...
  • 近日“2017大数据产业峰会”在北京盛大召开,在此次大会上,联想大数据企业级分析平台(LEAP)正式获得了数据中心联盟的认证,这意味着联想大数据平台的功能、运维、多租户、可用性、安全性、兼容性、扩展性等7项指标...
  • 数据中心按照服务对象的不同,可以分为企业数据...企业数据中心的服务器可以自己,也可以从电信机房中租用,运营维护的方式也很自由,既可以由企业内部的IT部门负责运营维护,也可外包给专业的IT公司运营维护。 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,020
精华内容 808
关键字:

企业级数据中心