精华内容
下载资源
问答
  • 数据接口标准规范

    万次阅读 2019-08-09 16:24:21
    接口规范定义了与其他系统进行数据交换的数据规范和报文规范。 2 规范性引用文件 下列文件中的条款通过本标准的引用而成为本部分的条款。凡是注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均...

    1 范围
    接口规范定义了与其他系统进行数据交换的数据规范和报文规范。
    2 规范性引用文件
    下列文件中的条款通过本标准的引用而成为本部分的条款。凡是注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本部分,然而,鼓励根据本部分达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件,其最新版本适用于本部分。
    GB/T 1.1 标准化工作导则 第1 部分:标准的结构和编写
    GB/T 35778—2017 企业标准化工作 指南
    GB/T 5271.8-2001 信息技术 词汇 第8部分:安全
    GB/T 18811-2002 电子商务基本术语
    DL/T 485—2018 电力企业标准体系表编制导则
    DL/T 800—2018 电力企业标准编写导则
    DL/T 1004 电力企业管理体系整合导则
    3 接口服务描述规范
    3.1 概述
    接口服务描述是业务服务的集中描述,包含其提供的功能以及如何进行调用;是在电力安全系统发布的服务提供方和服务调用方之间的规约。接口服务描述必须包含对各个方面的人员有意义并可理解的信息,接口服务描述要包含概要和详细服务信息,使用平台/技术实现无关的语言进行描述以业务为导向。
    接口服务描述主要由2部分组成:接口服务属性和接口服务规约。
    3.2 接口服务属性
    接口服务属性是业务接口服务的描述,它提供组织和性能相关要求,是接口服务提供方和接口服务消费方之间服务协议的依据。定义一个接口服务应该包含的属性如下所示:
     服务编码(必选):能体现出接口服务的业务含义的唯一识别编码,应遵循统一的编码规则,具体定义请参考交易服务代码规范;
     接口服务中文名称(必选):能体现接口服务的意义,简单概括,应少于30个汉字;
     接口服务描述(必选):清晰描述接口服务的业务功能;
     服务提供方(必选):提供此接口服务的业务系统;
     服务消费方(可选):可能会使用到此接口服务的业务系统;
     服务等级(必选):分为紧急、普通和低级;
     报文XSD文件名:指请求报文XSD文件名和响应报文XSD文件名;
     数据量(必选):运行期间单次访问的数据量均值和范围,比如均值为200K,范围:100K-300K;
     运行效率(可选):单次访问的响应时间均值和范围;
     支持并发(可选):此接口可支持的并发访问量;
     是否可重(可选):接口是否能被多次重试调用;
     超时说明(必选):提供超时时间及其说明。
     返回码说明(必选):业务上需提供返回码和返回信息给服务消费方。
     技术方式(必选):明确此接口的技术方式,其技术方式必须为《电力安全系统接入规范》中规定的技术方式;
     调用说明(必选):提供调用此接口服务的必要条件。根据《应用平台接入规范》中定义的接入技术方式:
    (1)Web Service:WSDL文件或者WSDL地址;
    (2)EJB:EJB访问地址,链接用户名/密码,JNDI名称,EJB的jar文件;
    (3)JMS:请求和返回结构的定义文件,JMS链接地址,Queue或者Topic的JNDI 名字。例如:jms//hostname:port/ConnectFactory/ObjectJNDI。
     安全要求(必选):描述此接口服务的安全要求。
    按照接口服务定义规范生成的《接口服务列表模板》文档,各系统可参考此文档定义并提交接口。
     接口服务调用权限(必选):描述此接口服务的调用权限。
     描述该接口可以被哪些系统调用,即服务的调用权限。
    3.3 接口服务规约
    接口服务规约是接口及参数的技术描述,定义所有绑定和传输信息,以及所有支持的操作及相关输入、输出的格式,EJB或JMS等以XSD格式描述;而Web service协议通常以WSDL形式存在,被称为服务WSDL。接口服务规约包含:详细接口服务操作描述、数据类型、消息格式和结构、绑定的传输协议和服务的位置。
    4 接口服务实现规范
    4.1 设计规范
     接口服务命名要遵循一致的服务命名规范,参见下一章;
     接口服务应该遵守统一的报文规范,参见下一章;
     接口服务为了重用可以适当提高接口的颗粒度;
     接口服务的设计和定义应该与接口的实现分阶段进行;
     接口服务中传输的报文要求都是经过校验的,符合业务规则的,否则不符合报文会被返回;
     接口服务应充分考虑到扩展性,例如-在定义数据结构时多个字段封装为一个可扩展的对象;
     接口服务应尽可能通用,对于同一业务对象,应避免为不同系统开发不同接口服务。
    4.2 检查规范
    接口服务抽取后要对服务的交互进行检查,通过此检查来发现该接口服务是否合理。以下列出的是对接口服务进行检查的指导性原则,这些原则在运用的时候可以根据具体的项目情况进行裁减和选择。
     业务服务能否可以被一个以上的流程使用;
     业务服务是否是灵活和完整的;
     业务服务是否是与业务相关、有业务含义并被业务人员所能理解的;
     该服务在多大程度上依赖于其它业务服务;
     该服务是否是无状态的服务;
     该服务的描述是否和其它服务的描述相冲突;
     是否没有类似或重复的服务存在。
    5 报文规范
    5.1 报文组织格式
    报文在组织形式上划分为技术报文和业务报文两个部分,目的是将一些技术控制信息与业务信息分离开来,一方面可使逻辑上更加清晰,一方面可以提高系统处理的效率。
    根据应用集成标准的要求,为使不同应用系统能够直接有效的进行集成,电力安全系统主要使用XML格式报文。无论在何种传输协议上,如EJB、Web Service、JMS、MQ、FTP等,不同系统之间面对的报文格式需要尽量统一,提高处理的效率。同时为了保障EJB集成的高效,电力安全系统同时提供EJB协议下的标准开放的JavaBean对象格式报文。无论是XML格式还是JavaBean对象格式,只是报文数据的表现形式不同,要求这2者在语义上必须等价。
    5.2 业务报文
    业务报文表达了业务服务的业务语义,包含业务逻辑所需要的业务属性。
    业务报文包括业务请求报文和业务响应报文,对应业务服务的输入参数和输出参数。电力安全系统需要能够根据要求配置这些服务参数是否进行业务语义上的校验,需要能够按照标准通用开放的形式定义业务报文格式及其效验格式。具体定义分别参见下面的XML报文和JavaBean报文中的业务报文规范。
    5.3 XML报文规范
    采用XML方式来传输接口数据,XML报文满足通用性和扩展性原则,能满足业务的各种需要,而且方便开发人员应对不断变化的业务需求,方便新交易的开发。

    1. XML报文结构
      XML从报文结构上体现技术报文和业务报文,如下图:

     service为技术报文根节点;
     head为技术报文头信息;
     body节点为报文体,业务报文填写在此节点中。
    XML的结构是以XSD形式定义,需配套提供技术报文和业务报文的XSD定义,具体见下面2个章节。
    2. 技术报文及XSD
    技术报文的定义结构如下:

    技术报文对应的XSD格式定义如下:

    <?xml version="1.0" encoding="UTF-8"?>

    <xs:schema xmlns:xs=“http://www.w3.org/2001/XMLSchema” xmlns=“http://www.chinatax.gov.cn/spec/” targetNamespace=“http://www.chinatax.gov.cn/spec/” elementFormDefault=“qualified” attributeFormDefault=“unqualified”>
    <xs:complexType name=“headType”>
    xs:sequence
    <xs:element name=“tran_id” nillable=“false”>
    xs:annotation
    xs:documentation交易服务ID</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”/>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“channel_id”>
    xs:annotation
    xs:documentation渠道ID</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“100”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“tran_seq”>
    xs:annotation
    xs:documentation交易流水号</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“32”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“tran_date”>
    xs:annotation
    xs:documentation交易日期</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“8”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“tran_time”>
    xs:annotation
    xs:documentation交易时间</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“9”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“rtn_code” minOccurs=“0”>
    xs:annotation
    xs:documentation交易返回代码</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“1”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“rtn_msg” type=“RtnMsg” minOccurs=“0”/>
    <xs:element name=“file_path” minOccurs=“0”>
    xs:annotation
    xs:documentation文件路径</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:maxLength value=“512”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“serv_version” minOccurs=“0”>
    xs:annotation
    xs:documentation服务版本号</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:maxLength value=“10”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“expand” type=“paramListType” minOccurs=“0” maxOccurs=“unbounded”/>
    </xs:sequence>
    </xs:complexType>
    <xs:complexType name=“paramListType”>
    xs:annotation
    xs:documentation参数列表类型</xs:documentation>
    </xs:annotation>
    <xs:sequence minOccurs=“0”>
    <xs:element name=“name”>
    xs:annotation
    xs:documentation参数属性名</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”/>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“value”>
    xs:annotation
    xs:documentation参数值</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”/>
    </xs:simpleType>
    </xs:element>
    </xs:sequence>
    </xs:complexType>
    <xs:complexType name=“RtnMsg”>
    xs:annotation
    xs:documentation返回信息</xs:documentation>
    </xs:annotation>
    xs:sequence
    <xs:element name=“Code”>
    xs:annotation
    xs:documentation返回码小类代码</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”>
    <xs:length value=“3”/>
    </xs:restriction>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“Message”>
    xs:annotation
    xs:documentation返回信息</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”/>
    </xs:simpleType>
    </xs:element>
    <xs:element name=“Reason”>
    xs:annotation
    xs:documentation原因及处理办法</xs:documentation>
    </xs:annotation>
    xs:simpleType
    <xs:restriction base=“xs:string”/>
    </xs:simpleType>
    </xs:element>
    </xs:sequence>
    </xs:complexType>
    <xs:element name=“service”>
    xs:annotation
    xs:documentation根节点</xs:documentation>
    </xs:annotation>
    xs:complexType
    xs:sequence
    <xs:element name=“head” type=“headType”/>
    <xs:element name=“body” type=“xs:string”>
    xs:annotation
    xs:documentation报文体</xs:documentation>
    </xs:annotation>
    </xs:element>
    </xs:sequence>
    </xs:complexType>
    </xs:element>
    </xs:schema>
    3. 业务报文及XSD
    业务报文包含请求报文和响应报文,是描述业务服务输入输出的关键结构,在语义描述上必须明确唯一,这是服务数据描述的业务关键内容。请求报文XSD和响应报文XSD定义将会在电力安全系统上进行管理,可以根据需要对传输的报文进行XSD格式的业务语义效验。其定义规范要求及XSD定义请参考下一章的业务报文定义规范。
    在对XML内容传输时,对于统一入口参数的,将技术报文和业务报文组装成一个报文进行传递,为了避免电力安全系统或某些场景对业务报文的不必要解释处理,把业务报文内容放置在“body”节点的<![CDATA[]]>内包裹以提高系统效率,根据W3C组织标准,CDATA关键字内部的XML报文是不会被XML解析器解析。例如:<![CDATA[业务报文内容]]>。
    而对于EJB或Web Service的多入口访问,技术报文和业务报文是分别2个参数传递,则业务报文内容不使用<![CDATA[]]>包裹,直接将技术报文XML和业务报文XML进行传递。
    4. 扩展报文编写方法
    扩展属性放在技术报文的expand节点中,每增加一个扩展属性,则需要增加一个expand节点,如下身份密码、人员和机关有3个扩展expand节点并行编写。

    identityType
    4432b7c8a61243f0a62813f01e47a1bb


    sjry
    24406060733


    sjjg
    14406820018

    5. XML报文示例

    <?xml version="1.0" encoding="UTF-8"?> SWZJ.HXZG.SB.CXSPHM GDGS.ZJNB.HXQD eea4ff11269045068f421dd3d654804e 20120416 083231475 identityType 4432b7c8a61243f0a62813f01e47a1bb sjry 24406060733 sjjg 24406820018 <![CDATA[<?xml version="1.0" encoding="UTF-8"?>aaaaaaaaaaaStringStringString]]>

    5.4 JavaBean对象报文规范

    1. JavaBean对象定义要求
      JavaBean对象报文是XML格式的对象表达形式,包括技术报文对象和业务报文对象。其在语义上等价于XML报文,使用Java平台语言定义,是POJO对象,不能依赖于某个私有框架,应具有通用性和开放性。
      对象报文包含涉及到的所有对象(技术报文对象和业务报文对象)及其子对象都必须实现序列化接口Serializable,同时都需要显示的定义serialVersionUID以解决序列化兼容问题。这些对象的定义应只包含与本业务服务相关的属性,不能包含与后台处理相关的属性。
    2. 技术报文对象定义
      技术报文对象包含报文根对象、报文头对象、报文体对象,等价于XML报文的技术报文XSD定义。
      报文根对象包含2个对象属性即报文头对象和报文体对象。
      报文头对象包含交易服务、渠道系统、交易流水、交易日期和时间等简单属性;如果有扩展属性,则需要有扩展对象集合,以key/value形式展现;对于交易服务的返回,则还需要包含返回对象,包含交易返回码以及交易失败时的错误原因信息。
      报文体对象则是业务报文对象的展现形式,需要通过序列化二进制形式作为报文体对象的属性,这是为了避免电力安全系统对其中的业务报文对象的序列化反序列化,提高系统的处理效率和避免业务报文对象依赖的部署发布影响。业务报文对象定义则具体参见下一节。
    3. 业务报文对象定义
      业务报文对象是业务服务的输入输出参数对象,包含请求报文对象和响应报文对象,分别等价于业务请求报文XSD定义和响应报文XSD定义,XSD定义规范要求请参考下一章的业务报文XSD定义规范。
      考虑到业务报文对象及其结构关系和数据类型的多样性及复杂性,以及对象与XSD之间和XML之间转换以及语义效验的通用标准性,建议业务报文对象遵守业界公开普及的JSR 222标准规范,该规范已经作为Java6内置标准OXM规范,采用Java6内置的JAXB工具即可实现XSD/XML和对象之间的正向反向转换映射。
      6 业务报文XSD定义规范
      6.1 元数据和数据元的要求
      元数据规范要求,同一个业务含义的字段在各个系统中命名要保持一致。数据元需要遵循的数据元规范,数据元公共报文名为TaxMLpublic.xsd,供所有业务报文引用。
      6.2 业务报文分类
      业务报文从不同角度存在多种分类方式:
    4. 从交易过程分:请求报文、响应报文和非交易报文(消息类报文)。
    5. 从交易类型分:提交类报文和查询类报文和校验类报文。
    6. 从报文内容分:表单类报文和非表单类报文。
      6.3 业务报文XSD文件命名
      电力安全系统业务报文XSD文件命名定义为多级字符串,总层级结构为六级,可包括大写字母和数字,各级间通过“_”进行相连。对于统一的业务服务,业务报文XSD文件命名由统一制定;对于其他自行增加的非统一的业务报文,可按照下述规范制定文件命名规范,,但总层级结构不能超过六级,总长度不能超过100位字符。
    7. 业务报文XSD命名规范第一级
      1、所有业务报文文件均以“TaxMLBw”作为命名前缀,其中TaxML做为行业标准要求,Bw为报文的简称。
      2、表单类业务报文编制时,每一张表单对应一个表单类业务报文,如果是依附于主表存在的附表报文,定义报文时要与主表业务报文放在同一目录下,其命名规范如下:
      TaxMLBd_表证单书编号_版本号
      3、表证单书编号详见GxB政务信息系统建设项目工程《代码集》。
    8. 业务报文XSD命名规范第二级(系统标识)
      参见本文5.2.2.2章节 服务命名规范(系统标识)
    9. 业务报文XSD命名规范第三级(主题类型)
      参见本文5.2.2.3章节 服务命名规范(主题类型)
    10. 业务报文XSD命名规范第四级(服务序号)
      服务序号采用5位数值型标识,初始值为00001,顺序累加1,服务序号一经使用,不得更改。
    11. 业务报文XSD命名规范第五级
      所有请求报文都以“Request”作为标识;所有响应报文都以“Response”作为标识;
    12. 业务报文XSD命名规范第六级(版本号)
      所有版本号前缀采用大写字母“V”标识,版本号采用两位数值型,中间使用字符串“.”进行连接,初始值为1.0,数序,如XSD报文有版本变更或升级,版本号顺序累加0.1。
    13. 业务报文XSD命名示例
      以GxB政务信息系统建设项目核心征管系统消费申报事前监控及获取期初数据业务报文为例,其XSD业务报文命名为:
      请求报文:TaxMLBw_HXZG_SB_00001_Request_V1.0.xsd
      响应报文:TaxMLBw_HXZG_SB_00001_Response_V1.0.xsd
      6.4 业务报文XSD编制
    14. 基本原则
       业务报文编制时,对于已存在数据元或聚合数据元的部分,应该引用数据元或聚合数据元;
       在满足交换需求的前提下,尽可能利用已有的数据集合或业务报文,避免重复编制;
       所有业务报文都需要包含(include)TaxMLpublic.xsd文件,从中引用数据元;
       业务报文的第一层结构中,只能使用“复杂类型”(complexType),不得使用“element”、“group”等其他类型;
       所有数据集合之下只能存在一层结构,若需要嵌套多层结构,必须抽象成多个数据集合(complexType),再进行引用。
    15. 业务报文的前导说明
    16. 字符集:encoding属性值为“UTF-8”。
    17. 命名空间:依据SW/T XX—201X《基于XML的数据交换格式设计规则》,
      XML的命名空间定义为:http://www.chinatax.gov.cn/dataspec/。
    18. 前导说明示例:参照《SW/T XX—201X基于XML的数据交换格式设计规则》,如:
    <?xml version=”1.0” encoding=”UTF-8”?>

    <xs:schema xmlns:xs=”http://www.W3C.org/2001/XMLSchema”
    targetNamespace=”http://www.chinatax.gov.cn/dataspec/”
    xmlns=”http://www.chinatax.gov.cn/dataspec/”>
    应在前导说明部分以注释的形式说明以下内容:
    ——数据交换格式的名称;
    ——数据交换格式的版本;
    ——XML模式编写单位或编写人;
    ——XML模式完成时间。
    3. 表单类业务报文
    按照通常的表单样式,表单类业务报文通常存在几个数据集合:
     “xx表单业务报文”:这是表单类业务报文的根元素数据集合,命名通常为“表单名称”+“Ywbw”,此集合下只添加一个元素,这个元素引用“xx表单”集合;
     “xx表单”:这是实际的业务表单内容,包括表头和表体集合;
     表头:对应表单上除表体具体内容外的通用类信息,例如编制方、时间等等;
     表体:对应表单上各行、列等具体内容。
    表单中业务含义明确的集合可以抽取为数据集合。
    例如,所有申报表业务报文的“表头”中都应使用聚合数据元中的“申报表公共表头”(SBBHead),若在该集合之外表单上还有其他的表头信息,应将其他的表头信息组成一个“私有表头”集合,与“公共表头”组合成为该申报表的“表头”集合。
    申报表业务报文中的“xx申报表”集合中,除表头和表体之外,可增加一个可空的“预留:附属表体”(BodyAffix)元素,类型设置为“xs:anySimpleType”。
    申报表表体的编制依据表样可横向抽取明细信息或纵向抽取表列信息。
    一般来说,在编制申报表的标准时,也会同时编制申报表提交和申报表明细查询的接口,这两类接口都有固定的请求、响应报文模式,申报表提交的请求报文和申报表明细查询的响应报文都应直接引用申报表表单业务报文进行编制。
    4. 非表单类业务报文
    非表单类业务报文可根据实际的数据交换需求内容编制,其中存在多行重复的内容可抽取为数据集合。编制中应尽量使用聚合数据元。

    展开全文
  • 政府大数据平台标准规范-数据接入

    千次阅读 2020-03-15 14:53:43
    搞政府大数据平台的,标准规范是一个绕不过去的内容,而且政府项目对标准规范貌似都特别看重,这是与做企业项目很大的不同。政府大数据平台的标准规范可以从以下几个方面制订: 数据采集,包括结构化、非结构化数据...

    搞政府大数据平台的,标准规范是一个绕不过去的内容,而且政府项目对标准规范貌似都特别看重,这是与做企业项目很大的不同。政府大数据平台的标准规范可以从以下几个方面制订:

    • 数据接入,包括结构化、非结构化数据,以及实时、批量数据的接入汇聚;
    • 数据治理,包括数据质量、数据清洗融合、数据模型设计等;
    • 数据服务,主要是对应用、委办局的数据支撑,包括数据文件、API接口等;
    • 数据安全,此处主要是通过数据脱敏、数据加密等手段对数据加工过程的各环节的安全保护。

    那么,具体到大数据平台项目,标准规范应该写点什么呢?之前阅读了不少关于大数据平台、信息系统的国家标准、地方标准等,同时结合与客户的讨论,我认为在数据接入方面,标准规范可以从以下几个方面编写:

    • 标准规范的阅读对象应该包括大数据平台的技术人员、提供数据的各委办局等;
    • 大数据平台支持的数据接入类型,目前我所在的项目包括共享交换接入、业务系统库表接入、文件格式接入、API接口接入等这几类。在标准规范中要从总体上描述清楚这几种接入类型的区别及适用场景;
    • 工作流程相关的模板,比如,对于库表接入时,需要提供给委办局的相关人员,模板中包括了需要对方提供的文件列表、填写的对接参数等,这些模板可以指导相关的技术人员高效准确地收集到数据对接所需要的信息;
    • 平台的技术接口,不同数据接入类型在实现对接时需要遵循的技术接口,在标准规范中可以详细列出,比如,库表接入需要开放的权限、文件格式所支持的格式及要求具备的内容、API接口的列表等。

    以上是我能想到的对于数据采集标规范可以写的内容。
    欢迎加入QQ群进行更多交流:958911138

    展开全文
  • 数据中心机房建设标准规范

    千次阅读 2018-10-23 14:21:10
    1、 数据中心机房建设规范的范围数据中心机房建设规范标准给出了数据中心机房的建设要求,包括数据中心机房分级与性能要求,机房位置选择及设备布置,环境要求,建筑与结构、空气...
        

    640?wx_fmt=gif

     1、 数据中心机房建设规范的范围

    数据中心机房建设规范标准给出了数据中心机房的建设要求,包括数据中心机房分级与性能要求,机房位置选择及设备布置,环境要求,建筑与结构、空气调节、电气技术,电磁屏蔽、机房布线、机房监控与安全防范,给水排水、消防的技术要求。

    640?wx_fmt=jpeg

    2、 术语和定义

    ① 数据中心 data center

    容纳机房及其支持区域的一个建筑物或一个建筑物的一部分。

    ② 总部级数据中心机房 headquarters-level data center room

    由总部统一规划建设,主要承载总部统一建设,集中部署的信息系统和灾难恢复信息系统的机房

    ③ 区域级数据中心机房 regional data center room

    由总部统一规划建设,主要承载本区域各企事业单位和分支机构接入中国石油骨干网络,承载总部统一建设、分布部署的信息系统的机房。

    ④ 企事业单位级数据中心机房 local data center room

    由各企事业单位自行建设,承载本单位内部信息系统运行和网络接入的机房。

    ⑤ A 级数据中心机房 class A data center room

    按容错系统配置,在系统运行期间,其场地设施不应因为操作失误,设备故障,外电源中断,维护和检修而导致信息系统运行中断。

    ⑥ B 级数据中心机房 class B data center room

    按冗余要求配置,在系统运行期间,其场地在冗余能力范围内,不应因设备故障而导致信息系统运行中断。

    ⑦ C 级数据中心机房 class C data center room

    按基本需求配置,在场地设施正常运行情况下,应保证信息系统运行不中断。

    3、 数据中心机房分级

    分级要求

    根据信息系统使用性质、管理要求及由于场地设备故障导致运行中断对生产、经营和公共秩序造成的损失或影响程度,将数据中心机房划分为A、B、C三级。

    在异地建立的备份机房,设计时应与主机房等级相同。

    同一个机房内的不同部分可根据实际情况,按照不同的标准进行设计。

    • A 级数据中心机房

    符合下列情况之一的数据中心机房应为A级:

    a. 信息系统运行中断将造成中国石油重大的经济损失。

    b. 信息系统运行中断将对中国石油业务、公共秩序造成重大影响。

    总部级数据中心机房宜建设成A级。

    • B 级数据中心机房

    符合下列情况之一的数据中心机房应为B级:

    a. 信息系统运行中断将造成中国石油较大的经济损失。

    b. 信息系统运行中断将对中国石油业务、公共秩序造成较大影响。

    区域级数据中心机房、区域网络中心机房和企事业单位级数据中心机房宜建设成B级。

    • C 级数据中心机房

    不属于A级或B级的数据中心机房应为C级。

    3、数据中心机房分级内容

    640?wx_fmt=jpeg

    4、 机房位置及设备布置

    4.1机房选址原则

    根据《电子信息系统机房设计规范》要求,机房位置选择应符合以下要求:

    ►远离水灾和火灾隐患区域;

    ►远离强振源和强噪声源;

    ► 远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的工厂、仓库、堆场等;

    ► 避开强电磁场干扰;

    ►多层或高层建筑物内的主机房不应选在建筑物的地下底层;

    ►水源充足,电力比较稳定可靠,交通通信方便,自然环境清洁;

    4.2 机房组成

    机房功能区组成及其使用面积计算,按照《电子信息系统机房设计规范》中的有关规定。

    4.3设备布置

    机房环境除必须满足计算机设备对温度、湿度和空气洁净度,供电电源的质量(电压、频率和稳定性等),接地地线,电磁场和振动等项的技术要求外,还必须满足在机房中工作的人员对照明度、空气的新鲜度和流动速度、噪声的要求。

    640?wx_fmt=jpeg


    设备布放的一般原则

    • 承重安全:电池组一般需要布放在横梁上方,要是没有横梁就要选择容量小的电池组合地板承重能力大的房间作为机房;

    • 维护方便:要充分考虑设备的安装、维护、运输等因素;

    • 布局美观:设备列要求安装整齐,以方便动力环境监控系统发挥作用;

    • 走线方便:设备布局要考虑走线的方便与路由最短。

    附:机房设施图例

    640?wx_fmt=jpeg

    5、 数据中心机房子系统

    5.1 照明系统

    机房照明及应急照明系统

    ♦ 主机房按《电子计算机机房设计规范》要求,照度为400Lx;

    ♦ 电源室及其它辅助功能间照度不小于300Lx;

    ♦ 在机房各处安装了疏散指示灯、安全出口标志灯,照度大于1Lx;

    ♦ 机房内、走廊、楼梯口装有应急备用照明灯,照度不小于30Lx。

    5.2 接地系统

    ►机房接地形式为机房专用直流逻辑地,设一组新的接地极,接地电阻小于1Ω;

    ►机房配电系统的交流工作地、安全保护地采用建筑物本体综合接地(其电阻小于4Ω)。

    5.3防雷系统

    大楼沿低压线路进户的传导直击雷是不大可能的。中心机房内设备主要需要进行直接雷击引起的电阻耦合方式(地电位反击)的防护、以及附近高层建筑落雷时造成的电感性、电容性耦合干扰的防护。

    1 .等电位接地的处理

    接地是避雷技术最重要的环节,而且小型机以上的计算机系统对接地要求也很高,其接地地阻通常要求小于1欧姆以下。但对于避雷技术来说,地阻小于4欧姆即可。应将避雷接地、电器安全接地、交流地、直流接地统一为一个接地装置,避免不同的地之间产生反击。

    2.电源部分防雷设计

    根据雷电流大、防雷器存在残压及设备耐冲击水平低的特性,应遵循多级保护,层层泻能的原则,选择安装避雷器,进行电源线路的过压保护。

    3.信号系统的防雷设计

    机房的数据通信线路有以太网双绞线、DDN专线、光纤线路以及电话线备份线路,必须对进出机房的的所有通信线路进行防雷处理,才能保护机房的安全。

    5.4 空调系统

    机房室内环境参数

    夏季:温度23±2℃,相对湿度50%

    冬季:温度20±2℃,相对湿度50%

    机房共采用模块化精密空调,采取下送风、上回风的送风方式达到恒温恒湿的目的。

    空调系统

    640?wx_fmt=jpeg


    5.5监控系统

    在公共区域和出入口处、机房内机架间、核心机房、控制中心、动力机房,楼梯与走廊,楼梯等均装有摄象机,进行7×24全方位监控录像。

    专业人员24×7×365小时机房随时巡视。

    5.6布线系统

    现代的建筑物,其楼内信息传输通道系统(布线系统)已不仅仅要求能支持一般的语音传输,还应能够支持多种计算机网络协议及多种厂商设备的信息互连,可适应各种灵活的、容错的组网方案;同时由于新技术、新产品不断出现,传输线路要能够在若干年里适应发展的需要。因此建立一套能够全面支持各种系统应用如通信网络中心、数据处理中心,本身又具有开放、兼容、可靠性高、实用性强、易于管理、具有先进性、面向未来的综合布线系统,对于现代化建筑是必不可少的。

    640?wx_fmt=png

    资料免费送(点击链接下载)

    史上最全,数据中心机房标准及规范汇总(下载)

    数据中心运维管理 | 资料汇总(2017.7.2版本)

    加入运维管理VIP群(点击链接查看)

    《数据中心运维管理》VIP技术交流群会员招募说明

    640?wx_fmt=png

    专注于数据中心基础设施运维与运营管理,分享运行维护经验,分享数据中心行业发展趋势及新技术应用。

    加微信群:wang2017bj

    QQ交流群: 108888484

    投稿邮箱:wj_wh0127@163.com


    数据中心运维管理

    ID:wj-yunwei

    640?wx_fmt=jpeg
    ▲长按二维码"识别"关注"

    展开全文
  • 数据标准化/归一化normalization

    万次阅读 多人点赞 2016-08-19 09:42:40
    这里主要讲连续型特征归一化的常用方法。 连续型特征还有一种处理方式是,先分桶/分箱(如等频/...离散数据处理参考[数据预处理:独热编码(One-Hot Encoding)]。 基础知识参考: [均值、方差与协方差矩阵] [...

    http://blog.csdn.net/pipisorry/article/details/52247379

    这里主要讲连续型特征归一化的常用方法。

    连续型特征还有一种处理方式是,先分桶/分箱(如等频/等距的分)[待写]进行离散化后再使用离散数据的处理方法。

    离散数据处理参考[数据预处理:独热编码(One-Hot Encoding)]。

    基础知识参考:

    [均值、方差与协方差矩阵]

    [矩阵论:向量范数和矩阵范数]

    数据的标准化(normalization)和归一化

        数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。

        目前数据标准化方法有多种,归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法,对系统的评价结果会产生不同的影响,然而不幸的是,在数据标准化方法的选择上,还没有通用的法则可以遵循。

    其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。

    归一化的目标

    1 把数变为(0,1)之间的小数
            主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内。
    2 把有量纲表达式变为无量纲表达式
            归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。 比如,复数阻抗可以归一化书写:Z = R + jωL = R(1 + jωL/R) ,复数部分变成了纯数量了,没有量纲。
    另外,微波之中也就是电路分析、信号系统、电磁波传输等,有很多运算都可以如此处理,既保证了运算的便捷,又能凸现出物理量的本质含义。

    归一化后有两个好处

    1. 提升模型的收敛速度

    如下图,x1的取值为0-2000,而x2的取值为1-5,假如只有这两个特征,对其进行优化时,会得到一个窄长的椭圆形,导致在梯度下降时,梯度的方向为垂直等高线的方向而走之字形路线,这样会使迭代很慢,相比之下,右图的迭代就会很快(理解:也就是步长走多走少方向总是对的,不会走偏)


    2.提升模型的精度

    归一化的另一好处是提高精度,这在涉及到一些距离计算的算法时效果显著,比如算法要计算欧氏距离,上图中x2的取值范围比较小,涉及到距离计算时其对结果的影响远比x1带来的小,所以这就会造成精度的损失。所以归一化很有必要,他可以让各个特征对结果做出的贡献相同。

        在多指标评价体系中,由于各评价指标的性质不同,通常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削弱数值水平较低指标的作用。因此,为了保证结果的可靠性,需要对原始指标数据进行标准化处理。

        在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。

    从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。

    3. 深度学习中数据归一化可以防止模型梯度爆炸。

    数据需要归一化的机器学习算法

    需要归一化的模型:

            有些模型在各个维度进行不均匀伸缩后,最优解与原来不等价,例如SVM(距离分界面远的也拉近了,支持向量变多?)。对于这样的模型,除非本来各维数据的分布范围就比较接近,否则必须进行标准化,以免模型参数被分布范围较大或较小的数据dominate。
            有些模型在各个维度进行不均匀伸缩后,最优解与原来等价,例如logistic regression(因为θ的大小本来就自学习出不同的feature的重要性吧?)。对于这样的模型,是否标准化理论上不会改变最优解。但是,由于实际求解往往使用迭代算法,如果目标函数的形状太“扁”,迭代算法可能收敛得很慢甚至不收敛(模型结果不精确)。所以对于具有伸缩不变性的模型,最好也进行数据标准化。

            有些模型/优化方法的效果会强烈地依赖于特征是否归一化,如LogisticReg,SVM,NeuralNetwork,SGD,PCA降维[PCA将原来高维的数据投影到某个低维的空间上并使得其方差尽量大。如果数据其中某一特征数值特别大,那么它在整个误差计算的比重上就很大,那么可以想象在投影到低维空间之后,为了使低秩分解逼近原数据,整个投影会去努力逼近最大的那一个特征,而忽略数值比较小的特征,这很可能导致了大量的信息缺失。此外,从计算的角度讲,因为PCA通常是数值近似分解,而非求特征值、奇异值得到解析解,所以当我们使用梯度下降等算法进行PCA的时候,归一化有利于梯度下降收敛]等。

    不需要归一化的模型:

        (0/1取值的特征通常不需要归一化,归一化会破坏它的稀疏性。)

        有些模型则不受归一化影响,如DecisionTree。

        ICA好像不需要归一化(因为独立成分如果归一化了就不独立了?)。

        基于平方损失的最小二乘法OLS不需要归一化。

    [线性回归与特征归一化(feature scaling)]

    皮皮blog

     

     

    常见的数据归一化方法

    最常用的是 min-max标准化 和 z-score 标准化。

    min-max标准化(Min-max normalization)/0-1标准化(0-1 normalization)/线性函数归一化/离差标准化

    是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下:

    其中max为样本数据的最大值,min为样本数据的最小值。

    def Normalization(x):
        return [(float(i)-min(x))/float(max(x)-min(x)) for i in x]

    如果想要将数据映射到[-1,1],则将公式换成:

    x* = x* * 2 -1

    或者进行一个近似

    x* = (x - x_mean)/(x_max - x_min), x_mean表示数据的均值。

    def Normalization2(x):
        return [(float(i)-np.mean(x))/(max(x)-min(x)) for i in x]

    这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

    ps: 将数据归一化到[a,b]区间范围的方法:

    (1)首先找到原本样本数据X的最小值Min及最大值Max
    (2)计算系数:k=(b-a)/(Max-Min)
    (3)得到归一化到[a,b]区间的数据:Y=a+k(X-Min)  或者 Y=b+k(X-Max)

    即一个线性变换,在坐标上就是求直线方程,先求出系数,代入一个点对应的值(x的最大/最小就对应y的最大/最小)就ok了。

    z-score 标准化(zero-mean normalization)

    最常见的标准化方法就是Z标准化,也是SPSS中最为常用的标准化方法,spss默认的标准化方法就是z-score标准化。

    也叫标准差标准化,这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。

    经过处理的数据符合标准正态分布,即均值为0,标准差为1,注意,一般来说z-score不是归一化,而是标准化,归一化只是标准化的一种[lz]。

    其转化函数为:

    x* = (x - μ ) / σ

    其中μ为所有样本数据的均值,σ为所有样本数据的标准差。

    z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。该种标准化方式要求原始数据的分布可以近似为高斯分布,否则效果会变得很糟糕。

    标准化的公式很简单,步骤如下

      1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;
      2.进行标准化处理:
      zij=(xij-xi)/si
      其中:zij为标准化后的变量值;xij为实际变量值。
      3.将逆指标前的正负号对调。
      标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。

    def z_score(x, axis):
        x = np.array(x).astype(float)
        xr = np.rollaxis(x, axis=axis)
        xr -= np.mean(x, axis=axis)
        xr /= np.std(x, axis=axis)
        # print(x)
        return x

    为什么z-score 标准化后的数据标准差为1?

    x-μ只改变均值,标准差不变,所以均值变为0

    (x-μ)/σ只会使标准差除以σ倍,所以标准差变为1

    这两种最常用方法使用场景:

    1、在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,第二种方法(Z-score standardization)表现更好。

    2、在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用第一种方法或其他归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在[0 255]的范围。
    原因是使用第一种方法(线性变换后),其协方差产生了倍数值的缩放,因此这种方式无法消除量纲对方差、协方差的影响,对PCA分析影响巨大;同时,由于量纲的存在,使用不同的量纲、距离的计算结果会不同。而在第二种归一化方式中,新的数据由于对方差进行了归一化,这时候每个维度的量纲其实已经等价了,每个维度都服从均值为0、方差1的正态分布,在计算距离的时候,每个维度都是去量纲化的,避免了不同量纲的选取对距离计算产生的巨大影响。
    [再谈机器学习中的归一化方法(Normalization Method) ]

    皮皮blog

    log函数转换

    通过以10为底的log函数转换的方法同样可以实现归一下,具体方法如下:

    看了下网上很多介绍都是x*=log10(x),其实是有问题的,这个结果并非一定落到[0,1]区间上,应该还要除以log10(max),max为样本数据最大值,并且所有的数据都要大于等于1。

    atan函数转换

    用反正切函数也可以实现数据的归一化。

    使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上,而并非所有数据标准化的结果都映射到[0,1]区间上。

    Decimal scaling小数定标标准化

    这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。

    将属性A的原始值x使用decimal scaling标准化到x'的计算方法是:
    x'=x/(10^j)
    其中,j是满足条件的最小整数。
    例如 假定A的值由-986到917,A的最大绝对值为986,为使用小数定标标准化,我们用每个值除以1000(即,j=3),这样,-986被规范化为-0.986。
    注意,标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。

    Logistic/Softmax变换

    [Sigmod/Softmax变换 ]

    模糊量化模式

    新数据=1/2+1/2sin[派3.1415/(极大值-极小值)*(X-(极大值-极小值)/2) ] X为原数据

    皮皮blog

     

    数据标准化/归一化的编程实现

    1 python库实现和调用

    [Scikit-learn:数据预处理Preprocessing data ]

    2 pandas dataframe实现标准化

    [pandas小记:pandas数据规整化-正则化、分组合并及重塑]

    两者的区别在于:df_norm = (df - df.mean()) / (df.std())会保留nan值,而preprocessing.scale(X)会直接报错:ValueError: Input contains NaN, infinity or a value too large for dtype('float64')。

    对于dense数据,建议先填充再标准化,否则需要标准化后再通过最小值来填充。

    from: http://blog.csdn.net/pipisorry/article/details/52247379

    ref:

     

    展开全文
  • 数据仓库规范

    千次阅读 2018-06-21 09:41:25
    数据仓库层次结构规范1.1 基本分层结构系统的信息模型从存储的内容方面可以分为,STAGE接口信息模型、ODS/DWD信息模型,MID信息模型、DM信息模型、元数据信息模型。在各个信息模型中存储的内容如下描述: 1) SRC...
  • 数据安全规范

    万次阅读 2016-04-23 23:31:30
    大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理
  • 数据规范化(标准化)

    万次阅读 2018-01-24 16:57:36
    数据规范化(标准化) 在数据预处理时,这两个术语可以互换使用。(不考虑标准化在统计学中有特定的含义)。  下面所有的规范化操作都是针对一个特征向量(dataFrame中的一个colum)来操作的。  首先举一个...
  • 中国区块链技术和产业发展论坛标准CBD-Forum-002-2017区块链数据格式规范Blockchain—Data format specification2017- 12 - 22 发布目次前言III1 范围12 术语和缩略语12.1 其他标准中定义的术语12.2 缩略语23 数据...
  • 2. 数据规范化方法 归一化(Min-max规范化) 标准化(Z-score标准化) 小数定标规范化 4. 规范化的作用 3. 数据挖掘算法中是否都需要进行规范化呢? 4. 标准化有什么注意事项? 具体写在了我的笔记里: ...
  • 数据治理系列3:数据标准管理

    万次阅读 多人点赞 2019-05-30 16:39:48
    转载请注明,作者:石秀峰,公众号:learning-bigdata(谈数据) 导读:提到“标准”二字,我们...而我们所说的数据标准却不单单是指与数据相关的标准文件,数据标准是一个从业务、技术、管理三方面达成一致的规范...
  • 规范化(标准化)数据的3种方法

    万次阅读 2014-11-08 23:19:48
    规范化(标准化)数据的3种方法
  • 关于基本数据类型与包装数据类型的使用标准 1) 所有的POJO类属性必须使用包装数据类型。  2) RPC方法的返回值和参数必须使用包装数据类型。  3) 所有的局部变量推荐使用基本数据类型。 说明:POJO类属性没有...
  • 数据接口规范

    千次阅读 2019-02-21 14:28:17
    1、按公司标准走 2、预定义的结构及字段要易懂,如有更改内部结构或字段,及时周知相关人 3、多考虑安全性,例如,防抓取,防sql注入 4、接口需要记录关键性日志 5、接口性能,耗时要少,要有合适的缓存降低数据库...
  • 设计规范 逻辑架构、技术架构、分层设计、主题划分、方法论 ... 脚本注释、字段别名、编码规范、脚本格式、数据类型、缩写规范 流程规范 需求流程、工程流程、上线流程、调度流、调度和表生命周期管理
  • python数据预处理 :数据标准

    万次阅读 多人点赞 2018-11-25 17:14:41
    在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化...
  • 数据仓库命名规范

    千次阅读 2019-02-12 14:20:40
    因此建立、管理一个企业级的数据模型,应该遵循标准的命名和设计规范 ODS层表名 前缀为ODS_应用系统名(缩写)_数据表名 。数据表名称必须以有特征含义的单词或缩写组成,中间可以用“_”分割,例如:ODS_FUN_...
  • 原文地址:数据规范化,归一化,标准化,正则化作者:打湿井盖  数据规范化,归一化,标准化,正则化,这几个破词整得我头晕,首先这些词就没规范好,对数据做实验更晕,网上狂搜一阵后,发现数据归一化,...
  • 数据标准

    千次阅读 2015-06-13 17:07:53
    不同数据往往具有不同的量纲,会影响到数据分析的结果,为了消除数据之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比...
  • 规范化(标准化)数据的方法

    千次阅读 2017-04-27 17:36:43
    规范化(标准化)数据的方法
  • 数据规范中的归一化与标准化:

    千次阅读 2014-04-12 18:54:25
    数据规范中的归一化与标准化: A.归一化 vs. 标准化  归一化:要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛...
  • 数据规范化(归一化)、及Z-score标准

    万次阅读 多人点赞 2018-05-15 22:11:58
    为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。如将工资收入属性值映射到[-1, 1]或者[0, 1]内。数据规范化对于基于距离的...
  • 《区块链 数据格式规范》标准正式发布,该标准的发布有助于为区块链系统的数据结构设计提供参考,为区块链行业应用提供统一的数据标准,对我国区块链标准建设具有重要意义。单击图片可缩放查看高清大图来源:中国...
  • 返回数据标准(后端反馈数据标准化)

    千次阅读 2018-04-14 10:34:47
    返回数据标准 我们做了一个后台管理项目(lotteryCMS),为了解析时好解析,我们会对从db中拿到的数据进行封装,当前端接受到数据的时候根据反馈的code就可以决定自己是否要解析这次查询的数据了。 我们定义一个...
  • 数据治理之数据规范

    千次阅读 2019-10-31 09:50:17
    数据域:对于业务过程和维度的抽象。如:交易域、用户域 业务过程:不可拆分的行为事件。如:下单、支付 时间周期:如最近30天、截至当前 修饰类型:对修饰词的抽象。如支付方式、访问终端类型 修饰词:访问终端类型...
  • 数据规范化,归一化,标准化,正则化,这几个破词整得我头晕,首先这些词就没规范好,对数据做实验更晕,网上狂搜一阵后,发现数据归一化,标准化,正则化,还是有差别 数据规范化  一种是针对数据库的解释  ...
  • 数据预处理之数据标准

    千次阅读 2017-08-11 19:45:07
    数据标准化的意义在对数据集建模前,常常要对数据的某一特征或几个特征进行规范化处理,其目的在于将特征值归一到同一个维度,消除比重不平衡的问题。常用的标准化方法有 最大-最小标准化、零-均值标准化 和 小数...
  • 数据中台】数据仓库设计规范

    千次阅读 2020-02-29 11:37:49
    为了解决数据仓库建设过程中出现的各种痛点,我们从模型与规范两个方面进行建设,并提出设计统一归口。 1.模型 规范化模型分层、数据流向,从而降低研发成本,增强指标复用性,并提高业务的支撑能力。 1.1....
  • 归一化 vs. 标准
  • HTML5 标准规范

    万次阅读 2017-08-21 09:35:51
    其它新的元素如、、和则是为了丰富文档的数据内容。同时也有一些属性和元素被移除掉,一些元素被重新定义或标准化。同时APIs和DOM已经成为HTML5中的基础部分了。HTML5还定义了处理非法文档的具体细节,使得

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 478,384
精华内容 191,353
关键字:

数据标准规范