精华内容
下载资源
问答
  • 什么是元数据

    2019-10-05 11:40:58
    1. 什么是元数据 任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群...

    1. 什么是元数据 
      任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元
    数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据
    块的分布信息(inode...)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。 
    2.元数据管理方式 
           元数据管理有两种方式。集中式管理和分布式管理。集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能瓶颈。 
             分布式元数据管理的好处是解决了集中式管理的单一失效点问题, 而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。

    转载于:https://www.cnblogs.com/sui776265233/p/10764584.html

    展开全文
  • 为了让大家更好地了解什么是元数据,亿信华辰小编针对元数据的类型,举例说明什么是元数据。 元数据分类及举例说明 一、技术元数据 1.物理元数据描述物理资源的元数据,例如:服务器,操作系统,计算机机房位置和...

    元数据,一个简单的定义是描述数据的数据。在企业中,无论哪里有数据,都有相应的元数据。只有存在完整而准确的元数据,我们才能更好地理解数据并充分利用数据的价值。为了让大家更好地了解什么是元数据,亿信华辰小编针对元数据的类型,举例说明什么是元数据。

    元数据分类及举例说明

    一、技术元数据

    1.物理元数据描述物理资源的元数据,例如:服务器,操作系统,计算机机房位置和其他信息。

    2.数据源元数据描述了数据源的元数据,通常包括四种类型的信息:

    数据源地址(例如IP,PORT等)

    物理拓扑(例如主备,角色等)

    权限(例如用户名,密码等)

    以及库名称,版本,域名等

    3.存储元数据描述对象存储的元数据,通常也是“狭义”的元数据,包括几种主要类型的管理属性(例如创建者,应用系统,业务部门,业务负责人等)

    生命周期(例如创建时间,DDL时间,版本信息等)

    存储属性(例如位置,物理大小等)

    数据特征(例如数据偏斜,平均长度等)

    使用特征(例如DML,刷新)速率等)

    数据结构表/分区(例如名称,类型,备注等)

    列(例如名称,类型,长度,精度等)

    索引(例如名称,类型,字段等)

    约束(例如类型,字段等)

    4.计算元数据描述数据计算过程的元数据通常可以分为两种类型的计算:数据提取(ETL)或数据处理(JOB)。每种类型的计算都可以进一步细分控制元数据(例如配置属性,调度策略等)和过程元数据(例如依赖项,执行状态,执行日志等)。

    5.质量元数据是一种描述数据质量的元数据。通常,数据质量是通过定义一系列质量指标来反映的。

    6.操作元数据,描述了如何将数据用于操作的一类元数据。

    数据生成(例如生成时间,作业信息等)

    表访问(例如查询,关联,聚合等)

    表关联(例如关联表,关联字段,关联类型,关联数)

    字段访问(例如查询,关联,聚合,过滤等))

    7.操作和维护元数据描述了系统的操作和维护级别的元数据,通常包括任务,警报和故障。

    8.成本元数据描述数据存储和计算成本的元数据。

    计算成本(例如,CPU,MEM等)

    存储成本(例如,空间,压缩率等)

    9.标准元数据描述了数据标准化内容的元数据。

    代码管理(例如转换规则,外部接口等)

    映射管理数据显示(例如样式,规则,语义,单位等)

    10.安全性元数据描述数据安全性内容的元数据。

    安全级别数据敏感度(例如,是否敏感,脱敏算法等)

    11.共享元数据描述了如何共享数据,例如接口方法,格式和内容。

    二、业务元数据

    1.模型元数据数据建模是对业务的描述,可以通过模型更好地理解业务。常见的建模方法包括范式模型,维模型和多维建模。下面以尺寸模型为例。例如业务线、板块、过程数据域、主题域维度、属性索引事实、度量市场与应用。

    2.应用元数据指描述了数据应用类的元数据。

    3.分析元数据是指从数据分析的角度描述业务元数据。例如数据域、主题域产品线、板块、业务过程、业务流程、业务规则等。

    三、管理元数据

    管理元数据描述了企业内部数据管理的内容,例如人员流程职责,职务组织和部门。

    展开全文
  • 什么是元数据

    2018-11-27 19:44:05
    什么是元数据 任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode…)等等。在集群文件...

    what ?

    元数据是描述数据特征的数据!

    什么是元数据
    任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode…)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。

    how?

    元数据管理方式
    元数据管理有两种方式。集中式管理和分布式管理。集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能瓶颈。
    分布式元数据管理的好处是解决了集中式管理的单一失效点问题, 而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。

    云计算应用?

    而在云计算中,Metadata 服务能够向虚机注入一些额外的信息,这样虚机在创建之后可以有一些定制化的配置。在 OpenStack 中,Metadata 服务能够向虚机提供主机名,ssh 公钥,用户传入的一些定制数据等其他信息。这些数据被分为两类:metadata和user data:

    • metadata主要包括虚机自身的一些数据比如hostname、ssh秘钥、网络配置等;
    • user data主要包括一些定制的脚本、命令等。但是不管是哪一种数据,openstack向虚机提供数据的方式是一致的。
    展开全文
  • 认识元数据元数据管理元数据的定义“关于数据的数据”,元数据与数据的关系就像数据与自然界的关系,数据反映了真实世界的交易、事件、对象和关系,而元数据则反映了数据的交易、事件、对象和关系等。...

    元数据管理是企业数据治理的基础。企业以元数据为抓手进行数据治理,帮助企业更好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策。今天就带大家深度解析下元数据管理。

    认识元数据和元数据管理

    元数据的定义是“关于数据的数据”,元数据与数据的关系就像数据与自然界的关系,数据反映了真实世界的交易、事件、对象和关系,而元数据则反映了数据的交易、事件、对象和关系等。简单来说,只要能够用来描述某个数据的,都可以认为是元数据。

    e8c555c021de089ed054de7b9a7c0118.png

    举个例子:如果将图书馆里面的某一本书当作数据,那么所有用来形容这本书的数据比如书名、书的作者、书的所属类别等都是这本书的元数据。

    对于企业而言,元数据是跟企业所使用的物理数据、业务流程、数据结构等有关的信息,描述了数据(如数据库、数据模型)、概念(如业务流程、应用系统、技术架构)以及它们之间的关系。

    元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息,帮助用户理解数据关系和相关属性。元数据管理工具可以了解数据资产分布及产生过程。实现元数据的模型定义并存储,在功能层包装成各类元数据功能,最终对外提供应用及展现;提供元数据分类和建模、血缘关系和影响分析,方便数据的跟踪和回溯。

    元数据管理平台架构

    元数据管理统一管控分布在企业各个角落的数据资源,企业涉及的业务元数据、技术元数据、管理元数据都是其管理的范畴,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。

    作为企业数据治理的基础,元数据管理平台从功能上主要包括:元数据采集服务,应用开发支持服务,元数据访问服务、元数据管理服务和元数据分析服务。

    1、元数据采集服务:能够适应异构环境,支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处理系统到数据应用报表系统的全量元数据,包括过程中的数据实体(系统、库、表、字段的描述)以及数据实体加工处理过程中的逻辑;

    e6e1d6358734dec0237267e5abbfde49.png

    亿信华辰元数据管理平台内置多种采集适配器,支持多种存储格式的元数据自动获取,如:数据库、报表工具、ETL工具、文件系统等,同时无法完成自动获取的元数据,提供了可自定义的元数据采集模版完成元数据的批量导入。

    2、元数据访问服务:元数据访问服务是元数据管理软件提供的元数据访问的接口服务,一般支持REST或Webservice等接口协议。通过元数据访问服务支持企业元数据的共享,是企业数据治理的基础。

    3、元数据管理服务:实现元数据的模型定义并存储,在功能层包装成各类元数据功能,最终对外提供应用及展现;提供元数据分类和建模、血缘关系和影响分析,方便数据的跟踪和回溯。

    09ebc46e66d1dede00a2e6a2fd9c3ffe.png

    亿信华辰元数据管理平台提供各类元数据管理,包括:业务元数据、技术元数据和管理元数据,支持元数据的基本信息、属性、依赖关系、组合关系的增删改查操作。最新元数据和定版元数据隔离,在最新元数据中的改动不影响定版元数据的正常使用,同时每次发布都有版本留痕,支持各版本的对比分析。

    4、元数据分析服务:元数据的应用一般包括数据地图,数据的血缘、影响分析,全链分析等;

    724f9655f2377b805ad6a82ef32d7a99.png

    亿信华辰元数据管理平台提供了丰富的元数据分析功能,包括血缘分析、影响分析、全链分析、关联度分析、属性值差异分析等,分析出元数据的来龙去脉,快速识别元数据的价值,掌握元数据变更可能造成的影响,以便更有效的评估变化带来的风险,从而帮助用户高效准确的对数据资产进行清理、维护与使用。

    血缘分析:告诉你数据来自哪里,都经过了哪些加工。

    影响分析:告诉你数据都去了哪里,经过了哪些加工。

    冷热度分析:告诉你哪些数据是企业常用数据,哪些数据属于僵死数据。

    关联度分析:告诉你数据和其他数据的关系以及它们的关系是怎样建立的。

    数据资产地图:告诉你有哪些数据,在哪里可以找到这些数据,能用这些数据干什么。

    元数据管理价值

    元数据管理到底有什么用?图书馆的目录卡片只是一个很简单的元数据管理,在企业中,元数据管理会更为全面,难度更高,同时也将带来更多的收益:

    元数据管理平台为用户提供高质量、准确、易于管理的数据,它贯穿数据中心构建、运行和维护的整个生命周期。同时,在数据中心构建的整个过程中,数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据的进行支撑。

    通过元数据管理,形成整个系统信息数据资的准确视图,通过元数据的统一视图,缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据,梳理业务元数据之间的关系,建立信息数据标准完善对这些数据的解释、定义,形成企业范围内一致、统一的数据定义,并可以对这些数据来源、运作情况、变迁等进行跟踪分析。

    总结:元数据是企业数据资源的应用字典和操作指南,元数据管理有利于统一数据口径、标明数据方位、分析数据关系、管理数据变更,为企业级的数据治理提供支持,是企业实现数据自服务、推动企业数据化运营的可行路线。当然这一切离不开元数据管理工具的推动。

    展开全文
  • 1.什么是元数据? 元数据就是Meta Data 元数据是用来描述数据的数据,主要是描述数据属性的信息。 2.元数据有哪两种分类? 分类: 第一类:数据库的元数据 DatabaseMetaData 获取数据库的名称、版本等信息。 第二类...
  • 元数据是对我们整个系统里面包含的各种结构的描述和说明,比如结构说明、属性说明、或者相关数据,它有点类似现实世界中我们使用的某个产品的说明书,它会对我们所使用的产品进行一个详细的介绍和功能说明。通过...
  • 什么是元数据(Metadata)?

    千次阅读 2019-02-28 14:43:17
    什么是元数据 任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群文件...
  • 元数据(Metadata)中的『元(Meta)』可以理解为事物或对象,『数据...实际上,你可以理解成,关于该文件或对象的一切信息都是元数据,无论是技术相关的信息还是内容信息,一切。所以元数据并不是什么新概念,它只...
  • 什么是元数据(Metadata)

    2016-12-29 10:13:19
    什么是元数据  任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群...
  • 什么是元数据(元数据)?

    千次阅读 2018-06-08 14:23:24
    数据指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限,文件拥有者以及文件数据块的分布信息(索引节点的......)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及...
  • 元数据是关于数据的数据,也就是对于数据的描述和定义,例如我们经常提到的业务术语、库表结构、数据流、接口定义等 元数据可以回答企业或者系统有哪些数据,那些数据正确的,应该使用哪份数据,谁来用这个数据...
  • 什么是元数据MetaData

    2020-07-06 18:53:38
    元数据是用来描述数据的数据(Data that describes other data) 例如去面试的时候hr会拿着一张表格,上面有姓名、性别、民族、年龄。。。等 姓名、性别、民族、年龄。。。等元数据用来刻画个人状况 ...
  • 什么是元数据 (MetaData)

    万次阅读 多人点赞 2013-03-11 19:16:43
    什么是元数据?  元数据(Meta Date),关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息。  这些定义都很是抽象,我们可以把元数据简单的理解成,最小的数据单位。元数据可以为数据说明其元素或...
  • 一 、什么是元数据? 元数据(MetaDate),关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息。这些定义、数据列或其相关数据(位于何处、如何联系、拥有者)。举几个简单的例子:使用过数码相机的同学...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,389
精华内容 4,155
关键字:

什么是元数据