精华内容
下载资源
问答
  • Hive的元数据信息

    千次阅读 2016-11-08 16:26:39
    Hive将表中的元数据信息存储在数据库中,如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明: Hive数据仓库中: MySql数据库中存储的相应元数据信息: Navicate(远程连接的MySql)对应的元数据...

    Hive将表中的元数据信息存储在数据库中,如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明:
    Hive数据仓库中:
    这里写图片描述

    MySql数据库中存储的相应元数据信息:
    这里写图片描述

    Navicate(远程连接的MySql)对应的元数据信息:
    这里写图片描述

    这里写图片描述

    这里写图片描述

    Hive中创建的表在hive中可以看到正常的数据,但是在mysql中只能查到hive中表的元数据信息。

    展开全文
  • 数据元与元数据

    万次阅读 多人点赞 2019-06-05 17:35:22
    在某些时候不特指某个单独的数据,可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据元数据可以为数据...

    元数据:描述其它数据的数据(data about other data)

    元数据是关于数据的数据,在某些时候不特指某个单独的数据,可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据。

    元数据可以为数据说明其元素或属性(名称、大小、数据类型等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。

    在日常生活中,元数据无所不在。只要有一类事物,就可以定义一套元数据。

    举个例子:在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据,用来描述每一部电影。下面是它的一级元数据,每一级下面又列出了二级元数据,总共加起来,可以从100多个方面刻画一部电影:

    Cast and Crew(演职人员)、Company Credits(相关公司)、Basic Data(基本情况)、Plot & Quotes(情节和引语)、Fun Stuff(趣味信息)、Links to Other Sites(外部链接)、Box Office and Business(票房和商业开发)、Technical Info(技术信息)、Literature(书面内容)、Other Data(其他信息)。

    元数据最大的好处是,它使信息的描述和分类可以实现结构化,从而为机器处理创造了可能。

    数据元:可理解为数据的基本单元

    卫生信息基本数据元规范和定义了医药卫生领域所有相关信息的唯一中文名称与代码,并且代码以字母、汉字、数字式的字符串形式表示。

    数据元列举并定义了特定语义环境中的一种信息资源。

    完整的数据元名称=对象类术语+特征类术语+表示类术语+(限定类术语)

    其中:

    一个数据元有且仅有一个对象类术语(object class):是现实世界或抽象概念中事物的集合,有清楚的边界和含义,因其特性和行为遵循同样的规则而能加以标识。

    一个数据元有且仅有一个特征类术语(property):是对象类的所有个体所共有的某种性质,也是对象有别于其他成员的依据,是用来区分和识别事物的一种手段。特征类术语是任何一个数据元名称所必须的成分,在数据元概念可完整、准确、无歧义表达的情况下,其他术语可以酌情简略。

    一个数据元有且仅有一个表示类术语(representation):是值域、数据类型和表示方式的组合,也包括计量单位和字符集等信息。当表示类术语与特征类术语有重复或部分重复时,可从名称中将冗余词删除。

    限定类术语由专业领域给定,限定类术语是可选的。

    数据元基本模型

    数据元与元数据的区别和联系

    1. 元数据不可能涵盖理解数据元所要表示的数据所必需的所有信息。

    2. 数据元的相关信息是任何一个(组织的)元数据的一个完整的组成部分。

    3. 元数据的每一个元素都是一个数据元,用符合数据元标准的元数据属性和描述方法来说明元数据。

    4. 将元数据存储于一个库中,并使之条理化就需要建模,建模就需要从数据元的注册系统中或库中获取元数据。

    5. 元数据,它是以一种一致、标准的方式来表达的数据元。

    6. 元数据与数据元字典格式均由行号、中文名称、英文名称、标识符(短语)、定义、约束/条件、最大出现次数、数据类型、数据的值域等属性组成。不同之处是数据元字典格式中另有语境和同义词名称等属性。

    总而言之,元数据和数据元的定义是从不同角度论述的。由于描述的侧重面不同,元数据和数据元的描述属性也有些区别,但是元数据和数据元的字典格式是基本一致的。

    ------------------------------------------------------------------------------------------------

    1元数据Metadata

    1.1元数据概念

    1、主要是描述数据属性(property)的信息;

    2、描述数据的数据;

    3、关于数据的结构化数据;

    4、描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等信息,是数据和数据用户之间的桥梁。

    举例:

    学生信息表包括:姓名、性别、学号等。

    姓名、性别、学号都是数据元,但是这些数据元有自己的元数据,即描述数据,分别是长度、类型、值域等。

    对于学生信息表而言,姓名、性别、学号是描述学生信息的数据,是它的元数据。

    数据是手提箱,而元数据是它上面的标牌。

    数据是文件夹,而元数据是文件夹上面的标签。

    1.2元数据的作用

    1、数据描述:对信息对象的内容属性等的描述能力是元数据最基本的功能。

    2、数据检索:支持用户发现资源的能力,即利用元数据来更好地组织信息对象建立他们之间的关系为用户提供多层次多途径的检索体系,从而有利于用户便捷快速的发现其真正需要的信息资源。

    3、数据选择:支持用户在不必浏览信息对象本身的情况下能够对信息对象有基础的了解和认识从而决定对检出信息的取舍。

    4、数据定位:提供信息资源本身的位置方面的信息,如DOI、URL、URN等信息,由此可准确获知信息对象之所在,便于信息的获取。

    5、数据管理:保存信息资源的加工存档结构使用管理等方面的相关信息权限管理版权、所有权、使用权、防伪措施、电子水印、电子签名等。

    6、数据评估:保存资源被使用和被评价的相关信息,通过对这些信息的使用分析,方便资源的建立与管理者更好的组织资源并在一定程度上帮助用户确定该信息资源在同类资源中的重要性。

    2数据元(Data element)

    2.1数据元概念

    1、用一组属性描述定义、标识、表示和允许值的数据单元。

    2、又称数据类型,通过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。

    3、数据元一般由三部分组成:对象、特性、表示

    举例:

    “执业类别代码”为数据元,“01”为数据元的值。

    “执业类别代码”中,“执业”为对象词,“类别”是该数据元的特性词,“代码”是该数据元的表示词。

    2.2数据元的作用

    1、数据元本身也是数据单元,即也是数据。

    2、它是一个用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。

    3、用这一套方法对行业数据进行统一的名、型、值规范及分类。

    4、规划好行业数据元之后,可以为行业构建出统一、集成的、稳定的数据模型奠定基础,同时它也为数据交换奠定基础。

    3元数据管理

    3.1元数据管理的建设目标

    3.2元数据管理的范围

    4资源目录

    4.1资源目录要解决的问题

    4.2业务流程示意图

    4.3资源目录功能特点

    5参考资料

    https://baike.baidu.com/item/%E5%85%83%E6%95%B0%E6%8D%AE/1946090?fr=aladdin

    https://wenku.baidu.com/view/9789bb30f68a6529647d27284b73f242336c31ff.html

    https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%85%83/7681154?fr=aladdin

    展开全文
  • 元数据分类

    千次阅读 2017-06-11 16:45:25
    1.业务元数据 主要包括业务术语、信息分类、指标定义、业务规则等。 2,技术元数据 数据结构、数据处理细节方面的技术化描述,主要包括源系统接口规范、数据仓库结构的描述(接口信息、表信息、程序信息等)以及经营...

    1.业务元数据

    主要包括业务术语、信息分类、指标定义、业务规则等。

    2,技术元数据

    数据结构、数据处理细节方面的技术化描述,主要包括源系统接口规范、数据仓库结构的描述(接口信息、表信息、程序信息等)以及经营分析数据处理过程的描述等。

    3.管理元数据

    主要包括人员角色、岗位职责、管理流程等信息。

    4.安全元数据

    主要包括访问安全、权限控制、分级管理、隐私控制、流程约束等信息。

    5.稽核元数据

    主要包括数据完整性和一致性检查、数据采集日志追踪、稽核规则、稽核流程、预警通知规则(数据质量)等信息。

    展开全文
  • 数据仓库元数据介绍

    千次阅读 2018-12-04 20:56:56
    元数据(Metadata)类似于这样的电话黄页。 元数据的定义 数据仓库的元数据是关于数据仓库中数据的数据。它的作用类似于数据库管理系统的数据字典,保存了逻辑数据结构、文件、地址和索引等信息。广义上讲,在数据...

    当需要了解某地企业及其提供的服务时,电话黄页的重要性就体现出来了。元数据(Metadata)类似于这样的电话黄页。

    元数据的定义

    数据仓库的元数据是关于数据仓库中数据的数据。它的作用类似于数据库管理系统的数据字典,保存了逻辑数据结构、文件、地址和索引等信息。广义上讲,在数据仓库中,元数据描述了数据仓库内数据的结构和建立方法的数据。
    元数据是数据仓库管理系统的重要组成部分,元数据管理器是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构建、使用和维护。
    (1)构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用,它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。
    (2)用户在使用数据仓库时,通过元数据访问数据,明确数据项的含义以及定制报表。
    (3)数据仓库的规模及其复杂性离不开正确的元数据管理,包括增加或移除外部数据源,改变数据清洗方法,控制出错的查询以及安排备份等。
    元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT 人员使用,它描述了与数据仓库开发、管理和维护相关的数据,包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。
    由上可见,元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等,而且是整个数据仓库系统运行的基础,元数据把数据仓库系统中各个松散的组件联系起来,组成了一个有机的整体,如图所示
    在这里插入图片描述

    元数据的存储方式

    元数据有两种常见存储方式:一种是以数据集为基础,每一个数据集有对应的元数据文件,每一个元数据文件包含对应数据集的元数据内容;另一种存储方式是以数据库为基础,即元数据库。其中元数据文件由若干项组成,每一项表示元数据的一个要素,每条记录为数据集的元数据内容。上述存储方式各有优缺点,第一种存储方式的优点是调用数据时相应的元数据也作为一个独立的文件被传输,相对数据库有较强的独立性,在对元数据进行检索时可以利用数据库的功能实现,也可以把元数据文件调到其他数据库系统中操作;不足是如果每一数据集都对应一个元数据文档,在规模巨大的数据库中则会有大量的元数据文件,管理不方便。第二种存储方式下,元数据库中只有一个元数据文件,管理比较方便,添加或删除数据集,只要在该文件中添加或删除相应的记录项即可。在获取某数据集的元数据时,因为实际得到的只是关系表格数据的一条记录,所以要求用户系统可以接受这种特定形式的数据。因此推荐使用元数据库的方式。
    元数据库用于存储元数据,因此元数据库最好选用主流的关系数据库管理系统。元数据库还包含用于操作和查询元数据的机制。建立元数据库的主要好处是提供统一的数据结构和业务规则,易于把企业内部的多个数据集市有机地集成起来。目前,一些企业倾向建立多个数据集市,而不是一个集中的数据仓库,这时可以考虑在建立数据仓库(或数据集市)之前,先建立一个用于描述数据、服务应用集成的元数据库,做好数据仓库实施的初期支持工作,对后续开发和维护有很大的帮助。元数据库保证了数据仓库数据的一致性和准确性,为企业进行数据质量管理提供基础。

    元数据的作用

    在数据仓库中,元数据的主要作用如下。
    (1)描述哪些数据在数据仓库中,帮助决策分析者对数据仓库的内容定位。
    (2)定义数据进入数据仓库的方式,作为数据汇总、映射和清洗的指南。
    (3)记录业务事件发生而随之进行的数据抽取工作时间安排。
    (4)记录并检测系统数据一致性的要求和执行情况。
    (5)评估数据质量。

    展开全文
  • 数据仓库元数据管理

    千次阅读 2018-09-21 16:11:56
    数据仓库元数据管理元数据元数据分类技术元数据业务元数据系统管理功能 元数据 元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过...
  • 元数据管理

    千次阅读 2019-05-06 09:56:32
    元数据管理 1、什么是元数据管理? 企业用户在创建了众多数据库信息时,需要一个查询功能可以及时高效地为用户查询数据库信息,如数据源、表以及视图等信息。DataPipeline(www.datapipeline.com)元数据管理功能...
  • 史上postgres元数据表最详细信息

    千次阅读 2019-06-24 16:59:24
    最近在做元数据相关的工作,下面是postgres最全的元数据列表,使用版本9.4+ name description pg_aggregate 存储聚合函数的信息 pg_am 存储访问方法关系信息,当前只有索引有访问方法 ...
  • *元数据:数据库、或者数据库表,表中的字段的一些信息,比如数据库名称,驱动,表中的主键的名称。 *作用:主要完成一些通用型比较高得代码,一般都是使用在框架里面 *在数据库里面,有三类元数据 -第一类:...
  • 1.物理元数据描述物理资源的元数据,例如:服务器,操作系统,计算机机房位置和其他信息。 2.数据源元数据描述了数据源的元数据,通常包括四种类型的信息: 数据源地址(例如IP,PORT等) 物理拓扑(例如主备,...
  • 数据治理--元数据--元数据的作用

    千次阅读 2019-01-12 23:25:10
    元数据的主要作用 相信看到这个博客,您已经对什么是元数据有了一定的了解,如果还不够了解可以网上搜一下,也可以参见我的另一篇博客“数据治理--元数据--定义”,URL: ...
  • Eureka的元数据

    万次阅读 2018-06-11 21:56:52
    标准元数据:主机名、IP地址、端口号、状态页和健康检查等信息,这些信息都会被发布在服务注册表中,用于服务之间的调用。自定义元数据:可以使用eureka.instance.metadata-map配置,这些元数据可以在远程客户端中...
  • 3分钟全面了解元数据和数据元

    千次阅读 2019-05-14 10:45:26
    在某些时候不特指某个单独的数据,可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据元数据可以为数据...
  • 元数据 and 元数据标准

    千次阅读 2017-02-22 17:42:38
    然而在系统的设计、开发、测试、上线过程中,无论是需求变更还是BUG修改都避免不了数据模型也就是元数据的改动。大到库表结构重新设计,小到一个字段类型的变更,都可能对程序造成影响。我们以往只重视程序功能测试...
  • HDFS namenode元数据信息多目录配置

    千次阅读 2020-10-19 19:58:34
    为了保证元数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1 namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。 具体配置如下: hdfs-site.xml ...
  • 一篇文章搞懂数据仓库:元数据分类、元数据管理

    千次阅读 多人点赞 2020-12-31 15:41:39
    业务元数据 描述 ”数据”背后的业务含义 主题定义:每段 ETL、表背后的归属业务主题。 业务描述:每段代码实现的具体业务逻辑。 标准指标:类似于 BI 中的语义层、数仓中的一致性事实;将分析中的指标进行规范化...
  • NameNode存储的元数据信息

    千次阅读 2019-01-04 18:42:02
    如图NameNode类中的信息 包含俩个内容 (1)filename ---->块的个数,FSImage和edits文件加载 (2)block 块存储主机------>dataNode汇报的块存储主机位置...
  • 数据仓库(五)元数据管理

    万次阅读 多人点赞 2018-09-20 21:47:03
    元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息元数据贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。  ...
  • oracle metadate 元数据

    千次阅读 2013-11-25 22:40:30
    元数据是库中库,描述的是数据库的相关信息,如对象的属性之类的大概这个意思 每个Oracle数据库中包括一个被称为“元数据”的集合,或者说包含用来描述数据库有关数据结构的数据。 包含这些元数据的表和视图称为...
  • 什么是元数据元数据)?

    千次阅读 2018-06-08 14:23:24
    数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限,文件拥有者以及文件数据块的分布信息(索引节点的......)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及...
  • 数据治理里面最关键的元数据管理,元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义...
  • 元数据最本质、最抽象的定义为:data about data (关于数据的数据)。它是一种广泛存在的现象,在许多领域有其具体的定义和应用。 JDBC中的元数据,有数据库元数据(DatabaseMetaData),参数元数据(ParameterMetaData)...
  • 数据库元数据的学习

    千次阅读 2017-07-30 16:30:25
    1、元数据 在jdbc中获取数据库的定义,例如:数据库、表、列的定义信息。就用到元数据。 在jdbc中可以使用: 数据库元数据、参数元数据、结果集元数据 (元数据定义相关api, ..MetaData) 1.1、数据库元数据 ...
  • 关于元数据与主数据

    万次阅读 多人点赞 2016-01-19 15:40:19
    企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;元数据(Meta Data)是关于数据的数据,是数据管控...
  • 经过这些年的发展,国内外厂商在元数据管理能力的建设上有了一定的经验积累,此篇文章...企业级元数据管理将成为企业信息管理的核心*国内外对企业级元数据管理的需求日益增加仔细分析国内外现状,目前市场上对企业...
  • 数据治理系列2:元数据管理—企业数据治理的基础

    万次阅读 多人点赞 2019-05-13 20:11:04
    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制...元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据...
  • 元数据设计

    千次阅读 2010-06-23 11:31:00
    随着Web应用的普及,兴起了各类元数据标准,以及根据这些标准制定元数据方案(领域应用)的做法,主要是希望在更大的范围内(例如整个互联网)进行信息交换、共享和重用(也就是说,企业内部的私有数据,如果没有...
  • NAMENODE工作机制学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景:1、集群启动后,可以...
  • android原生态MediaMetadataRetrieverandroid系统自带的MediaMetadataRetriever类可以获取视频、音频等媒体文件的META DATA即元数据信息,但遗憾的是,android系统本身自带的视频解码器等只支持3pg、mp4格式。...
  • HIVE-元数据存储

    千次阅读 2018-08-22 22:56:48
    HIVE-元数据存储 元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关 系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库 (Metadata Repository)来统一地存储和...
  • 数据源、元数据、数据元

    千次阅读 2020-01-10 15:14:57
    ##数据源(data source) 顾名思义,数据的来源,是提供某种所需要数据的器件或原始媒体。...##元数据(metadata) 描述其他数据的数据(data about other data)。 1、主要是描述数据属性(property)的信息; 2...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 678,727
精华内容 271,490
关键字:

信息的元数据