精华内容
下载资源
问答
  • 在政务数据资源梳理工程中,必须要参考的国家发布的政务数据资源目录
  • JT∕T 1224.2-2018 交通运输数据中心互联技术规范 第2部分:数据资源目录分类编码
  • 关于数据资源目录的功能落地,在广州思迈特软件公司出品的企业自助分析平台Smartbi Eagle中已经充分体现出来。近年来,数据管理发生了根本性的变化,它不再是一个完全在IT部门中实施的技术规程,业务在管理数据方面...

    数字经济下,数据已经成立企业的核心资产。数据推动业务创新,为企业运营和管理提供决策支持。然而,企业普遍存在数据分散、数据来源多,整合后数据不一致的问题。企业如果想实现全员数据分析,更是面临业务人员无法找到需要的数据,也无法理解数据含义的问题。根据IDC的一项调查,大多数企业普遍面临以下问题:

    组织有许多数据源,但数据使用者没有简单的方法在一个地方准确识别这些数据源。

    不仅仅语义层,数据资源目录让企业数据真正“为我所用”

    "全业务统一"数据中心已经变成了一片数据沼泽,很难找到有意义的,可信赖的数据。 数据使用者没有适当的流程来请求他们需要的数据。即使数据使用者可以访问数据,他们也不知道数据意味着什么或者应该如何使用数据。 数据使用者不知道他们找到的数据的来源,因此无法确认数据的可信度。

    对于上述问题的解决,大家可能会想到元数据。但是有多少企业能真正把元数据用起来?并且能够自动采集的只有技术元数据,业务元数据和管理元数据基本上都是手工采集的,普遍存在定义不正确、信息不完整、元数据陈旧或无法找到所需信息。此外,元技术主要面向技术人员,和业务人员的“语言”存在差异,使得业务用户获取数据变得更加复杂和困难。

    因此,解决的办法是构建企业的数据资源目录,让数据真正“为我所用”。
    在这里插入图片描述

    一、 通过语义层解决业务人员“理解”的问题

    数据如何才能被更多的业务用户易于访问?为了隐藏原始数据中的复杂性,并以通俗易懂的业务术语将数据展示给业务用户,就需要语义层。这个语义层是数据的逻辑表示,可以在其中运用业务规则。

    比如说,语义层可以电信的“VIP客户”定义为“时间在10年以上,月消费在200元以上并经常订阅新服务或续约的那些客户”。“VIP客户”的数据可以从不同的物理表获取,经过不同层次的计算和转换,最后进入到语义层,这一切都是查询“VIP客户”的业务用户所看不见的。

    Gartner 在分析报告《如何使用语义驱动数据的商业价值》(How to use Semantics to Drive the Business Value of Your Data) 中,也指出了用好语义层对数据和分析的管理者来说的必要性:来自不同业务线的自助式分析数据消费者,使得对于数据资产形成统一的理解和认知变得格外重要。语义层可以帮助企业实现:

    • 创建数据资产之间的关联以获得对数据更全面的视角;
    • 利用语义实现更广泛的对数据业务理解的一致性,避免理解的偏差。
      在这里插入图片描述

    二、 通过目录服务解决业务人员“查找“的问题

    目录服务将有关现实世界中的事物(如人、企业、计算机等等)的信息存储为具有描述性属性的对象。人们可以使用该服务按名称查找对象或者像使用黄页一样,可使用它们查找服务。这个定义解释了目录服务,所以数据资源目录是对数据存储对象的描述,让人们能够方便、快速的找到所需要的数据。

    我国的数据资源目录概念源自于政务信息系统。早在2002年国家相关部门就制定了政务资源管理的相关规范和标准。政务数据资源目录是通过对政务信息资源依据规范的元数据描述,按照一定的分类方法进行排序和编码的一组信息,用以描述各个政务信息资源的特征,以便于对政务信息资源的检索、定位与获取。目前,数据资源目录已经从政府部门推广到更多的企业当中,实现数据的查询、定位、使用和数据的交换共享。

    三、 通过数据安全解决业务人员“权限”问题

    企业早期的数据安全管控处于“粗放式管理”阶段,即站在企业本身对于信息化建设可以快速上线、厂商项目可快速验收的立场上,忽略了数据对接和供给过程中对于数据安全的保障。普遍的情况是部分厂商和企业少数管理人员在项目建设周期内或验收后仍然具有完整的企业内部数据访问权限,再加上传统数据平台并未将安全或隐私保障体系作为核心功能点之一,很容易造成未经授权的数据访问、使用、披露、破坏、修改、销毁等安全问题的出现。

    随着《网络安全法》的正式施行,关于数据安全与保护方面已经形成了完善的法律制度。如何在保障数据使用便捷性的基础上,满足法律的合规性要求,并真正能够保障企业业务人员对于数据安全的需求,成为了数据资源目录建设着重考虑的一部分。

    数据资源目录应建立数据分级和数据共享负责人制度,需要结合企业的实际数据管理业务特性,建立起数据分级制度,明确数据权威负责部门、对应的个体负责人等。明确数据的范围边界和使用方式,清理数据管理及共享开放的义务和权利。在依法加强安全保障和隐私保护的前提下,稳步推动公开数据资源共享开放。

    不仅仅语义层,数据资源目录让企业数据真正“为我所用”

    近年来,数据管理发生了根本性的变化,它不再是一个完全在IT部门中实施的技术规程,业务在管理数据方面扮演着日益重要的角色。我们正在迅速进入一个沟通、业务协作和人工智能成为数据管理支柱的时代。数据资产目录是将它们粘合在一起的粘合剂。从最初作为元数据管理到向业务人员提供数据查询的一种方式,数据资产目录的功能、受欢迎程度和重要性都在不断提高。

    关于数据资源目录的功能落地,在广州思迈特软件公司出品的企业自助分析平台Smartbi Eagle中已经充分体现出来。

    展开全文
  • 数据元、元数据、主数据、元数据管理、主数据管理、数据服务资源目录意义及用途
  • 数据数据元、资源目录 1元数据(Metadata) 1.1元数据概念 1、主要是描述数据属性(property)的信息; 2、描述数据数据; 3、关于数据的结构化数据; 4、描述数据的内容、覆盖范围、质量、管理方式、...

    元数据、数据元、资源目录

    1元数据Metadata

    1.1元数据概念

    1、主要是描述数据属性(property)的信息;

    2、描述数据的数据;

    3、关于数据的结构化数据;

    4、描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等信息,是数据和数据用户之间的桥梁。

    举例:

    学生信息表包括:姓名、性别、学号等。

    姓名、性别、学号都是数据元,但是这些数据元有自己的元数据,即描述数据,分别是长度、类型、值域等。

    对于学生信息表而言,姓名、性别、学号是描述学生信息的数据,是它的元数据。

    数据是手提箱,而元数据是它上面的标牌。

    数据是文件夹,而元数据是文件夹上面的标签。

    1.2元数据的作用

    1、数据描述:对信息对象的内容属性等的描述能力是元数据最基本的功能。

    2、数据检索:支持用户发现资源的能力,即利用元数据来更好地组织信息对象建立他们之间的关系为用户提供多层次多途径的检索体系,从而有利于用户便捷快速的发现其真正需要的信息资源。

    3、数据选择:支持用户在不必浏览信息对象本身的情况下能够对信息对象有基础的了解和认识从而决定对检出信息的取舍。

    4、数据定位:提供信息资源本身的位置方面的信息,如DOI、URL、URN等信息,由此可准确获知信息对象之所在,便于信息的获取。

    5、数据管理:保存信息资源的加工存档结构使用管理等方面的相关信息权限管理版权、所有权、使用权、防伪措施、电子水印、电子签名等。

    6、数据评估:保存资源被使用和被评价的相关信息,通过对这些信息的使用分析,方便资源的建立与管理者更好的组织资源并在一定程度上帮助用户确定该信息资源在同类资源中的重要性。

    2数据元(Data element)

    2.1数据元概念

    1、用一组属性描述定义、标识、表示和允许值的数据单元。

    2、又称数据类型,通过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。

    3、数据元一般由三部分组成:对象、特性、表示

    举例:

    “执业类别代码”为数据元,“01”为数据元的值。

    “执业类别代码”中,“执业”为对象词,“类别”是该数据元的特性词,“代码”是该数据元的表示词。

    fffdade6ff49a7591c2639012d22ef53667.jpg

    2.2数据元的作用

    1、数据元本身也是数据单元,即也是数据。

    2、它是一个用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。

    3、用这一套方法对行业数据进行统一的名、型、值规范及分类。

    4、规划好行业数据元之后,可以为行业构建出统一、集成的、稳定的数据模型奠定基础,同时它也为数据交换奠定基础。

    3元数据管理

    3.1元数据管理的建设目标

    b8c114da908e9c273473916b279d242c8a4.jpg

    3.2元数据管理的范围

    ee450e98c91158f7ff9a53aac2756c3d78f.jpg

    4资源目录

    4.1资源目录要解决的问题

    4a8de08ffd8157f396144871cf2b4a6c1de.jpg

    4.2业务流程示意图

    5bed4aff7c1301766b82c4f5bc11c4a8f05.jpg

    4.3资源目录功能特点

    af2b9bbe5fe749615a3d7d82c1bf189a1dd.jpg

    5参考资料

    https://baike.baidu.com/item/%E5%85%83%E6%95%B0%E6%8D%AE/1946090?fr=aladdin

    https://wenku.baidu.com/view/9789bb30f68a6529647d27284b73f242336c31ff.html

    https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%85%83/7681154?fr=aladdin

    展开全文
  • 全国地理信息资源目录服务系统,官方数据下载站,地址:http://www.webmap.cn 可下载DEM、卫星影像、土地覆盖、植被、全国重点洪水、土地利用、矢量地图、地表覆盖,等数据,审批很快,脱密的数据可以直接使用。, ...

    全国地理信息资源目录服务系统,官方数据下载站,地址:http://www.webmap.cn

    可下载DEM、卫星影像、土地覆盖、植被、全国重点洪水、土地利用、矢量地图、地表覆盖,等数据,审批很快,脱密的数据可以直接使用。

     

    1、登录注册账号

    2、搜索下载。

    下载多次,发现有时提交的订单只能查看,不能下载,就摸索了下,能下载到数据的流程。

    =》从数据下载目录进入搜索页面,之后不要选择,点击行政区划过滤或者其他条件后点击《成果查询》,选择目标加入购物车,提交订单下载。

    3、或者查看下数据的详情,是否有密级。

     

    展开全文
  • 在做WebGIS系统开发的时候,我们经常会遇到一个需求,就是要实例化一棵关于全国行政区划的目录树,方便组织管理用户数据平台上的一些资源数据,最终的示例效果图如下: 上图就是通过实例化后的一棵全国行政区划...

    写在前面

    在做WebGIS系统开发的时候,我们经常会遇到一个需求,就是要实例化一棵关于全国行政区划的目录树,方便组织管理用户数据平台上的一些资源数据,最终的示例效果图如下:

     

    上图就是通过实例化后的一棵全国行政区划目录树。由上图可看出,我们需要初始化这棵目录树之前需要首先进行数据处理,然后再进行实例化,所以接下来请看详细的操作步骤。

     

    具体操作步骤

    1、数据处理

    1.1、首先来看一下数据处理,关于原始数据的获取,大家可以百度下载,一般来说下载下来的数据基本是shp格式,所以我们只需要在ArcGIS Pro中打开即可。

    1.2、打开ArcGIS Pro的属性表,然后将省、市、县三个图层的属性表分别拷贝至Excel表中,如下:

    ArcGIS Pro的属性表

     

    Excel表中的数据

     

    需要注意的是,Excel中的数据相比于ArcGIS Pro中的话多了两个字段code和name,这是我复制过来后自己添加的,方便后续代码编写处理。

    1.3、数据拷贝至Excel之后,接下来我们就需要编写代码来读取这个Excel中的数据了,此时我使用的JS语言来编码处理。核心代码如下:

    //读取数据
    readExcelData = (e) => {
    
        //数据存成数组
        let files = e.target.files;
        let fileReader = new FileReader();
        let workbook = '';
        let persons = '';
    
        fileReader.onload = function (ev) {
            try {
                let data = ev.target.result;
                workbook = XLSX.read(data, { type: 'binary' });
                persons = []; // 存储获取到的数据
            } catch (e) {
                console.log('文件类型不正确');
                return;
            }
    
            // 表格的表格范围,可用于判断表头是否数量是否正确
            let fromTo = '';
            // 遍历每张表读取
            for (let sheet in workbook.Sheets) {
                if (workbook.Sheets.hasOwnProperty(sheet)) {
                    fromTo = workbook.Sheets[sheet]['!ref'];
                    persons = persons.concat('wwww', XLSX.utils.sheet_to_json(workbook.Sheets[sheet]));
                    // break; // 如果只取第一张表,就取消注释这行
                }
            }
    
            console.log(persons);
        };
    
        // 以二进制方式打开文件
        fileReader.readAsBinaryString(files[0]);
    };

    以上代码需要配合类型为file的input标签来使用,如下:

    <input type="file" id="excel-file" onChange={this.readExcelData} />

    1.4、以上就是关于JS读取Excel表中数据的代码处理,读取数据后其实还有一步操作,就是将我们市、县的数据挂载到各自对应的省和市下面。代码如下:

    let ProvinceData = [];
    let CityData = [];
    let CountyData = [];
    for (let i = 1; i < 36; i++) {
        ProvinceData.push({
            code: persons[i].code,
            name: persons[i].name,
            children: [],
        });
    }
    for (let i = 37; i < 408; i++) {
        CityData.push({
            code: persons[i].code,
            name: persons[i].name,
            children: [],
        });
    }
    for (let i = 409; i < 3309; i++) {
        CountyData.push({
            code: persons[i].code,
            name: persons[i].name,
        });
    }
    
    ProvinceData.map((provinceValue) => {
        CityData.map((CityValue) => {
            if (provinceValue.code.toString().slice(0, 2) === CityValue.code.toString().slice(0, 2)) {
                provinceValue.children.push(CityValue);
            }
        });
    });
    
    CityData.map((cityValue) => {
        CountyData.map((countyValue) => {
            if (cityValue.code.toString().slice(0, 4) === countyValue.code.toString().slice(0, 4)) {
                cityValue.children.push(countyValue);
            }
        });
    });
    console.log(ProvinceData);
    console.log(JSON.stringify(ProvinceData));

    上述代码写的很简单,大致思路就是将读取到的数据分别放置在省、市、县三个数组中,然后通过两次双重循环来挂载。其中比较难理解的可能就是每次往三个数组中放值的时候那个临界位置怎么确定的问题,此问题也比较好解决,通过下述代码可找到区分省、市、县数据的位置:

    persons.map((value, key) => {
        if (value === 'wwww') {
            console.log(key);
        }
    });

    1.5、最终在控制台可以看到输出的结果了,如图:

     

    如果上述结果不太好查看的话,可以通过在线的格式化工具将我们的数据格式化一下再查看,如下:

     

    将格式化后的数据存储到一份json文件中即可。至此,我们的数据处理工作已经完成了,接下来看看目录树的实例化过程。

    2、资源目录树实例化

    2.1、资源目录树的实例化其实很简单,因为我们已经有了目录树数据了,接下来我们只需要找一个目录树插件即可。

    2.2、此处我们选用的Element UI这个插件中的Tree这个UI组件,因为我们的项目使用Vue搭建的,所以UI库就使用了Element UI,如果项目是用React搭建的话,大家可以使用Antd库中的Tree组件即可,没有太大差别。

    2.3、通过Element UI官网关于Tree组件的示例代码中可以看到,我们的数据结构跟它组件所需要的数据结构是一模一样的,所以我们直接将我们的json数据导入进来,然后实例化目录树即可,如下:

    //导入处理好的数据
    import chinaData from './../assets/data/chinaData.json';
    
    //初始化Tree组件的标签
    <el-tree
       :data="treeData"
       :props="defaultTreeProps"
       @node-click="handleTreeNodeClick"
    ></el-tree>
    
    //Vue的data中指定数据源变量
    treeData: [],
    defaultTreeProps: {
        children: 'children',
        label: 'name',
    },
    
    //实例化目录树
    _self.treeData = chinaData;

    2.4、经过以上步骤即可实例化一棵全国行政区划的资源目录树。

    展开全文
  • 分享一个好的数据资源目录

    千次阅读 2019-06-28 15:51:56
    在网上查找资料的时候发现了一个很不错的仓库,主要就是存储日常用到的机器学习深度学习数据集的,都是可以直接下载使用的,觉得这个很好的原因就是:很多数据集本来就是公开开放的,很多学生都会根据网上的教程来...
  • 数据模型实例,共4个文档 TOC 1)example diagrams 2)top level diagrams 3)detail diagrams 4) technical diagrams
  • DBA小学必修课之二——mysql 数据目录修改-附件资源
  • 政务信息资源目录体系核心元数据标准及其应用
  • 资源表地址在数据目录的数组下标为2的地方,定位到资源表后就可以遍历资源 资源是树形结构,一般有3层 根目录目录 文件 根目录结构结构体如下定义 typedef struct _IMAGE_RESOURCE_DIRECTORY { DWORD ...
  • 资源目录管理

    千次阅读 2019-03-19 10:39:04
    资源目录管理系统主要功能包括目录分类、编目、审核发布、查询、权限、版本控制及维护等功能[4]。该系统的主要功能是用于生成目录数据, 其开发基础是核心元数据, 使用者利用该系统能够自动或者手工的从不同信息资源...
  • ​我们知道巧妇难为无米之炊,业务人员如果想进行数据分析,首先要有数据相关的米。而企业的数据工程师们会提供一些公共的数据资源供...通过Smartbi开放的企业数据资源目录,个人可以脱敏预览部分数据并在线申请授权
  • 常用资源目录

    2020-09-05 10:51:41
    常用资源目录 工作 数据中心(DC)技术 思科: 华为: 华三: 运维自动化 Python 老男孩教育Python自动化2.0课程课件目录 工具 pycharm的一些快捷键 markdown教程
  • GB/T 21063.3-2007政务信息资源目录体系 第3部分:核心数据
  • 2,说明:实际上就是访问该项目中的静态资源 这种办法,是把自己的电脑作为一个服务器,地址是你的项目的地址,也就是:http://localhost:8081/ 这个地址就是你vue项目跑起来之后,所在的ip地址: 执行:npm run ...
  • 项目资源目录设计和mock模拟数据 项目图片资源 psd里面标注坐标(设计师完成),相关使用工具也可以markman来协助辅助 对于在webpack里面使用的一些小图片,不建议使用雪碧图来进行处理,因为本身webpack会自动帮助...
  • Unity3D资源目录及资源读取

    千次阅读 2016-03-09 16:54:45
    一、各平台上的资源目录 1.在Unity3D中的目录: Application.dataPath 此属性用于返回程序的数据文件所在文件夹的路径。例如在Editor中就是Assets了。 Application.streamingAssetsPath ...
  • 资源目录开发逻辑

    2021-03-25 20:23:39
    资源目录结构总览 index.vue:资源目录的入口文件 left:左侧 tree:info组件 treeOperations:树结构操作组件 right:右侧 infoDataset: 数据集的列表 dataset-index新建数据集 jdbc 选择数据...
  • PE文件学习(三)数据目录表之资源

    千次阅读 2015-08-26 19:40:57
    资源是PE文件中最复杂的结构了,资源在PE文件中是以目录结构的形式存在的,一般情况下分为3层,从根目录开始分别是资源类型、目录资源ID与资源代码页。  3层目录结构都是由一个IMAGE_RESOURCE_DIRECTORY结构为头部...
  • 政府大数据之资源目录管理

    千次阅读 2019-11-12 14:53:30
    最近客户正在按照三定职责梳理职责目录和数据,需要用到大数据平台的资源目录系统,经过几次交流,逐步梳理出一些改进需求。根据我的理解,梳理出资源目录系统的功能架构,将一些需要重点改进的点记录下来。 根据...
  • 政务信息资源目录体系 第3部分:核心元数据 政务信息资源目录体系 第4部分:政务信息资源分类 政务信息资源目录体系 第5部分:政务信息资源标识符编码方案 政务信息资源目录体系 第6部分:技术管理要求
  • 将数据库的数据查询,在springboot项目资源目录新建txt文件,写入数据库查询的数据,本人小白,求详细点代码,谢谢!!!!!!!!

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,986
精华内容 5,194
关键字:

数据资源目录