精华内容
下载资源
问答
  • ArcGIS地图数据资源

    万次阅读 多人点赞 2015-03-02 11:43:33
    收集一些ArcGIS地图数据资源,和相关软件,用于研究、学习、开发测试。 一. 中国各种ArcGIS SHP文件。 下载: http://pan.baidu.com/s/1hq3UJe0 CSDN网站和其他地方都有下的; 下载解压后有一个Lambert文件夹,...

        收集一些ArcGIS地图数据资源,和相关软件,用于研究、学习、开发测试。

    一. 中国各种ArcGIS SHP文件。

        下载:

        http://pan.baidu.com/s/1hq3UJe0

        CSDN网站和其他地方都有下的;

        下载解压后有一个Lambert文件夹,其内容如下:

     

    在网上下到一个shp文件查看器,可在此下载,网上也有下的:

    http://pan.baidu.com/s/1eQD2sbo

    用此软件打开shp文件,看不到shp文件图形显示,估计因为shp要叠加到MXD地图文档上才可显示,可见到shp文件包含的数据表内容;搞清数据表内容对于开发也是有用的;如下图;

     

    在ArcView中则可打开,下载ArcView 绿色版3.2,运行;新建View,在菜单中选择View-Add Theme;可见到shp文件图形,如下图;

     

    有空可与鄙人交流GIS开发,q号513979805;

     

     

     

     

     

    展开全文
  • 前言随着信息技术的不断涌现和普及,业务发展加快了数据膨胀的速度,行业内衍生了较多的新名词,如数据治理、数据管理、数据资源管理、数据资产管理等名词的定义很多,概念容易混淆,...
        

    640?wx_fmt=gif

    前言

    随着信息技术的不断涌现和普及,业务发展加快了数据膨胀的速度,行业内衍生了较多的新名词,数据治理、数据管理、数据资源管理、数据资产管理等名词的定义很多,概念容易混淆,本文对这些名词术语及内涵进行系统的解析,便于读者对数据相关的概念有全面的认识。

    数据与数据管理 (Data and Data Management)
    1.1
    数据

    数据(Data)是指所有能输入到计算机并被计算机程序处理的符号的介质的总称,是用于输入电子计算机进行处理,具有一定意义的数字、字母、符号和模拟量等的通称,是组成信息系统的最基本要素。

    未来是智能时代,企业的决策机制将发生巨大变化,谁最先拥抱数据,谁就拥有更多智慧,谁就拥有更强竞争力,大数据技术将会推动人类无所不知、无所不晓、无所不能,助力无所不能的是无所不包的数据,未来十年,只有拥抱数据技术才是唯一选择。

    1.2
    数据管理

    数据管理(Data Management)的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。2015年,国际数据管理协会(DAMA,Data Management Association International)在DBMOK2.0知识领域将其扩展为11个管理职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安全(Data Security)、数据集成与互操作性、文件和内容、参考数据和主数据(Master Data)、数据仓库(Data  Warehouse)和商务智能(BI,Business Intelligence)、元数据(Metadata)、数据质量(Data quality)等。

    数据管理(Data Management)是指通过规划、控制与提供数据和信息资产职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,以获取、控制、保护、交付和提高数据和信息资产价值。

    表1.各大机构对数据管理的定义一览表

    机构
    名称

    数据管理

    DAMA

    -DMBOK

    数据管理(Data Management, DM)是为实现数据和信息资产价值的获取、控制、保护、交付以及提升,对政策、实践和项目所做的计划、执行和监督。

    该定义包含以下三层含义:

    (1)数据管理包含一系列业务职能,包括政策、计划、实践和项目的计划和执行;

    (2)数据管理包含一套严格的管理规范和过程,用于确保业务职能得到有效履行;

    (3)数据管理包含多个由业务领导和技术专家组成的管理团队,负责落实管理规范和过程。

    数据管理的其他称谓包括:信息管理(IM)、企业信息管理(EIM)、企业数据管理(EDM)、数据资源管理(DRM)、信息资源管理(IRM)、信息资产管理(IAM)。

    ISO

    OBP

    (1)数据管理提供对数据的访问、执行或监视数据存储以及控制数据处理系统中所有输入输出操作的功能。——摘自ISO/IEC 20944-1:2013(en), 3.6.6.2

    (2)数据管理的接口有向更高级别的应用程序和接口提供读取、写入、收集、筛选、分组和事件订阅以及RFID标记数据通知的功能。——摘自ISO/IEC   24791-1:2010(en), 4.2

    (3)数据管理在数据处理系统中,提供对数据的访问、执行或监视数据存储以及控制输入输出操作的功能〔ISO/IEC 2382:2015,信息技术词汇〕。在整个数据生命周期中,提供对符合数据要求的业务和技术数据的规划、获取和管理。

    ——摘自ISO/IEC/IEEE 24765:2017(en),   3.1017

    数据治理(Data Governance)
    2.1
    数据治理的定义

    数据治理(Data Governance)是一个正在不断发展的新兴学科,与众多新兴学科一样,目前数据治理存在多种定义,各大机构对数据治理的定义,如下表所示:

    表2. 各大机构对数据治理的定义一览表

    机构

    名称

    数据治理相关定义

    DGI

    数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。

    IBM

    数据治理是一门将数据视为一项企业资产的学科。数据治理是针对数据管理的质量控制规范,它将严密性和纪律性植入企业的数据管理、利用、优化和保护过程中。它涉及到以企业资产的形式对数据进行优化、保护和利用的决策权利。它涉及到对组织内的人员、流程、技术和策略的编排,以从企业数据获取最优的价值。

    DMBOK

    数据治理(Data Governance, DG)是指对数据资产管理行使权力和控制的活动集合(规划、监督和执行)。

    COBIT 5

    COBIT 5中给出的不是数据治理定义,而是信息治理。因为这两个术语实际上是同义词,所以可采用COBIT   5的信息治理定义作为数据治理定义。

    信息治理(Information Governance, IG)包含以下三个方面的内容[ISA13]:

    (1)确保信息利益相关者的需要、条件和选择得到评估,以达成平衡的、一致的企业目标,这些企业目标需要通过对信息资源的获取和管理实现;

    (2)确保通过优先排序和决策机制为信息管理职能设定方向;

    (3)确保基于达成一致的方向和目标对信息资源的绩效和合规进行监督。

    百度

    百科

    数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程,并最终使企业能将数据作为企业的核心资产来管理。

    学术

    文献

    (1)数据治理是指企业数据管理的决策权和相关职责的分配。

    (2)数据治理是一个用于明确企业数据使用的决策权和职责分工的结构化框架。

    (3)数据治理是指企业数据资产的决策权分配。

    (4)数据治理是金融机构对有效数据产生影响的人员、过程、技术应用和组织的处理和管控,以确保数据对合理使用者和所有者产生的内涵性、有效性、一致性、时效性、可用性和质量维度。

    2.2
    狭义的数据治理

    狭义的数据治理的驱动力最早源自两个方面:

    1)内部风险管理的需要,包括:财务做假、敏感数据涉密、数据质量差影响关键决策等。

    2)为了满足外部监管和合规的需要,比如萨班斯-奥克斯利法案、巴塞尔I/巴塞尔协议、健康保险流通与责任法案(HIPAA)等。

    但随着全球越来越多的企业了解到信息资产的重要性和价值,在过去几年中,数据治理的目标也在发生些转变。除满足监管和风险管理外,如何通过数据治理来创建业务价值备受关注。

    2.3
    广义的数据治理

    广义的数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行),指导其他数据管理职能如何执行,在高层次上执行数据管理制度。组织为实现数据资产价值最大化所开展的一系列持续工作过程,明确数据相关方的责权、协调数据相关方达成数据利益一致、促进数据相关方采取联合数据行动,数据治理与数据管理的关系如下图所示:

    640?wx_fmt=png

    图1.数据治理与数据管理关系

    数据治理的全过程:从范围来讲,数据治理涵盖了从前端事务处理系统、后段业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统),从目的来讲,数据治理就是对数据的获取、处理、使用进行监督(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过五个方面的执行力来保证——发现、监督、控制、沟通、整合。

    数据治理的目标:共同保证“正确的信息,以正确的形式,在正确的时候,交付给正确的人”。

    2.4
    数据治理的重要性

    高质量的数据对任何企业都是战略性资产,随着企业推进数字化转型的进程,有效数据正迅速成为一个关键的业务差异,但要使数据具有价值,需确保数据的可信任、安全性、可访问性、准确性、共享性和及时性。数据治理有助于增强企业灵活性以最小化决策相关成本和风险,特别在数字经济中,数据治理比以往任何时候都显得尤为重要。

    缺乏企业高层领导的支持、系统间的数据壁垒和整个治理项目缺乏明确的流程和数据模板、数据所有权和问责机制不清等因素是导致项目失败或者治理结果不理想的主要原因。涉及到企业中所有跨功能和跨业务的决策机制。数据治理具有战略性、长期性、艰巨性、系统性、持续企业内部数据环境优化治理工作,因此数据治理是一个漫长而持续的过程,没有一针顶破天的诀窍,也没有立竿见影的捷径,要避免对数据治理工作粗浅的认识

    数据资源管理(DRMData Resource Management

    数据资源管理(Data Resource Management)是应用数据库管理、数据仓库等信息系统技术和其他数据管理工具,完成组织数据资源管理任务,满足企业信息需求的管理活动。

    数据资源管理(Data Resource Management)是应用信息技术和软件工具完成组织数据资源管理采用文件处理方法,在这种方法中,数据根据特定的组织应用程序的处理要求被组织成特定的数据记录文件,只能以特定的方式进行访问。这种方法在为现代企业提供流程管理、组织管理信息时显得过于麻烦,成本过高并且不够灵活。因此出现了数据库管理办法,它可以解决文件处理系统存在的问题。

    全业务域数据资源中心为企业提供完整的数据中心解决方案,提升企业管理和运营效率,实现数据采集管理、标准规范管理、元数据管理、主数据管理、数据协同与追溯管理、调度管理,数据反捕、BI决策分析等,通过体系化的数据资源管理中心的建设,可有效打通企业内部之间的数据流通渠道,解决企业管理信息化在数据层面的核心问题,形成横向集成、纵向贯通的高效、有序的信息流,发挥数据信息的基础支撑作用,满足企业对信息和数据的需求,帮助企业解决数据集成和共享、盘活数据资产和有效规避信息孤岛等问题。

    数据资产与数据资产管理(DAM,Data Asset Management)
    4.1
    数据资产的定义

    数据资产(Data Asset)是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。

    4.2
    数据资产的属性

    数据资产具有无形资产的属性,从这个角度出发,我们可以发现数据资产主要有以下特性:无消耗性、增值性、依附性、价值易变性、战略性。

    • 无消耗性:数据资产的每次使用只需要花费很低的成本,不会因为使用频率的增加而磨损、消耗,与其他传统无形资产有相似性。

    • 增值性:企业通过稳定发展,会促使数据资产在原有的基础上,数据规模和数据维度的不断积累,整体价值进一步提升。

    • 依附性:与其他无形资产类似,数据资产不能独立发挥作用,其发挥作用和效应往往依附于相应的软件、硬件。

    • 价值易变性:数据资产时刻受到数据容量、数据时效程度、应用场景等因素的影响,与其他无形资产相比,其价值更易发生变化。

    • 战略性:一切数据业务化,一切业务数据化,具有战略性。

    4.3
    数据资产管理

    数据资产管理(Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。

    数据资产管理(Data Asset Management)一般来说包括统筹规划、管理实施、稽核检查和资产运营四个主要阶段,贯穿数据采集、存储、应用和销毁整个生命周期全过程。企业管理数据资产就是对数据进行全生命周期的资产化管理,促进数据在“内增值,外增效”两方面的价值变现,同时控制数据在整个管理流程中的成本消耗。

    640?wx_fmt=png

    图2.数据资产管理过程

    数据资产管理(Data Asset Management)包括两个重要方面,一是数据资产管理的核心管理职能;二是确保这些管理职能落地实施的保障措施,包括战略规划、组织架构、制度体系等。

    数据管理、数据资源管理与数据资产管理内涵的演进

    数据管理、数据资源管理与数据资产管理有着密切关系和关联,但随着现代数字技术的高速发展,三者在内涵、侧重、延伸等方面存在差异。

    640?wx_fmt=png

    图3.数据管理、数据资源管理与数据资产管理的关系

    5.1
    数据资产内涵

    在数据资产化的大背景下,数据资产管理是在数据管理基础上的进一步发展,可以视作数据管理的升级版,主要区别在以下三个方面:

    一是数据管理的视角不同,数据资产管理强调数据是一种资产,基于数据资产的价值、成本、收益开展全生命周期的管理。

    二是管理职能有所不同,数据资产管理包含数据模型、元数据、数据质量、参考数据和主数据、数据安全等传统数据管理职能,同时整合数据架构、数据存储与操作等内容,将数据标准管理纳入管理职能,并针对当下应用场景、平台建设情况,增加了数据价值管理职能。

    三是管理要求有所升级,在“数据资源管理转向数据资产管理”的理念影响下,相应的组织架构和管理制度也有所变化,需要有更专业的管理队伍和更细致的管理制度来确保数据资产管理的流程性、安全性和有效性。

    5.2
    三者的关系
    • 数据管理指利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。数据管理目标:在于充分有效地发挥数据的作用。

    • 数据资源管理致力于发展处理企业数据生命周期的适当的建构、策略、实践和程序。数据资源目标:去寻找手段,以有效的控制数据资源,并提升数据资源的利用率。

    • 数据资产管理的核心思路是把数据对象作为一种全新的资产形态,并且以资产管理的标准和要求来加强相关体制和手段。从经济角度,满足对资产运营的各类管理要求。

    5.3
    数据资产管理三个关键变革
    • 数据与企业设备、软件、人才一样成为企业的重要资产,可以从多个角度和多个层面为企业带来价值收益。

    • 数据资产管理除了包含传统以数据质量提升为目标的数据治理外,还包括挖掘数据价值的数据运营。

    • 数据资产管理不能仅仅依靠信息部门开展,需要企业自上而下各个部门之间的分工协作。

    结论

    本文对数据、数据管理、数据治理、数据资源管理、数据资产管理等内涵作了详细说明,便于读者更好的理解和掌握数据领域相关概念,最后总结两点:

    一、数据资源将成为战略资产,而有效的数据治理才是数据资产形成的必要条件。二、有效的数据治理是一个持续性的过程,也是逐步实现数据价值的过程。所以数据治理是企业信息化的基石,数据资产是企业战略发展的核心价值,数据管理为企业赋能。(鸣谢:蔡春久先生给予专业指导)

    参考文献

    [1].国家标准GB/T 36073-2018《数据管理能力成熟度评估模型》

    [2].中国信息通信研究院云计算与大数据研究所CCSA TC601大数据技术标准推进委员会《数据资产管理实践白皮书(4.0)》

    [3].《The DAMA Guide to the Data Management Body of Knowledge》

    [4]. Boris Otto《Data Governance》

    [5]. Weber K, Otto B, Oterle H (2009).《One Size Does Not Fit All---A Contingency Approach to Data Governance》

    [6]. Khatri V, Brown CV (2010).《Designing data governance》

    [7].《论金融机构金融风险管理中的数据治理》

    [8].《Building the data warehouse》 W. H. Inmon

    [9].《The DGI Data Governance Framework》

    [10].《数据资产管理》高伟 机械工业出版社

    [11].James A.O'Brien & George M.Marakas(李红、姚忠译).Manngement Information Systems(管理信息系统) 人民邮电出版社,2007

    640?wx_fmt=jpeg

    往期精选

    展开全文
  • 一个Java web的数据资源池项目主要是做什么的?项目应该有哪些模块,主要功能是干嘛,刚接收这个项目,让写一个建设文档,不知道数据资源池是干嘛用,谁有项目的demo,帮帮忙呗,谢谢了
  • Unity5.x ScriptableObject数据存储结合AssetBundle打包实现数据资源热更新 这次在项目开发中,无意了解到ScriptableObject数据存储功能,在结合AssetBundle来实现资源和数据的热更新。当然这里只是资源和数据的...

    Unity5.x ScriptableObject数据存储结合AssetBundle打包实现数据资源热更新

    这次在项目开发中,无意了解到ScriptableObject数据存储功能,在结合AssetBundle来实现资源和数据的热更新。当然这里只是资源和数据的更新,并没有做到代码的更新。因为本人项目中并没有去真正的使用,所以不去讲解代码的热更新,有机会在项目用使用时在进行详解。

    在项目开发过程中,我一直想要将美术资源,以及一些数据配置抽离出来,方便以后进行更新,但是苦于自己那时候了解太少,所以在之前的项目中没有真正使用到。这次在新项目开发中,无意了解到这个ScriptableObject,在结合AssetBundle打包来实现数据资源更新,经过本人测试也是没有问题的,当然我的是将资源放在本地,不过本地与网络其实差别并不是特别大。

    目录

    ScriptableObject详解

    什么是ScriptableObject

    什么是ScriptableObject呢?在百度搜索有大量的ScriptableObject方面的资料和使用,这里我就不详细的去讲解了,毕竟我们这里是实战运用。

    ScriptableObject就是“脚本化对象”,将这类作为存储结构化的数据来使用,并写入Unity的资源.asset文件去存储一组数据,取用的时候直接作为一个数据对象拿来用。

    我们在项目开发中一直听网上说,将资源打包成.asset文件,我一直以为是AssetBundle等等,直到我接触了它原来是ScriptableObject。废话不多说,开始使用ScriptableObject。

    ScriptableObject使用

    新建一个C#类,只不过继承的不是MonoBehaviour,继承的是ScriptableObject类,所以新建的这个C#类他就不能添加到物体的组件中了,但是他可以作为一个变量对象供其他地方使用。

    [注:因为所有的代码和资源都是我在真正项目中的运用,所以有些地方会打上马赛克,敬请谅解!!!][5]

    • 新增C#类,继承ScriptableObject,命名为LoadingData.cs
      新增ScriptableObject类
      CreateAssetMenu特性是在Unity编辑器中创建一个生成LoadingData.asset文件的按钮
    • 在Unity编辑器中,Project窗口中右击就会存在创建LoadingData文件的按钮
      这里写图片描述
      这里写图片描述
    • 生成LoadingData文件后,配置好参数
      这里写图片描述
      在LoadingData文件中,可以看到这些变量其实就是LoadingData.cs类定义的变量。
    • 使用LoadingData文件中的数据
      1)一种方式在继承MonoBehaviour的类中声明一个LoadingData变量,然后将这个LoadingData.asset文件拖入到这个变量中。
      这里写图片描述
      这里写图片描述
      LoadingData是我们前面所创建的文件,这里我就不进行阐述了。
      在LoadingDataTest脚本中,当获取到这个对象后,你就可以进行读取LoadingData.asset文件中所配置好的数据了。然后你就可以进行数据了,至于怎么处理那就根据实际情况来了。[需要注意的是当你在代码中改变了LoadingData.cs字段中的值,那么LoadingData.asset文件中相应的值也会进行永久改变,其实就类似与我们将数据写入到txt文件中][1]。
      如下所示:
      这里写图片描述
      这里写图片描述
      这里写图片描述
      这里用来做数据的保存和读书还是比较方便的,在有些情况下比txt文件、Json文件、Excel文件等要方便一些,不过还是要根据情况来进行选择。注意哦:如果你是将.asset文件通过AssetBundle打包,然后读取AssetBundle打包文件在解析成.asset文件,这时我就不清楚能不能进行对.asset文件的写操作了。不过按照正常的逻辑来说,应该是不可以的,我也目前没进行测试,所以不发表言论。
      2)通过Resources来读取.asset文件。
      为了在实际项目中验证这个功能,该测试将通过打开后,查看结果。首先先看代码,读取LoadingData.asset文件,获取到LoadingData对象,并且给Image赋值,验证读取。然后在将LoadingData中图集集合中的第2个元素值赋予第1个元素,验证写入功能。如图:
      这里写图片描述
      这里写图片描述
      在编辑器中运行
      第一次运行结果,可以看到我们的LoadingData.asset文件中的图片集合元素第一个值已经发生改变了。
      这里写图片描述
      第二次运行结果
      这里写图片描述
      发布后的运行
      第一次启动。
      这里写图片描述
      第二次启动。
      这里写图片描述
      打包后,第二次运行还是跟第一次运行一样的,图片并没有进行更改。但是我们在编辑器测试是可以进行变动的。所以在真正项目开发这点需要注意。
      3)通过WWW读取路径来读取.asset文件。
      第三种那就是用过WWW,读取本地的.asset文件了,不是通过Resources.Load()去加载,也不是通过Unity编辑器中的手动拖入赋值。这就需要利用我们的AssetBundle了。

    AssetBundle详解

    AssetBundle讲解,在我之前的一篇博客中已经详细讲解了,这里就不进行阐述了。Unity5.x AssetBundle依赖项打包详解

    ScriptableObject结合AssetBundle运用

    • 获取到AssetBundle打包后的文件
      这里写图片描述
      这里写图片描述
      我将打包后的文件放入到Unity的StreamingAssets文件夹中,方便我的读取与更新。
      这里写图片描述
    • 通过AssetBundle读取并解析成.asset文件并转化为ScriptableObject
      如果不知道怎么读取AssetBundle打包后的文件,可以参考我的博客:Unity5.x AssetBundle依赖项打包详解
      代码如下:
      这里写图片描述
      还有一部分没有展示出来,那一部分是AssetBundle的初始化以及读取。

      当我们读取到ScriptableObejct对象时,就相当于回到了ScriptableObject的运用中了,拿到ScriptableObject对象后,就可以根据自身的情况获取这些数据,需要注意到的是这些数据你只能进行读取,是没办法在代码中进行更改的。同时当你要进行数据的更新时,比如说项目的背景图或者项目的某些数据你需要进行更新,那么你就可以直接替换这个通过AssetBundle的文件,你也不需要重新发布。当然前提是需要你把规则制定好,比如服务器的资源和本地资源的匹配,这个一般都是根据情况来进行处理的。

    展开全文
  • 30个免费数据资源网站

    千次阅读 2013-08-29 13:41:26
    人们都喜欢听故事而不是看数字和公式,数据可视化可能是...随着全世界对数据资源的重视,现在有很多新的公开数据源可供研究者使用。下面就是visual.ly归纳的三十个免费的数据资源网站。本文进行了翻译和补充。 1
    人们都喜欢听故事而不是看数字和公式,数据可视化可能是讲故事的终级神器。但这里有个前提条件,你首先得拥有数据。获取可靠的数据涉及到多个步骤,找到数据、整理清洁数据、转换为合适的格式等等。数据准备往往是数据分析工作中非常让人头疼的方面。随着全世界对数据资源的重视,现在有很多新的公开数据源可供研究者使用。下面就是visual.ly归纳的三十个免费的数据资源网站。本文进行了翻译和补充。



    1 政府数据
    • Data.gov:这是美国政府收集的数据资源。声称有多达40万个数据集,包括了原始数据和地理空间格式数据。使用这些数据集需要注意的是:你要进行必要的清理工作,因为许多数据是字符型的或是有缺失值。
    • Socrata它是探索政府相数据的另一个好地方。Socrata的一个了不起的地方是,他们有不错的可视化工具,使研究数据更为容易。
    • 一些城市都有自己的数据门户网站设置,可供访问者浏览城市的相关数据。例如,在旧金山数据网站,你可以获得很多数据,从犯罪统计到城市的停车位。
    • 联合国有关网站,例如世界卫生组织提供了丰富的数据资源,从死亡率到世界饥饿统计数字。
    • 美国人口普查局也有相当多的生活数据,例如收入、种族、教育、人口和商业信息。
    2 集成数据
    这些网站已经从各种地方收集了相当多的数据。有时更容易从这里找到好东西。
    • Programmable Web:这是一个探索各类API的好地方。
    • infofochimps:提供了一个数据集市,其中有大量的公开数据资源和API资源。类别非常广泛,从Twitter到地理位置数据。用户甚至可以上传自己的数据。
    • Data Market这也是一个好地方,数据包括了经济,医疗保健,食品和农业,汽车行业相关的数据。
    • Google Public data explorer谷歌公共数据浏览容纳大量的数据,从世界发展指标、经合组织和人类发展指标,主要是有关经济数据。
    • Junar这也是一个很好的提供的数据抓取和传送服务的网站。
    • Buzzdata这是一个提供数据共享服务的网站,它允许用户上传自己的数据和连接。
    3 社交网络数据
    通常情况下要得到社交数据,需要依赖社交网站本身提供的API数据。
    • Twitter:你可以访问Twitter API,但其用途相当有限,Twitter API有一个获取数据的限制。如果需要更多信息,可以去看看Gnip或者PeopleBrowsrDataSift
    • Foursquare:他们有自己的API,你也可以通过Infochimps得到它。
    • Facebook:Facebook的图形API是Facebook的最佳资源。
    • Face.com一个提供面部识别数据的工具。
    4 气象数据
    • Wunderground这里提供了详细的天气信息,可以用邮政编码或城市名称来搜索历史数据。它提供了温度、风速、降水等信息。
    • Weatherbase有详细的天气统计数据,近27000个城市的温度,降雨和湿度。
    5 体育数据
    下面三个网站都提供球队、球员、教练和经理的全面信息。
    • 足球
    • 棒球
    • 篮球
    • ESPN最近也推出了自己的API,但你必须是一个合作伙伴才可以获得他们的数据。
    6 高校和科研
    针对在某一领域的学者工作进行搜索是获取数据的有效方法。如果你想在一份研究报告中用一份相关数据,最好的办法是直接联系有关专业的大学教授。
    加州大学洛杉矶分校提供了一些在其课程中使用的数据集。

    7 新闻资料
    • The New York Times:它有一个很好的API和资源管理器访问任何出版物中的文章。
    • The Guardian Data Blog:卫报的数据博客会定期提供一些数据可视化的文章,其数据可通过Google文档格式下载。
    下面是笔者的补充:

    展开全文
  • 注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata) 在和一些客户、同事聊数据的时候,发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家...
  • 是规划、控制和提供数据及信息资产的一组业务职能,包括开发执行监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK 1.0 数据治理 Data ...
  • 除了企业自身的积累乃至付费的购买以外,原先掌握在政府手中的公共数据资源究竟该如何获得呢?答案就在?开放?二字。 开放公共数据资源,并不等同于免费获得。计算机学会大数据专委会副秘书长潘柱廷强调,我们在承认...
  • 政府数据资源管理系统

    千次阅读 2009-04-25 12:08:00
    政府数据资源分析管理平台是政府综合信息化数据分析的支撑,是将政府部门日常的工作数据进行量化处理,既而形成统一标准、统一管理的信息化体系,其最终目的是对采集的数据进行综合分析,为领导者在体系建设中提供的...
  • Flask-在Flask中跨请求传递数据资源

    千次阅读 2016-10-24 23:29:14
    由于项目需要,我想在Flask中跨请求传递数据资源,而且请求接口必须是异步非阻塞的方式,Flask的异步请求已经在这篇文章中解决。
  • 无法加载指定的元数据资源 这种问题通常都是ef的配置文件和model不符合 如这里的配置文件是这样 而那个model名字确是这样的 所以就会有问题 EF5.0对一个或多个实体的验证失败。有关详细信息,
  • 全国地理信息资源目录服务系统,官方数据下载站,地址:http://www.webmap.cn 可下载DEM、卫星影像、土地覆盖、植被、全国重点洪水、土地利用、矢量地图、地表覆盖,等数据,审批很快,脱密的数据可以直接使用。, ...
  • Navicat 同步数据结构,对比数据资源

    千次阅读 2016-03-29 10:55:55
    好久没有写技术博了,都是懒,以防以后忘记,专门记录下来。 以下是Navicat在window下使用的在线API文档,  ...对比两个数据库之间的数据库资源  1.选中数据库----------
  • 资源来自网络 1. 疫情更新的数据集,每24小时更新,但目前来看,好像更新不是很及时,可以不管 https://www.kaggle.com/imdevskp/corona-virus-report 表格内容: Province/StateProvince/State Country/...
  • 用户数据隔离 使用hdfs权限管理及数据加密区 参考:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html ...
  • 大数据时代背景下的文物数据资源

    千次阅读 2017-03-27 15:07:13
    “大数据”(Bigdata)是信息时代的产物,最初用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。 伴随计算机云时代的来临,大数据通常用来形容一个集合创造的大量非结构化数据和半结构化数据...
  • 无法加载指定的元数据资源

    千次阅读 热门讨论 2016-02-27 09:13:13
    【问题】    重新运行了程序,却出现了下面的问题,自己仅仅是重新生成了一下Model层。   ...忽然想起来,自己生成model的时候改了名字,也就是model层的app.config和我们UI的web.config
  • 先定义一个json文件 .../**人物选择资源数据 */ public static CHOOSE_CHARACTER_DATA:string = "data/choose_character.json"; assets.push({ url: ResourceManager.CHOOSE_CHARACTER_DATA, type: Laya.Loa
  • NLP必不可少的中文数据资源

    万次阅读 2018-01-17 12:30:10
    搜狗实验室数据资源 首先挂一个链接,因为其他博文的链接都是八百辈子之前的都挂掉了,想要下载的点击这个 搜狗实验室 ,强烈建议不要使用Chrome,不知道为啥就是无法跳转到下载界面,我使用的Safari,然后登记下...
  • 看下config文件中的连接串的 .csdl|res://*/Entity.AllData.ssdl|res://*/Entity.AllData.msl;
  • 今天研究了一下应用在启动的时候,将一些固定的资源加载到缓存中,这样
  • 将自动生成的App.Config中的数据库连接字符串中"换成单引号‘。...
  • GPS轨迹数据集免费下载资源整理

    万次阅读 多人点赞 2017-02-27 23:35:32
    如果你发现更好的相关数据资源,欢迎共享 :)1. GeoLife GPS Trajectories该GPS轨迹数据集出自微软研究GeoLift项目。从2007年四月到2012年八月收集了182个用户的轨迹数据。这些数据包含了一系列以时间为序的点,每一...
  • 遥感数据相关资源获取

    千次阅读 2018-12-12 17:05:10
    整理的一些数据资源:  百度云数据 提取码:awy1  中国遥感数据共享网 http://eds.ceode.ac.cn/sjglb/dataservice.htm 说明:这是国内存档周期最长的数据网站,对LANDSAT系列接收数据进行免费共享,还可以...
  • 数据挖掘数据集下载资源

    千次阅读 2015-08-18 10:19:01
    在网上看到很好的资源收集,分享给大家: 1、气候监测数据集http://cdiac.ornl.gov/ftp/ndp026b 2、几个实用的测试数据集下载的网站 http://www.fs.fed.us/fire/fuelman/ http://www.cs.toronto.edu/~roweis/...
  • 平台是由中国科学院地理科学与资源研究所和中国科学院资源环境科学数据中心一起运营支撑的,主要的数据方向是中国的资源环境数据,当然,也有全球的部分有关数据。下面简单介绍这个平台数据集目录和下载说明。 一...
  • 以下为7个步骤用于学习数据挖掘和数据科学。虽然有编号顺序,你也可以并行或以不同的顺序学习: 1 语音:学习R、Python以及SQL语音;...5 数据:检查可用的数据资源并在那里找到东西; 6 竞赛:参加
  • GIS数据下载资源大全

    万次阅读 多人点赞 2019-03-15 23:14:47
    GIS数据下载资源大全 如需了解更多,请关注公众号“GIS点滴”
  • 数据数据元、资源目录

    千次阅读 2018-11-30 18:47:00
    1元数据(Metadata) 1.1元数据概念 1、主要是描述数据属性(property)的信息; 2、描述数据数据; 3、关于数据的结构化数据; 4、描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 158,192
精华内容 63,276
关键字:

数据资源