精华内容
下载资源
问答
  • 数据地图

    千次阅读 2019-08-20 10:40:00
    1.什么是数据地图 数据地图是一种图形化的数据资产管理工具,它提供了多层次的图形化展现,并具备各种力度的控制能力,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。 2.案例分析 以...

    1.什么是数据地图

    数据地图是一种图形化的数据资产管理工具,它提供了多层次的图形化展现,并具备各种力度的控制能力,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

    2.案例分析

    以百度地图为例,通过交互式界面,我们可以在一个陌生的城市,方便地搜索我们想要的信息,比如:附近的酒店、美食、景点、游乐园、超市、的士等一系列服务信息,并且直接可以在搜索到的界面中,点击电话号码来订餐或者通过小程序叫车。围绕着不同的场景来进行信息交换也可以理解为资源置换和服务整合。

    3.构建数据地图平台

    有些银行、保险公司想规划建设一套数据地图平台,能够提供如手机地图软件一样的创新数据服务形式,内容如下:

    1. 支持快速搜索定位,找到企业中各种数据资产,形成有效的数据交汇,来支持应用分析。
    2. 提供各种数据资产快速展现的个性化形式,方便使用者获取所需要的关键信息。
    3. 积累过去所有进行过的数据加工知识,在相似场景下可以更好的推送或重复使用这些数据。
    4. 在数据的搜索结果上,直接配备方便的分析工具,让数据使用的更加得心应手。
    5. 建立数据资产分布及综合评估的入口,更好的了解数据资产使用的各个方面。

    借助这样的平台,企业的数据资产的配置效率将会大大提升,而潜在创造的未来经济效益也会快速增长。

    将数据装入地图

    数据地图是一种全新的信息门户入口,并不是简单地把数据报表、分析工具、数据应用的网页链接整合起来,做一个前台框架,即使是建立了所谓的个性化工作台的前台框架。事实上,数据地图所提供的价值远远不知如此,具备的战略意义也很大。数据地图的对象分为三类:数据资产的使用者、开发者和管理者。

    1.数据资产使用者视图

    作为数据资产的使用者,我们通常关心的是数据是什么、数据在哪里、数据如何取、数据怎么用四方面的问题。

    • 数据是什么:需要知道数据形式是怎么样的,比如结构化或非结构化;数据定义是什么,比如技术、业务、管理等;数据的使用特性如何,比如频度、评价、质量、安全级别等;数据包含什么信息,比如时间周期、业务分类、信息密度。
    • 数据在哪里:需要知道数据存放的位置,与业务相关的数据还有过去曾今用过且值得参考的数据有哪些,与数据使用相关的辅助性工具在哪里,等等。
    • 数据如何取:需要提供一系列工具及辅助信息,帮助实现数据采样、数据查询、数据下载、数据安全沙箱建立各种使用数据的方式。
    • 数据怎么用:需要帮助使用者更快速便捷地获取数据内在信息,例如,数据摘要信息、数据快速分析、数据报表工具、数据分析模型、知识帮助指导等。

    2.数据资产开发者视图

    数据地图给数据资产开发者提供了全新的数据使用帮助,根据是否以数据地图为入口,也可以将开发者分为两类:

    • 独立于数据地图的数据资产开发者:数据地图作为一种对数据资产分布及运行情况的反馈的工具,用于帮助开发工作的有序进行。例如,对于业务部门提出的新增指标需求的开发,如果缺少数据地图对整个企业数据资产的全盘映射,则研发人员无法准确知道该指标是否已经存在,以及重复开发的可能,长期这样的话,会导致企业数据资产冗余低效,但依托数据地图,则可以通过指标注册、存在分析、链路比较等功能对指标的新增需求、加工流程进行一个统一的管理。
    • 以数据地图为入口的数据资产开发者:可以参考框计算,数据地图可以实现对各种数据工具的集成,从而变成一个全新的入口整合平台。比如,原来搜索出来的报表,只知道名称和位置,要获取加工和所处位置,要获取信息或者做拆分加工,还需要启动开发流程,但借助数据地图,提供的工具集成,可以在搜索完之后,立刻进行简单的数据摘要信息展现、初步加工分析或者通过链接去调用其他系统的核心服务功能,这样便能让数据地图的功能更好丰富。

    3.数据资产管理者视图

    对于数据资产管理者来说,需要了解数据资产的全局情况,以及通过各种手段来评估数据资产在配置合理性、应用充分性、质量可靠性、风险可控性等方面的情况,从而有针对性地进行决策分析,并落实管理动作。数据资产管理者视图提供了如下三方面的能力:

    • 数据体检:提供对数据在设计、加工、运行、管理等不同的环节关键指标的采集,基于预设算法进行健康评估,从而为解决数据健康问题提供参考。数据体检是驱动数据治理不断完善的内生驱动力,它是高品质数据资产环境可持续发展的有力保障。
    • 运维监控:配合运维日常管理制度和人员,基于各种技术监控、预警、问题诊断、干预等手段,并且依托数据地图来统一展现和管理交互,因此保障数据质量的可靠性。
    • 安全评估:从数据安全角度提供评估分析能力,例如,数据敏感度、客户隐私信息和各环节审计日志记录管理等。

    在数据资产目录已经建设完成的情况下,数据地图的信息采集可以重复使用,这样就形成了整个企业或组织范围内。语义层数据(通过对数据库里的有关数据项定义)的集中管理,就需要在元数据的支持下,逐渐构建数据地图的信息逻辑层,并为后续建设数据资产目录提供一个基础。

    数据地图在创新中前行

    数据地图这个词在过去并不陌生,也曾被各个企业所提及,但它往往更像是网站地图,围绕数据在技术角度不同层次的加工过程,例如,数据转换出来、SQL脚本、任务调度等,提供对各类数据对象的展现能力,以及满足相应的查询和分析需求。类似于谷歌搜索对于互联网数据带来的整合价值,使得互联网信息能够更好的流通,从而创造出惊人的价值,数据地图也承载着这样的创新驱动责任。

    转载于:https://my.oschina.net/u/2000675/blog/3094881

    展开全文
  • 数据地图工具

    千次阅读 2016-11-13 21:54:45
    数据地图工具 http://www.jianshu.com/p/acecc956f9b9 将数据与地理信息叠加生产出数据地图,是近年来数据新闻生产的一种重要方式。不过地图生成一度是web上最困难的任务之一。Google Maps的出现完全颠覆了...

    数据地图工具

    http://www.jianshu.com/p/acecc956f9b9

    将数据与地理信息叠加生产出数据地图,是近年来数据新闻生产的一种重要方式。不过地图生成一度是web上最困难的任务之一。Google Maps的出现完全颠覆了过去人们对在线地图功能的认识。而Google发布的Maps API则让所有的开发者都能在自己的网站中植入地图功能。

    近年来,在线地图技术不断成熟,如果你需要在数据可视化项目中植入定制化的地图方案,目前已经有很多选择,下面就汇总了其中一部分。

    Google Fusion

    由google公司提供的fusion table可以轻松地将包含地理信息的spreadsheet转成地图,不少知名的媒体都曾尝试过用这一方式制作数据地图并结合到数据新闻项目之中。

    - The Guardian: WikiLeaks Iraq war logs

    由英国《卫报》所制作的数据地图,基于维基解密所提供的数据,将海湾战争后伊拉克的每一次伤亡标识在地图上。

    - The Guardian: WikiLeaks embassy cables

    英国《卫报》基于维基解密所作的大使情报管道。

    - The Telegraph: AV referendum

    英国《每日电讯报》所作的关于英国大选的数据地图。

    - WNYC: Mapping the storm clean-up

    利用众包方式制作,让电台听众用短信的方式报告他们清理积雪的情况。用三张图个展示三天里清理积雪的进展。

    - Texas Tribune: Census 2010 interactive map – Texas population by race, hispanic origin

    这张图展示了在得克萨斯州不同地区的西班牙后裔的分布情况。

    其他地图工具

    UMapper

    简单的地图工具,可以导入数据 也可以创建 线条、标签与形状,结果可以导出为 Flash ActionScript 3.0 or KML.

    Yahoo! MapMixer

    这个工具的特色在于可以将已有地图叠加到Yahoo地图上。

    map a list

    可以使用Google Spreadsheet来生成地图的免费应用。

    以下例子便是由上述工具制作而成

    Panedia

    结合了全景照片与地图创造出精彩的虚拟实景。

    terraSound

    将声音与地图加以结合。

    Twitter Weather Map

    将天气与推特结合起来放到地图上。

    2itch

    基于google地图,可供回答在我附近有什么店开通宵的。

    Ride the City

    纽约的自行车爱好者可以使用这张地图寻找安全的路线。

    World News Map

    有不少网站都可以实现在地图上显现新闻事件,而这个网站可以把特定地点发生的新闻追溯到2005年。

    Olympic medalists map

    这张图标出了奥运奖牌得主的故乡。

    OnionMap

    这张图结合了3D与数据地图。

    Breaking News Map

    同样是新闻地图,不过可以按娱乐、财经、政治等分类来查看。

    marshup工具

    Google My Maps

    可自定义标志、线条与多边形,可加入html,照片与视频。

    Map Builder

    可以在几分钟中轻松制作地图,可以进行地址搜索,上传csv格式的位置信息,可以编辑html代码,可以自定义操作。地图上的标识可以包括文本、图片、视频、html,可以导出为html/css格式文件。

    CommunityWalk

    可以上传excel文件,创建路径、色彩编码或自定义标记,可以导出到社交媒体

    YourGMap

    可以导出csv文件,可自定义标志

    Vidmap

    Vidmap可以将视频插入到地图之中,操作非常简单,只需将视频上传到vidmap或是youtube中,并与在地图上所绘制的路线结合起来即可。

    Batch Geocode

    将地址的表单文件复制粘贴即可生成地图。

    Open Heat Map

    最简易的热力图工具

    Target Map

    将文件中的地理数据上传到地图中,相比openheatmap之类的工具提供了更多个性化设置与细节。

    GeoCommons

    比Many Eyes功能多,交互方式更加多样化,还能处理常见的地理文件格式,例如shapefile和KML。这也是媒体比较喜欢使用的一个工具,以下是部分使用了GeoCommons的新闻作品

    indiemapper

    适合制图员和设计师。

    TileMill

    TileMill建立在一系列开源代码上。TileMill将项目间共享、下载和释放空间数据库结构、检测投影、索引SQLite数据库等自动化,你只用专注于地图的效果制作上。如果你已经有一定的CSS基础,TileMill将很容易上手。
    TileMill的核心是Mapnik渲染引擎,一个强大的全功能库,支持RGBA颜色,TrueType字体,SVG等。

    Weave

    Weave是一款开源的数据地图制作工具,由IVPR(可视化和感知研究学院)和OIC(开放指标联盟)合作推出。软件基于网络运行,可以处理各种数据源的数据,部署环境需要java和flash,可连接到其它开源统计平台。

    Batchgeo

    Batchgeo是一个在线的数据地图工具,只需要复制粘贴表格数据、设置首行对应的信息、生成地图三步。如果你的数据里没有包含经纬度信息,Batchgeo会根据邮政编码或街道地址获取位置信息并生成地图。

    CartoDB

    CartoDB是 一个不可错过的网站。你可以用CartoDB很轻易就把表格数据和地图关联起来,可以输入CSV文件,CartDB能将地址字符串自动转化成经度/维度数据并在地图上标记出来。目前CartoDB支持免费生成五张地图数据表,更多使用需要支付月费。

    ZeeMaps

    创建与发布特定类型的互动地图,支持多种格式。

    Click2Map

    可以在线创建地图的编辑器,可以将地图放在自己的服务器上,还有移动终端的app版本。

    ClustrMaps

    严格来说,这并不是地图生成器,使用了代码载入您的网页之后就会在页面添加一个计数器并显示您的页面所有访问者的位置,计数器显示的数字不断累加(即使数量很大也是如此)。如上例所示,点击这个计数器就会显示一张很大的世界地图,您还可以放大某个大洲(可选)。

    Animaps

    相比google map,它要麻烦一些,不过却可以生成高度互动的地图。

    iMapBuilder

    可以导入jpg等图片格式创建互动地图。

    Quickmaps

    免费注册后,可以在短时间内创建地图,所有工作可以在浏览器中完成。

    amMap

    可以使用照片作为层或是背景,可以高亮地点与路线,支持现代浏览器与主要的移动操作系统。

    MapQuest Tool

    最早的网上地图提供者,曾是收费服务,现已改为开源项目。既有api,也有免费工具,可创建互动或是静态地图。

    MapBox

    由OpenStreetView支持, MapBox 提供了多种胜色彩主题,以及多种语言。

    地图汇

    地图汇与Batchgeo类似, 使用者不需要任何的专业知识或者 编程技能,只需要将数据上传至网站,即可一键生成地图。“七步成诗,一步成图”是地图汇的宣传语,也是地图汇的服务主旨。用户只需要通过三个步骤,就可以 轻松打造出专属的地图应用。与Batchgeo不同的是,地图汇是国产的、中文的。

    地理空间信息(GIS)软件

    • ArcGIS
      一款大型软件,可以处理大批量的数据,还提供了平滑、合成等众多其他功能。可以在用户界面中完成所有事情,所以也不需要写代码。

    • Qgis
      自由软件的桌面GIS软件。它提供数据的显示、编辑和分析功能.可以在多种操作系统上运行,包括Mac OS X、Linux、UNIX和Microsoft Windows。相较于商业GIS,Quantum GIS的文件体积更小,需要的内存和处理能力也更少。因此它可以在旧的硬件上或CPU运算能力被限制的环境下运行。可以使用Shapefile、Coverage和Personal Geodatabase格式的数据。它也支持MapInfo、PostGIS和许多其他格式。

    具有制作数据地图功能的数据可视化工具

    Many Eyes

    只有一些基础功能,而且只能以国家或美国各州为单位。

    Tableau Public

    Tableau Public是一款BI软件,但是也有数据地图生成功能,而且可以将结果嵌入到网站。

    - R

    R是数据统计分析和数据可视化人士喜爱的免费工具, 它的基础版本并未提供地图绘制功能,但有一些工具包能帮助我们。

    unfolding

    unfolding是一个可以在Processing和Java中创建交互式地图和地理可视化的库。unfolding的四大特色功能:交互事件、数据可视化、风格化地图、清洁和可扩展的代码。对熟悉Processing或Eclipse环境的用户比较合适。

    Modest Maps

    Modest Maps是一个很小的地图库,只有10KB大小,是目前最小的可用地图库。Modest Maps是一个Flash和ActionScript的区块(拼接地图函数库,并且支持Python。Modest更像一个框架,而不仅是一个地图API。它只提供极少必备条件,方便你创建在线地图。

    Leaflet

    一个小型化的地图框架,通过小型化和轻量化来满足移动网页的需要。Leaflet和Modest Maps都是开源项目,有强大的社区支持,是在网站中整合地图应用的理想选择。需要安装node.js。

    PolyMaps

    Polymaps是另外一个地图库,但主要面向数据可视化用户。Polymaps在地图风格化方面有独到之处,类似CSS样式表的选择器,是不可错过的好东西。Polymaps有点像JavaScript版本的Modest Maps。Modest Maps只能进行基础的地图绘制,而Polymaps却有内置功能,例如区域密度(choropleth)和气泡图。
    Polymaps只能支持现代浏览器,通过可缩放矢量图形(SVG)来显示数据。

    OpenLayers

    OpenLayers可能是所有地图库中可靠性最高的一个。虽然文档注释并不完善,且学习曲线非常陡峭,但是对于一些特定的任务来说,OpenLayers无可匹敌。例如能够提供一些其他地图库都没有的特殊工具。

    Kartograph

    Kartograph的标记线是对地图绘制的重新思考,我们都已经习惯了莫卡托投影(Mercator projection),但是Kartograph为我们带来了更多的选择。如果你不需要调用全球数据,而仅仅是生成某一区域的地图,那么Kartogaph将使你脱颖而出。

    GeoExt

    JavaScript库,结合了openlayers的功能与Ext js的界面,可以快速创建Gis和地图应用。

    Mapstraction

    可以用作不同的map api的单一接口,支持所有的map apis,可以切换地图提供者。

    -DataMaps

    使用d3.js,简单复制粘贴一段 javascript文件就可以定制svg地图

    Gmaps

    可以充分使用google map的一个javascript库。

    Raphael

    小型而有用的javascript库,可制作矢量图。

    展开全文
  • R语言:数据地图

    千次阅读 多人点赞 2020-02-28 14:51:15
    R语言:绘制新冠肺炎数据地图世界地图的绘制中国地图的绘制方法一:方法二: 数据地图是一种经典的图示方法,因此 世界地图的绘制 R包中存储着常见地图的数据,比如maps包中包含世界地图、美国地图等 library(maps) ...

    数据地图是一种经典的图示方法,在R软件中,各种程序包所提供的函数在绘制数据地图时比较方便。

    基本地图的绘制

    世界地图

    方法一
    R包中存储着常见地图的数据,比如maps包中包含世界地图、美国地图等

    library(maps)
    map("world", fill = TRUE, col = rainbow(200),
        ylim = c(-60, 90), mar = c(0, 0, 0, 0))
    title("世界地图")
    

    在这里插入图片描述
    方法二

    library(maps)
    data("world.cities")
    bigcities <- subset(world.cities, pop > 5000000)
    qplot(long, lat, data = bigcities,colour=country.etc,size=pop)+ borders("world", size= 0.5)
    

    在这里插入图片描述

    中国地图

    利用ggplot2绘制美国地图比较容易,因为美国地图是程序包maps中自带的地图,但其他国家的地图数据则需要从外部导入。

    方法一
    首先,安装相应的包

    install.packages("mapproj")
    install.packages(“sp”)
    install.packages(“maptools”)
    library(maptools)
    library(ggplot2)
    library(plyr)
    library(sp)
    

    下载中国地图的GIS数据
    这是一个压缩包,完全解压后一般包含三个文件(bou2_4p.dbf、bou2_4p.shp和bou2_4p.shx),将这三个文件解压到R的工作空间下,或者直接输入路径:

    x <- readShapePoly("C:/Users/SAMSUNG/Desktop/china-province-border-data/bou2_4p.shp")
    plot(x)
    

    如果安装maptools后无法用readShapePoly()函数读取.shp文件,可以试试rgdal程序包,然后用rgdal包中的readOGR()函数读取.shp文件:

    library(rgdal)
    china_map <- readOGR("C:/Users/SAMSUNG/Desktop/china-province-border-data/bou2_4p.shp")
    china_map1 <- fortify(china_map)
    
    #绘制全国地图-不着色
    ggplot(china_map1,aes(x=long,y=lat,group=group))+
       geom_polygon(fill="white",colour="black")+
       coord_map("polyconic")
       
    #绘制全国地图-分省着色
    xs<-data.frame(x,id=seq(0:924)-1)
    china_map_data<-join(china_map1, xs, type = "full")  
    
    ggplot(china_map_data, aes(x = long, y = lat))+
      geom_polygon(aes(group = group,fill=NAME),color="grey40" )+ #线条色
      coord_map("polyconic")+
      scale_fill_manual(values=colours(),guide=FALSE) #分省着色
    

    在这里插入图片描述

    方法二
    从gadm.org网站上得到中国的省区地理数据,并加载到R软件内存中。GADM是世界行政区域(或行政区域界线)位置的空间数据库,可专门用于地理信息系统和类似的软件,并且提供Rdata格式的数据,非常便于在R中绘制数据地图。
    但是。。。你会发现一些令人气愤的事,如下图【笔者已经无fuck说了
    在这里插入图片描述
    代码如下,可自己补全路径

    install.packages(“sp”) 
    library(sp)  
    load(url("http://gadm.org/.../***.RData"))
    #将每个省人口数据按顺序存放在数据框gadm中,生成一个变量pop
    gadm$pop=c(1961,1293,7185,3571,2470,4374,2745,3831,2301,7866,5442,
               5950,3689,4456,9579,9402,5723,6570,10432,4602,867,2884,
               8041,3474,4596,300,3732,2557,562,630,2181,706)
    #利用空间绘图命令进行绘图
    spplot(gadm,"pop",col.regions = rev(terrain.colors(gadm$pop)),main="中国各省人口数据")
    

    方法三

    library(mapdata)
    ch_cities <- subset(world.cities, country.etc=="China")
    ggplot(ch_cities, aes(long, lat)) + geom_point(colour= alpha("red",0.5))+ borders("china")
    

    在这里插入图片描述
    方法四

    map("china", col = "red4", ylim = c(18, 54), panel.first = grid())
    

    在这里插入图片描述

    实例一:NBA球队

    NBA比赛球队30支,现想了解詹姆斯(LBJ)对阵哪个球队时表现更好,或得分更高,故通过绘制数据地图直观地得到结论。

    library(ggplot2)
    lbj=read.table("C:/Users/SAMSUNG/Desktop/R数据分析/data/lbj.txt",header=T,quote="'") 
    
    attach(lbj)
    head(lbj)  #查看数据集的前5行
    state_map=map_data("state")  #获取美国地图的数据信息
    
    p=ggplot(lbj,aes(map_id=state))+geom_map(aes(fill=AvgPTS),map=state_map)+
      expand_limits(x=state_map$long,y=state_map$lat)+
      scale_fill_continuous(limits=c(19,max(AvgPTS)),high='red3',low='yellow',guide="colorbar")+
      options(title='詹姆斯客场平均得分')
    
    attach(state_map)
    state.uni=unique(region)  #存放各州的名称
    xx=0;yy=0  #事先建立变量xx和yy,下面用循环找到每个州对应的坐标值
    for(i in 1:length(state.uni))
    {
      xx[i]=mean(long[region==state.uni[i]])
      yy[i]=mean(lat[region==state.uni[i]])
    }
    
    order=0  #按变量state.uni的顺序找到数据集lbj中各州的位置,存放于变量order
    for(i in 1:length(state.uni)){
      order[i]=which(state==state.uni[i])
    }
    labels=Opp[order]  #通过位置找到各州对应的球队名称
    p+annotate("text",x=xx,y=yy,label=labels)  #最后绘图并添加注释
    

    运行结果如下:
    在这里插入图片描述
    区域颜色越深,表示詹姆斯在该球队所得的分数越高。
    用ggplot2画美国地图是相当的方便。

    实例二:新冠肺炎

    方法一
    数据是截至2020年2月28日00:00,各省份的累计确诊病例数

    library(sp)
    library(maptools);
    x=readShapePoly('.../bou2_4p.shp');
    getColor=function(mapdata,provname,provcol,othercol)
    {
    f=function(x,y) ifelse(x %in% y,which(y==x),0);
    colIndex=sapply(mapdata$NAME,f,provname);
    fg=c(othercol,provcol)[colIndex+1];
    return(fg);
    #mapdata 存放地图数据的变量x
    #provname 需要改变颜色的地区的名称
    #provcol 对应于provname的代表颜色的向量(名称或数字)
    #othercol 是其它地区的颜色
    }
    provname=c("北京市","天津市","河北省","山西省","内蒙古自治区",
    "辽宁省","吉林省","黑龙江省","上海市","江苏省",
    "浙江省","安徽省","福建省","江西省","山东省",
    "河南省","湖北省","湖南省","广东省",
    "广西壮族自治区","海南省","重庆市","四川省","贵州省",
    "云南省","西藏自治区","陕西省","甘肃省","青海省",
    "宁夏回族自治区","新疆维吾尔自治区","台湾省",
    "香港特别行政区");
    pop=c(410,136,318,133,75,121,93,480,337,631,1205,990,296,935,756,1272,65914,1017,1348,252,168,
    576,538,146,174,1,245,91,18,72,76,32,93);
    provcol=grey((1-pop/max(pop)))
    plot(x,col=getColor(x,provname,provcol,"white"),xlab="",ylab="");
    

    颜色数据部分运行如下:
    在这里插入图片描述
    方法二
    将csv文件中的省份数据和程序包中所给的地图数据作矩阵合并

    data<-read.csv("C:/Users/SAMSUNG/Desktop/data.csv",T) #读取人口数据
    names(data)
    china_data <- join(china_map_data, data, type="full") #矩阵合并
    names(china_data)
    
    ggplot(data,aes(x=long,y=lat,id=id,fill=number))+ #以人口数填充色彩
      geom_polygon(colour="grey40")+ #省界颜色
      scale_fill_gradient(low="white",high="steelblue")+#指定渐变填充色
      coord_map("polyconic")+#指定投影方式为polyconic
      theme(               #清除不需要的元素
        panel.grid = element_blank(),
        panel.background = element_blank(),
        axis.text = element_blank(),
        axis.ticks = element_blank(),
        axis.title = element_blank(),
        legend.position = c(0.2,0.3)
      )
    

    可能是因为GADM提供的id不同,矩阵合并时出现了问题,这个地方暂时还没解决,先留着。

    展开全文
  • 建立数据地图,盘活数据资产!

    万次阅读 2019-01-05 17:38:43
    数据地图的潜在价值 1.什么是数据地图 数据地图是一种图形化的数据资产管理工具,它提供了多层次的图形化展现,并具备各种力度的控制能力,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求...

    数据地图的潜在价值

    1.什么是数据地图

    数据地图是一种图形化的数据资产管理工具,它提供了多层次的图形化展现,并具备各种力度的控制能力,满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

    2.案例分析

    以百度地图为例,通过交互式界面,我们可以在一个陌生的城市,方便地搜索我们想要的信息,比如:附件的酒店、美食、景点、游乐园、超市、的士等一系列服务信息,并且直接可以在搜索到的界面中,点击电话号码来订餐或者通过小程序叫车。围绕着不同的场景来进行信息交换也可以理解为资源置换和服务整合。

    3.构建数据地图平台

    有些银行、保险公司想规划建设一套数据地图平台,能够提供如手机地图软件一样的创新数据服务形式,内容如下:

    1. 支持快速搜索定位,找到企业中各种数据资产,形成有效的数据交汇,来支持应用分析。
    2. 提供各种数据资产快速展现的个性化形式,方便使用者获取所需要的关键信息。
    3. 积累过去所有进行过的数据加工知识,在相似场景下可以更好的推送或重复使用这些数据。
    4. 在数据的搜索结果上,直接配备方便的分析工具,让数据使用的更加得心应手。
    5. 建立数据资产分布及综合评估的入口,更好的了解数据资产使用的各个方面。

    借助这样的平台,企业的数据资产的配置效率将会大大提升,而潜在创造的未来经济效益也会快速增长。

    将数据装入地图

    数据地图是一种全新的信息门户入口,并不是简单地把数据报表、分析工具、数据应用的网页链接整合起来,做一个前台框架,即使是建立了所谓的个性化工作台的前台框架。事实上,数据地图所提供的价值远远不知如此,具备的战略意义也很大。数据地图的对象分为三类:数据资产的使用者、开发者和管理者。

    1.数据资产使用者视图

    作为数据资产的使用者,我们通常关心的是数据是什么、数据在哪里、数据如何取、数据怎么用四方面的问题。

    • 数据是什么:需要知道数据形式是怎么样的,比如结构化或非结构化;数据定义是什么,比如技术、业务、管理等;数据的使用特性如何,比如频度、评价、质量、安全级别等;数据包含什么信息,比如时间周期、业务分类、信息密度。
    • 数据在哪里:需要知道数据存放的位置,与业务相关的数据还有过去曾今用过且值得参考的数据有哪些,与数据使用相关的辅助性工具在哪里,等等。
    • 数据如何取:需要提供一系列工具及辅助信息,帮助实现数据采样、数据查询、数据下载、数据安全沙箱建立各种使用数据的方式。
    • 数据怎么用:需要帮助使用者更快速便捷地获取数据内在信息,例如,数据摘要信息、数据快速分析、数据报表工具、数据分析模型、知识帮助指导等。

    2.数据资产开发者视图

    数据地图给数据资产开发者提供了全新的数据使用帮助,根据是否以数据地图为入口,也可以将开发者分为两类:

    • 独立于数据地图的数据资产开发者:数据地图作为一种对数据资产分布及运行情况的反馈的工具,用于帮助开发工作的有序进行。例如,对于业务部门提出的新增指标需求的开发,如果缺少数据地图对整个企业数据资产的全盘映射,则研发人员无法准确知道该指标是否已经存在,以及重复开发的可能,长期这样的话,会导致企业数据资产冗余低效,但依托数据地图,则可以通过指标注册、存在分析、链路比较等功能对指标的新增需求、加工流程进行一个统一的管理。
    • 以数据地图为入口的数据资产开发者:可以参考框计算,数据地图可以实现对各种数据工具的集成,从而变成一个全新的入口整合平台。比如,原来搜索出来的报表,只知道名称和位置,要获取加工和所处位置,要获取信息或者做拆分加工,还需要启动开发流程,但借助数据地图,提供的工具集成,可以在搜索完之后,立刻进行简单的数据摘要信息展现、初步加工分析或者通过链接去调用其他系统的核心服务功能,这样便能让数据地图的功能更好丰富。

    3.数据资产管理者视图

    对于数据资产管理者来说,需要了解数据资产的全局情况,以及通过各种手段来评估数据资产在配置合理性、应用充分性、质量可靠性、风险可控性等方面的情况,从而有针对性地进行决策分析,并落实管理动作。数据资产管理者视图提供了如下三方面的能力:

    • 数据体检:提供对数据在设计、加工、运行、管理等不同的环节关键指标的采集,基于预设算法进行健康评估,从而为解决数据健康问题提供参考。数据体检是驱动数据治理不断完善的内生驱动力,它是高品质数据资产环境可持续发展的有力保障。
    • 运维监控:配合运维日常管理制度和人员,基于各种技术监控、预警、问题诊断、干预等手段,并且依托数据地图来统一展现和管理交互,因此保障数据质量的可靠性。
    • 安全评估:从数据安全角度提供评估分析能力,例如,数据敏感度、客户隐私信息和各环节审计日志记录管理等。

    在数据资产目录已经建设完成的情况下,数据地图的信息采集可以重复使用,这样就形成了整个企业或组织范围内。语义层数据(通过对数据库里的有关数据项定义)的集中管理,就需要在元数据的支持下,逐渐构建数据地图的信息逻辑层,并为后续建设数据资产目录提供一个基础。

    数据地图在创新中前行

    数据地图这个词在过去并不陌生,也曾被各个企业所提及,但它往往更像是网站地图,围绕数据在技术角度不同层次的加工过程,例如,数据转换出来、SQL脚本、任务调度等,提供对各类数据对象的展现能力,以及满足相应的查询和分析需求。类似于谷歌搜索对于互联网数据带来的整合价值,使得互联网信息能够更好的流通,从而创造出惊人的价值,数据地图也承载着这样的创新驱动责任。

    展开全文
  • 如何利用excel中的数据源制作数据地图

    万次阅读 多人点赞 2016-07-13 12:40:27
    利用excel中的数据源制作数据地图的方法以不新奇,可以直接利用excel制作,也可以利用插件和其他软件来实现。本文就从这三方面来谈谈如何利用制作数据源地图。
  • 这是我的第85篇原创取名字是一门学问,理科生取名字的确让人难以捉摸。比如这个数据地图、血缘分析和数据资产。如果不是干数据这行的,根本不会想到这仨词居然有关系!数据地图数据地图是数据治理的...
  • excel生成数据地图

    千次阅读 2017-04-29 20:52:00
    在众多数据分析图表中,数据地图是常用的一中分析图。在一般的数据分析中,excel已经可以满足绝大部分功能。在本文中,将详细介绍如何利用excel生成数据地图。 工具:office 2016 excel 数据:2014年中国31生GDP ...
  • 疫情数据地图

    千次阅读 2020-02-05 17:16:42
    根据网易新闻的提供的数据进行了疫情地图数据的爬取,源网址是为 https://news.163.com/special/epidemic/spss=other&spssid=e259599be7482ba582c50d022764d829&spsw=1 根据上面的数据进行了字段划分,...
  • excel2010制作中国数据地图

    万次阅读 热门讨论 2018-12-11 13:08:08
    前两天,一同事问我如何用excel做数据地图,当时我是完全不知怎么下手,然后上网跟着教程学习,做出了自己的一个地图模板。 第一步:从网上下载高清的地图(可以是中国地图,也可以是省市地图)。但是这张地图必须...
  • 认识数据地图

    千次阅读 2012-01-16 20:53:06
    认识数据地图 话说当年,刘备带着兄弟出来打天下,屡战屡败。后经高人指点,放下皇叔身段,三顾茅庐请诸葛亮出山。诸葛亮拿出一幅早已准备好的地图挂到墙上,指点江山,侃侃而谈,从北方到江东,从荆州到益州,再到...
  • 在一些新闻报道和商业杂志上,会经常看到一些运用地图来分析展示商业现象,这样一种利用地图来反映和分析数据的形式叫数据地图。在商业数据分析过程中,数据地图是很直观的可视化的表达形式,比如利用地图展示各区域...
  • 之前给大家介绍了一些数据地图,基本涵盖了常用的数据地图类型和场景。也答应了给大家写一篇实操,我来赴约拉。 在这里我选取其中的热力地图来一步步教大家怎么制作数据地图。 用这个方法的好处是: 1)简单...
  • 制作自己的数据地图

    千次阅读 2012-01-17 20:40:28
    制作自己的数据地图 在接下来的3节里,我们将介绍3种制作填色型数据地图的方法。这3种做法各有其技术特点和表现效果,可适用于不同分析场景下的需求。 分档填色经典做法 最常见的数据地图形式是分档填色型热力...
  • 如何做出实用而强大的数据地图

    千次阅读 2017-06-08 09:54:06
    今天来谈谈数据地图,在做关于地理位置的数据分析时常常用到。 关于制作数据地图的工具,这里笔者不特意强调用什么工具,而且数据地图也并不是这些工具的核心功能点,excel能做,D3能展示,甚至图片+PS也能做出你要...
  • 怎么样快速做一个数据地图? 大家第一时间想到的可能是万能的Excel。 我自己也试着用Excel做了下,发现过程还比较复杂: “先要用绘制地图图形 + VBA,用插入图形"任意多边形"绘制地图; 每一个"任意多边形...
  • 使用WireShark生成地理位置数据地图

    千次阅读 2016-12-19 07:56:22
    我们将会在这篇文章中教会大家如何使用MaxmindGeoLite数据库来生成一个地理位置数据地图。虽然我们的演示实例是在Linux操作系统(Kali Linux 2016.2)上完成的,但是这个方法同样可以在Windows平台上正常实现。 ...
  • 用地图说话:在商业分析与演示中运用Excel数据地图(全彩)  刘万祥 著 ISBN978-7-121-15498-0 2012年1月出版 定价:58.00元 16开 196页 内 容 简 介 你是否曾对商业杂志上专业的数据地图羡慕不已? 你是否...
  • 在BDP数据地图上快速实现柱状图!

    千次阅读 2017-10-19 21:32:34
    在BDP,经纬度地图分成6种类型:热力图、气泡图、海量点、轨迹图、动态轨迹图和统计图,想在数据地图上实现柱状图就属于统计图,统计图有三种:地图+柱状图/条形图/饼图。
  • impala数据血缘与数据地图系列: 1. 解析impala与hive的血缘日志 2. 实时采集impala血缘日志推送到kafka 3. 实时消费血缘记录写入neo4j并验证 ---------------------------------Impala血缘 架构图-------------...
  • impala数据血缘与数据地图系列: ---------------------------------------------------------------------------------------------- Impala血缘: CDH官方文档impala数据血缘: ...
  • 效果图 代码实现 <!DOCTYPE html> <... ...meta name="viewport" content="width=device-width, initial-scale=1.0">...中国新冠疫情实时数据地图</title> <style> #myEcharts {
  • 如题,先上效果图:主要分为两大步骤使用python语句,通过百度地图API,对已知的地名抓取经纬度使用百度地图API官网的html例程,修改数据部分,实现呈现效果一、使用...
  • 出租车轨迹数据地图匹配

    千次阅读 多人点赞 2020-05-03 10:56:19
    出租车轨迹、可视化、地图匹配
  • 怎么在Excel上做数据地图? 参照着热门回答,尝试了用VBA以及插件做数据地图,发现过程还是比较复杂: 首先我还是要掌握一些基础代码才能做,VBA我是靠着百度现学现卖,各种调试; 其次找清晰的地图也很麻烦,在...
  • python和百度地图API实现数据地图标注

    千次阅读 热门讨论 2018-10-24 15:54:50
    在上海地区测试了下批量经纬度在百度地图上的标注 先用python进行数据处理 data_html = pd.DataFrame(columns=['content']) for indexs in group.index: data_html.loc[indexs,'content'] = '{' + \ ...
  • 3)地图丰富,一键切换图表形式,就能制作流向地图、三维地图等十几种数据地图; 4)数据导入方便,导入Excel、直连数据库都行,一键同步更新。 很简单,跟着我的节奏来,只要6步,你就能做出上面这...
  • 数据地图关系精细化分析

    千次阅读 2020-01-15 08:31:00
    转载本文需注明出处:微信公众号EAWorld,违者必究。前言:元数据应用中对数据关系的分析,是元数据的核心能力,基于这项核心能力能够衍生出对诸多实际应用场景的支持,例如辅助数据运维,数据...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,380
精华内容 12,952
关键字:

数据地图