精华内容
下载资源
问答
  • 高德交通大数据先获取数据:格式如下,第一列为纬度,第二列为经度,第三列为车辆(使用了高德地图服务的车辆)的定位次数。之后数据简单的先导入ArcGIS进行转为shp,然后在地图上进行显示,可以看到点要素基本上...

    719762dec1b3274980ef20bb6ea1492b.gif

    今天我想给大家分享的是QGIS可视化(MapBox在线底图)和Python可视化。

    高德交通大数据

    ee8655621ea328c8ebeb67ed1f5cc57c.gif

    先获取数据:格式如下,第一列为纬度,第二列为经度,第三列为车辆(使用了高德地图服务的车辆)的定位次数。

    2dd14f2a35f8d5721f8ef300459ca72b.png

    之后数据简单的先导入ArcGIS进行转为shp,然后在地图上进行显示,可以看到点要素基本上数据都是沿着道路分布(估计数据主要是用了高德地图车辆导航数据):

    af8b5dd47ec04761bbe4ebc85baece69.png

    使用高德交通大数据的相关论文推荐

    如果大家想做相关研究给大家推荐一篇论文:

    郭向阳, 穆学青, 明庆忠, 丁正山, 胡美娟. 旅游地快速交通优势度与旅游流强度的空间耦合分析[J]. 地理研究 , 2019, 38 (5): 1119- 1135.

    该论文数据来源部分介绍:

    快速交通系统方面,高速公路:通车里程源自《云南省统计年鉴2017》,路网密度由测算所得,高速路口及站点数量、区位优势度和换乘便捷度等指标均通过高德交通大数据《中国交通地图册》和《中国公路交通图集》获取。高速铁路:高速铁路里程和站点距离行政中心距离均通过高德交通大数据获取,站点数量和日通行车辆通过“12306铁道部火车票网上订票官网”查询获取。航空运输:机场飞行区等级依据航空民航标准-MH5001-2000《民用机场飞行区技术标准》,机场离行政中心距离通过高德交通地图测算获取,日均旅客吞吐量和日均飞机起降架次均依据中国民用航空局发布的2016年《民航机场生产统计公报》和《云南年鉴2017》计算获取。旅游流方面,主要源自《云南省统计年鉴2017》和2016年云南省16个州市的国民经济与社会发展统计公报。

    QGIS可视化

    之前看过张云金老师一篇教程《QGIS教程番外篇02--如何在QGIS中添加自定义的Mapbox底图?》https://mp.weixin.qq.com/s/SzDdQUBVrhwRQ0-bq6J-Nw,感觉很好玩。

    MapBox(我觉得是目前市面上做地图最好看的厂商)推出的这款地图设计网站网址是https://apps.mapbox.com/cartogram,最好玩的一点就是允许用户上传图片进行地图样式设计(左下角自定义图片)。

    比如一个小皇帝的图片

    a9a09d05d32857aa53cfe8c275103cc2.png

    高德地图交通大数据的截图

    aa288ed5ce6022cb19382dd8f480eb4f.png

    选择好自己想要的地图之后发不成WMTS服务,然后复制链接,即可加载到QGIS上作为底图:

    749c2981169473c92c1e515e57b92f9d.png

    比如红色作为底图(如下图),或者蓝色灰色等等都可以,看你自己选择:

    3e1256240181003104157d90e66af1d4.png

    Python地图可视化

    以上所说都是借助软件实现的,那么能不能在获取数据的时候直接就给制作出可视化地图呢?答案当然是可以的,R语言和Python都提供了很多地图可视化的第三方库,比如Python的folium库和pyecharts库都可以很方便的实现地图各种可视化。

    folium是js上著名的地理信息可视化库leaflet.js为Python提供的接口,通过它我们可以通过在Python端编写代码操纵数据,来调用leaflet的相关功能,基于内建的osm或自行获取的osm资源和地图原件进行地理信息内容的可视化,以及制作优美的可交互地图,今天我就以forlium为例来简单介绍下如何实现高的交通大数据爬取与热力图可视化。

    以下便是简单的一口气Python可视化核心代码,非常简单快速,根本不用像导入arcgis然后加载在线地图并且核密度分析啥的那样那么复杂。用代码的话在爬取到数据的同时只要定义好输入的经纬度啥的,直接运行就能展现出非常漂亮的热力图(会生成一个html文件,并且自动在浏览器打开):

       map_osm = folium.Map(location=[35,110],zoom_start=6)    #绘制Map,开始缩放程度是5倍
       HeatMap(temp).add_to(map_osm)  # 将热力图添加到前面建立的map里
       file_path = r"高德交通大数据地图可视化.html"
       map_osm.save(file_path)     # 保存为html文件
       webbrowser.open(file_path)  # 默认浏览器打开
        
       df=pd.DataFrame(temp)
       now = time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time()))
       df.to_csv('GaoDe'+now+'.txt',mode='a',index = False,header=None)
    ​

    cc6acf15a722fa00729c2b04609c5139.png

    59ab26e0e1f0ccea3323102556ab5e13.png

    当然大家还可以先获取数据,然后借助第三方地图可视化平台,比如什么地图慧、高德地图和百度地图,都可以实现导入数据进行地图数据展示,但是那样也比较麻烦,所以还是推荐这种一步到位的方法。

    另外在国匠城匠大的提示下,我发现可以直接直接用QGIS自带的功能实现热力图制作:直接双击高德交通大数据的图层,然后样式里选择热力图,调整好半径就可以显示出热力图分布情况了,特漂亮:

    b9aa739317870a4b85bd77065e0792cd.png

    热力与显示,中国四大交通繁忙地带分别是北上广和成都,成都牛逼了

    c4b361fb2babb4e494642f467426b544.png
    展开全文
  • 国家数据库:中国铁路交通数据、城市监控录像等; 企业数据:淘宝交易数据、淘宝购物车收藏数据、京东购物数据; 机器设备数据:GPS导航系统数据、车仪数据等; 个人数据:个人日常生活产生的数据。...

    这次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639

     

    1.这些分析所采用数据来源是什么?

    • 国家数据库:中国铁路交通数据、城市监控录像等;
    • 企业数据:淘宝交易数据、淘宝购物车收藏数据、京东购物数据;
    • 机器设备数据:GPS导航系统数据、车仪数据等;
    • 个人数据:个人日常生活产生的数据。

    2.大数据的呈现方式有哪些?
         数据表格与图表是其主要呈现形式。


    3.大数据的特点是什么?结合大数据应用案例,分析大数据对思维方式有何影响?

    • 大数据的4V特点:

    Volume(大量):数据巨大。
    Velocity(高速):数据产生快,每一天每一秒全球人产生的数据足够庞大且数据处理也逐渐变快。
    Variety(多样):数据格式多样化,如音频数据、文本数据等
    Value(价值):通过收集大量数据不相关数据探查并证明其两者之间的关联性,所产生的价值,如买啤酒的人通常会购买尿布的案例。

    • 大数据对思维方式的影响:

    大数据的诞生可以让我们更加的多元化发展,通过判断以往的案例数据可以预判一定事件发生概率。这对人们在各个领域发展起到巨大的推进作用,如百货货物摆放,通过以往数据购买某种物品之后会购买另一种货物的关联性进行摆放货物,能够有效提高营业额度;公路交通车流量情况分析,进行铺设新的公路利弊分析等状况的预判分析提供了一定的理论基础与科学基础。

    4.设计完成一个Mad Libs游戏

    一个有点哲学性的小故事:

    Aged=input('请输入一个姓氏:')
    Child=input('请输入一小孩名字:')
    print("有个{}老头在河边钓鱼,{}走过去看他钓鱼。{}老头技巧纯熟,所以没多久就钓上了满篓的鱼,{}老头见{}很可爱,要把整篓的鱼送给他,"
          "{}摇摇头,{}老头惊异的问道:“你为何不要?”""\n"
          "{}回答:“我想要你手中的钓竿。”{}老头问:“你要钓竿做什么?”{}说:“这篓鱼没多久就吃完了,要是我有钓竿,我就可以自己钓,一辈子也吃不完。”"
          "\n"
          "我想你一定会说:好聪明的小孩。但其实是错了,他如果只要钓竿,那他一条鱼也吃不到。因为,他不懂钓鱼的技巧,光有鱼竿是没用的,因为钓鱼重要的不在钓竿,"
          "而在钓技。".format(Aged, Child, Aged, Aged, Child,Child,Aged, Child, Aged, Child))

    运行结果:

     

    转载于:https://www.cnblogs.com/JGaoLin/p/10466743.html

    展开全文
  • 今天的文章呢主要目的不是爬虫,而是爬虫的同时顺便实现实时可视化。上次爬摩拜单车数据的文章使用...交通大数据爬取 本数据是由人送外号数据帝的CSDN排名1万+的博主小猿猴GIS发现的,我们其实想过到底要不要写篇文...

    今天的文章呢主要目的不是爬虫,而是爬虫的同时顺便实现实时可视化。上次爬摩拜单车数据的文章使用的是传统的ArcGIS进行自定义可视化,硬核 | Python多线程爬取摩拜单车数据与ArcGIS可视化,今天我想给大家分享的是QGIS可视化(MapBox在线底图)和Python可视化。

    交通大数据爬取

    本数据是由人送外号数据帝的CSDN排名1万+的博主小猿猴GIS发现的,我们其实想过到底要不要写篇文章公开(最后还是公开了,数据共享嘛)。因为之前我写过一篇爬取的全国各省市实时QQ登录人数数据,公开数据爬取接口和源代码之后没多腾讯就关闭了这个接口,要是说因为我那篇文章导致的封接口可能太高看我自己了,但是QQ登录人数数据目前也已经无法获得是一个事实,允悲。硬核 | 全国QQ用户24h实时在线人数的爬取与分析,附数据

     

    具体的数据获取就不详细说了,比较简单,先抓包分析发现数据接口,再分析数据进行清洗成自己想要的格式:

     

     

     

    数据的爬取比较简单,没有什么反爬虫措施,也不用设置什么参数,以下代码可以直接用:

     

    爬取到的数据格式如下,第一列为纬度,第二列为经度,第三列为车辆(使用了高德地图服务的车辆)的定位次数:

     

    之后数据简单的先导入ArcGIS进行转为shp,然后在地图上进行显示,可以看到点要素基本上数据都是沿着道路分布(估计数据主要是用了高德地图车辆导航数据):

     

     

    使用某德交通大数据的相关论文推荐

     

    如果大家想做相关研究给大家推荐一篇论文:

    郭向阳, 穆学青, 明庆忠, 丁正山, 胡美娟. 旅游地快速交通优势度与旅游流强度的空间耦合分析[J]. 地理研究 , 2019, 38 (5): 1119- 1135. 

    该论文数据来源部分介绍:

    快速交通系统方面,高速公路:通车里程源自《云南省统计年鉴2017》,路网密度由测算所得,高速路口及站点数量、区位优势度和换乘便捷度等指标均通过某德交通大数据、《中国交通地图册》和《中国公路交通图集》获取。高速铁路:高速铁路里程和站点距离行政中心距离均通过某德交通大数据获取,站点数量和日通行车辆通过“12306铁道部火车票网上订票官网”查询获取。航空运输:机场飞行区等级依据航空民航标准-MH5001-2000《民用机场飞行区技术标准》,机场离行政中心距离通过高德交通地图测算获取,日均旅客吞吐量和日均飞机起降架次均依据中国民用航空局发布的2016年《民航机场生产统计公报》和《云南年鉴2017》计算获取。旅游流方面,主要源自《云南省统计年鉴2017》和2016年云南省16个州市的国民经济与社会发展统计公报。

     

    QGIS可视化

    之前看过张云金老师一篇教程《QGIS教程番外篇02--如何在QGIS中添加自定义的Mapbox底图?》https://mp.weixin.qq.com/s/SzDdQUBVrhwRQ0-bq6J-Nw,感觉很好玩,这次实践一下(点击阅读原文既可以查看完整教程)。

    MapBox(我觉得是目前市面上做地图最好看的厂商)推出的这款地图设计网站网址是https://apps.mapbox.com/cartogram,最好玩的一点就是允许用户上传图片进行地图样式设计(左下角自定义图片)。

    比如一个小皇帝的图片

     

     

    交通大数据的截图

     

    QQ群二维码

     

    选择好自己想要的地图之后发不成WMTS服务,然后复制链接,即可加载到QGIS上作为底图:

     

    比如红色作为底图(如下图),或者蓝色灰色等等都可以,看你自己选择:

     

    一口气实现数据爬取与可视化

    以上所说都是借助软件实现的,那么能不能在爬虫的时候直接就给制作出可视化地图呢?答案当然是可以的,R语言和Python都提供了很多地图可视化的第三方库,比如Python的folium库和pyecharts库都可以很方便的实现地图各种可视化。

     

    folium是js上著名的地理信息可视化库leaflet.js为Python提供的接口,通过它我们可以通过在Python端编写代码操纵数据,来调用leaflet的相关功能,基于内建的osm或自行获取的osm资源和地图原件进行地理信息内容的可视化,以及制作优美的可交互地图,今天我就以forlium为例来简单介绍下如何实现高的交通大数据爬取与热力图可视化。

     

    以下便是简单的一口气实现数据爬取和可视化代码,非常简单快速,根本不用像导入arcgis然后加载在线地图并且核密度分析啥的那样那么复杂。用代码的话在爬取到数据的同时只要定义好输入的经纬度啥的,直接运行就能展现出非常漂亮的热力图(会生成一个html文件,并且自动在浏览器打开):

    import requestsimport pandas as pdimport timeimport numpy as npimport foliumimport webbrowserfrom folium.plugins import HeatMap​def get_GaoDeData():    url='https://trp.autonavi.com/assets/data/data2.txt'    response=requests.get(url)    datas=response.text    count=datas.split("&")    print(len(count))    temp=[]    for i in range(len(count)-1):        wzy=count[i].split(",")        x=float(wzy[0])        y=float(wzy[1])        z=int(wzy[2])        temp.append([x,y,z])        map_osm = folium.Map(location=[35,110],zoom_start=6)    #绘制Map,开始缩放程度是5倍    HeatMap(temp).add_to(map_osm)  # 将热力图添加到前面建立的map里    file_path = r"交通大数据地图可视化.html"    map_osm.save(file_path)     # 保存为html文件    webbrowser.open(file_path)  # 默认浏览器打开        df=pd.DataFrame(temp)    now = time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time()))    df.to_csv('GaoDe'+now+'.txt',mode='a',index = False,header=None)​if __name__ =='__main__':    get_GaoDeData()

     

     

    当然大家还可以先爬取数据,然后借助第三方地图可视化平台,比如什么地图慧、高德地图和百度地图,都可以实现导入数据进行地图数据展示,但是那样也比较麻烦,所以还是推荐这种一步到位的方法。

     

    另外在国匠城匠大的提示下,我发现可以直接直接用QGIS自带的功能实现热力图制作:直接双击高德交通大数据的图层,然后样式里选择热力图,调整好半径就可以显示出热力图分布情况了,特漂亮:

     

     热力与显示,中国四大交通繁忙地带分别是北上广和成都,成都牛逼了!

     

     

     

    互联网地理大数据挖掘

    巧妇难为无米之炊,为了方便大家进行相关地理学研究,这段时间我也给大家也介绍了不少的互联网地理大数据(其中QQ在线人数数据接口已经关闭,其他正常):

     

     

    以上所有文章所有代码数据我都更新到了互联网地理大数据挖掘群,如果大家对地理大数据感兴趣的话欢迎加群讨论。今天的的数据也于昨日上传到群里,大家可以加群或者公众号回复关键字获取相关数据:

    加入地理大数据挖掘群

     

    群号:575325764,验证信息填写CSDN。
     

    展开全文
  • 深度学习与交通大数据实战 V 1.0 By 张金雷 1 目录 1 说明 9 2 引言第一次我们就这样不期而遇 9 3 你想要的交通大数据和学习资料分享给你 12 3.1 Attention 12 3.2 滴滴出租车GPS 数据及订单数据 13 3.3 Oracle 视频...
  • 如何获取交通大数据

    千次阅读 2019-05-11 02:01:41
    关注微信公众号《当交通遇上机器学习》 后台回复“数据”即可获取: 数据包括出租车GPS数据样例,地铁AFC刷卡数据样例,公交刷卡数据样例,共享单车订单数据(包括起终点,即租车还车位置的经纬度),同时还提供了...

    关注微信公众号《当交通遇上机器学习》

    后台回复“数据”即可获取:

    数据包括出租车GPS数据样例,地铁AFC刷卡数据样例,公交刷卡数据样例,共享单车订单数据(包括起终点,即租车还车位置的经纬度),同时还提供了高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式,以及从数据处理(Oracle数据库)、模型构建(机器学习)、编程实现(python)到可视化(ArcGIS)等一系列视频教程

    后台回复“纽约”获取:

    美国纽约10年的出租车轨迹数据以及7年的共享单车轨迹数据下载地址。

    后台回复“芝加哥”获取美国芝加哥6年的共享单车轨迹数据下载地址。

    后台回复“加州”获取美国加州近20年的交通流量监测数据下载地址。

    后台回复“GCN”获取GCN在交通领域内的应用总结PPT。

    后台回复“书籍”获取交通领域几本经典pdf书籍,包括城市规划原理,现代交通规划学,交通规划原理

    欢迎关注该公众号,公众号以交通大数据为主线,专注于人工智能、机器学习、深度学习在道路交通和轨道交通领域内的科研前沿与应用,在交通大数据与机器学习的道路上越走越远!

    展开全文
  • 段雯琼++薛然++任亚丽摘 要 文章介绍了大数据技术的即时性、准确性和预测性,并将大数据技术与公共交通、医药领域、移动通信网络优化相结合,从而方便了人们的生活,提高了人们的生活质量。【关键词】大数据分析 ...
  • 面对这种量级的数据,再考虑在本地用Python去处理,显然是不现实了,于是开始上AWS和Pyspark,熬了几个通宵后,总算把项目功能实现了——这是我第一次完全基于AWS与Spark处理如此大量级数据,我也因此真正认识到...
  • 面对这种量级的数据,再考虑在本地用Python去处理,显然是不现实了,于是开始上AWS和Pyspark,熬了几个通宵后,总算把项目功能实现了——这是我第一次完全基于AWS与Spark处理如此大量级数据,我也因此真正认识到...
  • 首先大数据是一个很大的概念,现在很多领域都用到了大数据,比如:互联网、广告、金融、能源、交通等。而Python是一门编程语言,可以用Python处理和分析各个领域产生的数据。很多初学者经常比...
  • #本文编写语言为python3.7,所需数据可在网盘下载 链接:https://pan.baidu.com/s/1yRnY-zKDf_D3zi-KXUOpaw 提取码:pojn 下面内容可直接复制在python3上运行,亲测可用!!满意打个call噢 #引入包和加载数据 ...
  • 大数据技术可以预测未来交通情况,为改善交通状况提供优化方案,有助于交通部门提高对道路交通的把控能力,防止和缓解交通拥堵,提供更加人性化的服务。据统计,大数据人才缺口已超130万,但国内相关从业人员只有约...
  • {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,...社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":...
  • 编程环境:Python3.7 赛题链接 当今社会,房屋租金由装修情况、位置地段、户型格局、交通便利程度、市场供需量等多方面因素综合决定,对于租房这个相对传统的行业来说,信息严重不对称一直存在。一方面,房东不了解...
  • 课程介绍随着人工智能(AI)、大数据(Big data)和云计算(Cloud computing)的兴起,以ABC为核心的IT技术发展浪潮席卷全球,对各行各业的发展都产生了深远的影响。因此,掌握这些核心技术的基础知识已经成为了众多从业...
  • #中国华录杯之城市治理大数据应用创意方案赛#》竞赛简介:智慧城市在建设,智能交通需发展,交通事故、交通拥堵、交通污染依然是城市智能化进程中急需缓解的问题。智慧城市的建设中,我们也产生了非常丰富...
  • Python中关于a=[[]]*3的反思

    千次阅读 2018-02-21 23:19:31
    之前用python做了一个关于交通大数据的项目,由于之前比较赶进度,故现在会陆续更新对项目代码的一些反思。1、 由此可以看出,a[0],a[1],a[2]指向的是同一个元素,[[]]*3表示在a中开辟三份地址,且地址相同。2、...
  • 方向明确 地理空间大数据应用研究 3S技术结合人工智能分析 目的与意义 1、社会行为研究: 通过多维大数据空间分析,挖掘出潜在居民出行信息,判断出行场景,分析出行行为规律和不同人群的出行习惯,...1、将python
  • 近日,中国交通报发布《2018年春运大数据》,数据显示,2018年春运旅客人数预计突破30亿人次,较上年有所增长。 ... 难以想象的数据, 预示着今年春运回程和返程车票 购买难度将进一步加大... 抢购车票怕是比...
  • 大数据时代,数据思维已开始深刻变革各行各业,从我们的电商消费信息、运动轨迹、社交数据、产品使用习惯,到企业的调研、设计、产品、运营、营销,再到交通、金融、生产制造、公共服务。而由于Python在数据获取、...
  • 《地图时空大数据爬取》一书第9章,动态交通出行数据采集。实现的功能是给定一系列的出发点,给定一系列的目的地点,给定时间日期。利用高德api采集任意一个起点和终点间的公交出行数据,包括距离、出行时间、步行...
  • 点击关注交通充电圈 每天进步看得见python|获取安居客房价数据网络平台房价数据“大数据下的房地产+时代”,互联网平台上每天有高达上百万条房地产资讯,产生网友们数亿次的阅读量。一方面国民对房地产的关注热度只...
  • 网络时代,大数据时代,一个并不陌生的概念,曾经有去过一家旅游信息公司面试,其中就是做的是一个中间商赚差价或者广告费的服务商,通过爬取其他大网的酒店及交通出行信息,提供给用户,或者叫给大网引流,爬取的...
  • 数据分析

    2020-03-27 20:11:07
    大数据的应用场景:社交,交通(滴滴),金融(蚂蚁金服),医疗(图像识别)。 分析流程: 问题提出数据获取清理与存储分析与建模报告 数据获取: 获得网上公开数据集 科研数据共享网站: UCI machine learning ...
  • 公司是一家专注于工业互联网、设备云、工业大数据技术研究开发服务的高科技企业,核心团队从事控制系统研究开发近20年,设计产品应用于军工、航空、兵器、装备制造、高铁、交通、水务等300多个行业,承担实施过国内...
  • 近日,中国交通报发布《2018年春运大数据》,数据显示,2018年春运旅客人数预计突破30亿人次,较上年有所增长。 ... 难以想象的数据, 预示着今年春运回程和返程车票 购买难度将进一步加大...
  • 而且大数据广泛应用于电商、旅游、金融、交通、教育等各行各业,目前数据分析师岗位是高薪岗位,所以学完之后不用担心就业的问题。本套课程共14个大的章节。课程目录:一、直播开班典礼二、大数据分析串讲三、预习...

空空如也

空空如也

1 2
收藏数 40
精华内容 16
关键字:

python交通大数据

python 订阅