精华内容
下载资源
问答
  • 由于PeMS(PeMS)下载...下载为5分钟时间间隔的流量数据,为了防止IP被封,每下载一周 Sleep 15秒,也可自己更改 具体使用只需要更改: 文件保存地址:save_path 需要下载的VDS列表:vds_list 下载数据的开始与结...

    由于PeMS(PeMS)下载交通数据集一次只能下载一周数据,并且要一次一次的点击,比较麻烦。
    故写出了一个小的爬虫程序,自动下载PeMS路网上VDS的数据集(前提需要FQ,需要挂全局代理)
    下载为5分钟时间间隔的流量数据,为了防止IP被封,每下载一周 Sleep 15秒,也可自己更改
    具体使用只需要更改
    文件保存地址:save_path
    需要下载的VDS列表:vds_list
    下载数据的开始与结束时间: start_time, end_time
    以及down_load_data函数中data中登陆PeMS系统的账号与密码

    PEMS官网自动下载数据集代码(需FQ

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Time    : 2019/11/14 21:23
    # @Author  : Chenchen Wei
    # @Description: 下载PeMS流量数据,一次下载一周数据,并将下载的周数据进行合并
    
    import time
    import os
    import numpy as np
    import pandas as pd
    import requests
    
    
    def time_2_timestamp(input, lags=True):
        """默认True: 时间转化为时间戳, 包含时差计算"""
        if lags:
            timeArray = time.strptime(input, "%Y-%m-%d %H:%M")
            # 转换成时间戳
            return int(time.mktime(timeArray) + 8 * 60 * 60)  # 时差计算
        else:
            time_local = time.localtime(input - 8 * 60 * 60)
            return time.strftime("%Y-%m-%d %H:%M", time_local)
    
    
    def download(save_path, vds, start_time, end_time):
        """时间转化为时间戳"""
        start_stamp, end_stamp = time_2_timestamp(start_time), time_2_timestamp(end_time)
        i = 1
        for begin in range(start_stamp, end_stamp, 60 * 60 * 24 * 7):
            url = get_url(vds, begin)
            down_load_data(save_path, url, i)
            i += 1
            print('Sleeping...')
            time.sleep(15)  # 下载完成休息五秒
    
    
    def down_load_data(save_path, url, i):
        headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                                 "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
        data = {"redirect": "", "username": "账号",
                "password": "密码", "login": "Login"}
        session = requests.session()
        response = session.post(url, headers=headers, data=data)
        response = session.get(url)
        with open(save_path + '\\' + str(i) + '.xlsx', 'wb') as f:
            f.write(response.content)
            print('下载成功')
    
    
    def get_url(vds, begin):
        str_begin = time_2_timestamp(begin, False)
        s_begin = str_begin[5:7] + '%2F' + str_begin[8:10] + '%2F' + str_begin[:4] + '+00%3A00',
        end = begin + 60 * 60 * 24 * 7 - 60
        str_end = time_2_timestamp(end, False)
        s_end = str_end[5:7] + '%2F' + str_end[8:10] + '%2F' + str_end[:4] + '+23%3A59',
        url = 'http://pems.dot.ca.gov/?report_form=1&dnode=VDS&content=loops&export=xls&station_id=' \
              + str(vds) + '&s_time_id=' + str(begin) + '&s_time_id_f=' + str(s_begin) + '&e_time_id=' + str(
                end) + '&e_time_id_f=' + str(s_end) + '&tod=all&tod_from=0&tod_to=0&dow_0=on&dow_1=on&dow_2=on&dow_3=on&dow_4=on&dow_5=on&dow_6' \
                '=on&holidays=on&q=flow&q2=&gn=5min&agg=on&lane1=on&lane2=on&lane3=on&lane4=on'
        # print(url)
        print('获取url: vds[%s] %s --- %s' % (str(vds), str_begin, str_end))
        return url
    
    
    def combine_download_data(vds, path):
        num = len(os.listdir(path))
        dfs = pd.read_excel(path + '\\1.xlsx', index_col=None).values
        for i in range(2, num + 1):
            df = pd.read_excel(path + '\\' + str(i) + '.xlsx', index_col=None).values
            dfs = np.row_stack((dfs, df))
        pd.DataFrame(dfs).to_csv(path + '\\' + str(vds) + '_combine.csv', index=None, header=None)
        print('合并文件保存成功')
    
    
    if __name__ == '__main__':
        save_path = r'G:\文档\交通数据集\加州数据集\自动下载数据'  # 文件保存路径
        vds_list = [602467, 602468]  # 需要下载的VDS列表
        start_time, end_time = '2019-01-01 00:00', '2019-01-14 23:59'  # 数据下载开始于结束时间,每次下载一周,无数据则下载为空文件
    
        for vds in vds_list:
            name = start_time[2:10] + '_' + end_time[2:10]
            save_paths = save_path + '\\' + name + '\\' + str(vds)  # 创建文件保存路径
            if not os.path.exists(save_paths):
                os.makedirs(save_paths)
            print('开始下载:%s   %s---%s' % (str(vds), start_time, end_time))
            download(save_paths, vds, start_time, end_time)  # 下载文件
            combine_download_data(vds, save_paths)  # 将单个VDS下载文件进行合并
    
    

    2020年6月16日 更新(部分路网数据集)

    由于许多同学联系私信寻求数据集,因此在此将本人做研究下载的部分数据集分享出来,希望对大家有帮助:提取密码:lwil

    另提供一个自己Fork的Github,里面有部分交通数据集,可自行下载。在这里插入图片描述
    由于Github中西雅图数据也存储在谷歌网盘里面,需要FQ,因此在百度网盘中有原始数据集以及按照工作日与休息日划分后的西雅图数据集。
    此外,截止目前评论区留邮箱的同学,本人已将数据链接及数据作为附件发送至邮箱,注意查收。

    2020年7月18日 更新(论文以及部分数据集)

    由于之前百度云失效,抽空更新了下最新的百度云链接:提取码:g8ce
    另附上本人最新发表的一篇论文GE-GAN: A novel deep learning framework for road traffic state estimation(TRC),希望对大家有帮助,欢迎引用。

    还有本人了解的其他论文中公开的交通数据集及代码此部分数据集均可直接下载:
    Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting(DCRNN)
    该数据集包含Los Angeles (METR-LA) :207个检测器2012年四个月的数据
    the Bay Area (PEMS-BAY):325个检测器2017年6个月的数据

    另一个公布数据集与代码的文章为:
    Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting (ASTGCN)
    该数据集包含:
    在这里插入图片描述
    同样,已将数据集发送至所有留邮箱的同学。如未收到,可自行下载。
    点波关注不迷路,后续如发现新的交通数据集,会不定期更新。。。

    2020年11月02日 更新(data中22个检测器的数据补充说明)

    很多同学私信询问pems 22条路段的空间关系,在此说明一下,22个检测器是一条道路上的检测器,检测器顺序为文件第一行的检测器编号,即1与2相连,2与1,3相连,3与2,4相连。。。。具体空间关系可以进PEMS官网,搜VDS,会显示具体的经纬度以及检测器之间的空间关系。

    关于代码,写的太乱,就不好意思放出来了。。。后续有时间整理在更新吧。

    ,博客中提到的所有数据集都已经在上面的百度网盘还有github上面分享出来了,大家可以按照需要自行下载的哈。

    2020年11月13日 更新(代码公开)

    今天抽空重新整理了下代码,目前代码与数据集已公开,详见Github: GE-GAN: A novel deep learning framework for road traffic state estimation(TRC)
    同样,已将代码发送至要代码并留邮箱的同学。如未收到,可自行下载。

    2020年11月26日 更新(PEMS四部分数据集)

    更新高速路网数据集:出处:Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Network Data Forecasting(STSGCN)
    百度网盘下载地址:提取码:p40oSTSGCN

    展开全文
  • 基于时空信息的交通流量预测方法汇总

    千次阅读 多人点赞 2019-12-07 17:41:55
    主要收集了基于时空(欧式与非欧空间)交通流量预测最新方法部分论文下载 交通流量预测算法调研 算法名称 算法基本原理 考虑维度 应用场景 是否有开源实现 链接 实验数据集 期刊 基于时间图...

    主要收集了基于时空(欧式与非欧空间)交通流量预测最新方法 论文下载

     

    展开全文
  • 交通流量预测应用方案收集(欢迎补充、持续更新…) 论文合集 基于时间图卷积网络(T-GCN)交通流预测(A Temporal Graph Convolutional Network for Traffic Prediction ) 2019IEEE 一种基于神经网络的交通预测...

    交通流量预测应用方案收集(欢迎补充、持续更新…)

    论文&方案合集

    • 基于时间图卷积网络(T-GCN)交通流预测(A Temporal Graph Convolutional Network for Traffic Prediction
      ) 2019IEEE
    • 一种基于神经网络的交通预测方法,该模型结合了图卷积网络(GCN)和门控递归单元(GRU)。GCN用于学习复杂的拓扑结构来捕获空间依赖关系,GRU用于学习交通数据的动态变化来捕获时间依赖关系。
    • 论文下载链接
    • 中文解读
    • 实现链接tf
    • 基于注意力机制的时空图卷积网络(ASTGCN)交通流预测(AttentionBasedSpatial-TemporalGraphConvolutionalNetworks forTrafficFlowForecasting) 2019AAAI
    • ASTGCN主要由三个独立部分组成,分别对交通流的三个时间特性进行建模,即邻近、每日和每周的依赖关系。其中每个独立部分又包含两部分:1)时空注意力机制,有效地捕捉交通数据中的动态时空关联; 2)时空卷积,即同时使用图卷积来捕捉空间模式和常用的标准卷积来描述时间特征。对三个分量的输出进行加权融合,生成最终预测结果
    • 论文下载链接
    • 实现链接tf
    • 实现链接pytorch
    • 基于时空动态网络(STDN)的交通流预测(RevisitingSpatial-TemporalSimilarity:ADeepLearningFramework forTrafficPrediction) 2019AAAI
    • 为解决区域间的空间依赖是动态的,时间依赖虽说有天和周的模式,但因为有动态时间平移,它不是严格周期的。为了解决这两个问题,本文提出基于时空神经网络的,使用局部 CNN 和 LSTM 分别处理时空信息。一个门控局部 CNN 使用区域间的动态相似性对空间依赖建模。一个周期平移的注意力机制用来学习长期周期依赖。通过注意力机制对长期周期信息和时间平移建模
    • 论文下载链接
    • 实现链接tf
    • 基于时空多任务学习框架(MDL)的区域交通流量预测与流向预测(Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning) 2019TKDE
    • 设计了一个深度神经网络来预测顶点流量(命名为 NODENET),另一个深度神经网络预测边流量(命名为 EDGENET)。通过将他们的隐藏状态拼接来连接这两个深度神经网络,并一同训练。此外,这两类流量的相关性通过损失函数中的正则项来建模。基于深度学习的模型可以处理复杂性和尺度等问题,同时多任务框架增强了每类流量的预测性能
    • 论文下载链接
    • 暂无实现
    • 基于时空图卷积网络(STGCN)交通流预测(Spatio-TemporalGraphConvolutionalNetworks: ADeepLearningFramework forTrafficForecasting) 2018IJCAI
    • 一种新的深度学习结构,时空图卷积网络,由多个时空卷积块组成,时空卷积块由图卷积层和卷积序列学习层组合而成,对时空依赖关系进行建模
    • 论文下载链接
    • 实现链接tf
    • 基于扩散卷积循环神经网络(DCRNN)的交通流预测(DIFFUSION CONVOLUTIONAL RECURRENT NEURAL NETWORK: DATA-DRIVEN TRAFFIC FORECASTING
      ) 2018ICLR
    • 将交通流建模为有向图上的扩散过程,并引入扩散卷积递归神经网络(DCRNN),DCRNN使用图上的双向随机游走捕获空间依赖性,以及使用具有调度采样的编码器 - 解码器架构的时间依赖性
    • 论文下载链接
    • 实现链接tf
    • 实现链接pytorch
    • 基于Conv-LSTM交通流预测(Short-term traffic flow prediction with Conv-LSTM) 2017WCSP
    • 利用ConvLSTM模块对相邻区域的短时交通流数据进行处理,提取时空特征;利用双向LSTM对预测点历史交通数据进行处理,提取交通流数据的周期特征。提出了一种无需数据预处理和数据特征提取的端到端深度学习短时交通流预测体系结构。最后,集中时空特征和周期特征对交通流进行预测
    • 论文下载链接
    • 基于时间信息增强LSTM(T-LSTM)的单个路段流量预测(T-LSTM: A Long Short-Term Memory Neural Network Enhanced by Temporal Information for Traffic Flow Prediction) 2019IEEE
    • 提出了一种时间信息增强LSTM(T-LSTM)来预测单个路段的交通流量。考虑到每天同一时间的交通流量的相似特性,该模型可以通过捕获交通流量与时间信息之间的内在关联性来提高预测准确性
    • 论文下载链接
    • 基于深度学习的多分枝预测模型来预测城市的短期交通流量(City-Wide Traffic Flow Forecasting Using a Deep Convolutional Neural Network)2020SENSORS
    • 提出了一种基于深度学习的多分枝预测模型来预测城市的短期交通流量。在这里它引入了外部因素这一概念,例如天气、突发交通事故、节假日等都会影响交通流量。该模型利用时空交通流矩阵和外部因素作为输入,推断并输出整个路网未来的短期交通状态(流量)。为了模拟当前路段和相邻路段之间的交通流的空间相关性,采用多层全卷积框架进行互相关计算,并从局部到全局尺度提取分层空间依赖关系。同时,通过从时间轴上的近、中、远三个时间段构造交通流矩阵组成的高维张量,从历史观测中提取交通流的时间贴近性和周期性。同时考虑外部因素,用完全连接的神经网络进行训练,然后与TFFNet也就是这个模型的框架的主成分的输出进行融合。多分支模型被自动训练以拟合隐藏在交通流矩阵中的复杂模式,直到通过反向传播方法达到预定义的收敛标准
    • 论文下载链接
    • 基于多范围注意力双组分GCN(MRA-BGCN)的交通流预测(Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting) 2020AAAI
    • 一种用于交通预测的新型深度学习模型。首先根据路网距离构建节点图,并根据各种边沿交互模式构建边图。然后,使用双分量图卷积实现节点和边的交互。引入了多范围注意力机制来汇总不同邻域范围内的信息,并自动了解不同范围的重要性。最新研究主要集中在通过在整个固定加权图中利用图卷积网络(GCN)来对空间依赖性进行建模
    • 论文下载链接
    • 基于时空同步图卷积网络STSGCN的交通流量预测(Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Network Data Forecasting) 2020AAAI
    • 提出了一种新颖的模型,即时空同步图卷积网络(STSGCN),用于时空网络数据预测。该模型能够通过精心设计的时空同步建模机制有效捕获复杂的局部时空相关性。同时,在模型中设计了不同时间段的多个模块,以有效地捕获局部时空图中的异质性。
    • 论文下载链接
    • 中文解读链接
    • 实现链接mx
    展开全文
  • 明尼苏达大学的交通数据收集从2000年3月份开始,为道路检测线圈(loop detector)数据,获取的交通数据间隔为30秒,数据中包含有交通流量和车道占有率。 数据下载网址: http://www.d.umn.edu/~tkwon/TMCdata/...

    明尼苏达大学的交通数据收集从2000年3月份开始,为道路检测线圈(loop detector)数据,获取的交通数据间隔为30秒,数据中包含有交通流量和车道占有率。

    数据集中的数据格式中文描述:

    https://davidham3.github.io/blog/2018/07/11/mndot-traffic-data/

    数据集中的数据格式英文描述:

    https://www.d.umn.edu/~tkwon/TMCdata/Traffic.html

    数据下载网址:

    http://www.d.umn.edu/~tkwon/TMCdata/TMCarchive.html

    下载到当天的.traffic数据解压成如下:

    解压得到的文件是binary文件,下面使用python进行读取

    res = []
    with open(r'D:\Users\yyh\Pycharm_workspace\hybrid_model\10006.v30', 'rb') as fp:
        data = fp.read(1)      #type(data) === bytes
        while data:
            text = int.from_bytes(data, byteorder='big', signed=True)
            res.append(text)
            data = fp.read(1)
    

    具体的int.from_bytes函数使用见:

    https://blog.csdn.net/clovera/article/details/79293108

     

    展开全文
  • 感觉这个比赛是一个特别有意义的比赛,...比赛描述:大赛以“地铁乘客流量预测”为赛题,通过分析地铁站的历史刷卡数据,预测站点未来的客流量变化,帮助实现更合理的出行路线选择,规避交通堵塞,提前部署站点安保...
  • 传入和传出交通代表折线图,记录到一个文件,以便您可以查看关于你日常的统计数据,每周和每月带宽使用情况和拨号时间。报告可以导出各种格式,比如HTML、MS Word和Excel进行进一步分析。 提供清晰的图形和/或数字显示...
  • 时间序列论文常用数据

    千次阅读 2020-05-20 21:30:52
    下载地址:laiguokun/multivariate-time-series-data. electricity (行,列) = (26304, 321) 每日的用电量有一定的季节性,图中只画出 10 列 ...不同地点的交通流量,主要以日为单位,白天多晚上少
  • 队名:无能万金油 2020中国高校计算机大赛·华为云大数据...热身赛题——交通流量预测 随着电子信息和移动通信技术高速发展和不断融合,人工智能在各个领域都相继取得了巨大的突破,城市智能体也应运而生,而城市交
  • PLSQLDeveloper下载

    2012-05-04 11:30:27
    因为PL/SQL允许混合SQL申明和过程结构,因此可以在将申明发送到甲骨文系统去执行之前使用PL/SQL区段和副程序来组合SQL申明,没有PL/SQL,甲骨文需要就每次处理SQL申明,在网络环境中,这将影响交通流量,而且增加...
  • 自己的讲解的课程选择了数据结构和算法。这个系列的讲解分为上下两章</code>,<code>javascript语言辅助。本篇文章为上章,涉及的内容是基本的数据结构。在日本,晚上没事安排@…@,...
  • C题:维修线性流量阀时的内筒设计问题 D题:学生面试问题 2005年优秀论文 A题:Highway Traveling time Estimate and Optimal Routing B题:空中加油 C题:城市交通管理中的出租车规划 D题:仓库容量有限条件下...
  • TianChi_IJCAI17_KouBei: 2017天池口碑商家客流量预测 天池资金流入流出预测-挑战Baseline | 赛题与数据 Daya-Jin/rental-prediction: 2018年全国大学生计算机应用能力大赛之住房月租金预测大数据赛第一名代码 ...
  • NetBalancer

    2021-02-09 14:35:01
    NetBalancer允许您设置的限制和上传和/或下载一个基于每个应用的基础上的速度,并阻止所有网络流量为选定的进程的优先事项。该方案还提供了有关的所有程序使用互联网的详细信息,他们有多少数据传输以及IP地址连接到...
  • 语言:English 在浏览网站时测量网站的重要性!...Moonsearch关键排名标准的PageRank: - 反向链接- 交通 - 域名声誉Moonsearch主要数据来源的PageRank: - Google PageRank. - Alexa评级 - Dmoz. - 雅虎 - Moonsearch.
  • 在每个部分中,Sandvine测量了全球来自几个不同应用程序的流量共享观点:下游:这是下载流量来自网络。例如视频流,文件下载或应用下载iTunes商店。上游:这是上传到的流量互联网。可能是内容请求,互动消息会话或...
  • mcv-m6-2021-team5-源码

    2021-03-14 02:35:24
    道路交通监控视频监控-团队5 贡献者 ( ) 乔迪·布尔格( )( ) 阿尔伯特( )( ) Arnau Roche( ) 第一周 本周的目标是: 熟悉本项目中使用的框架和数据集 实施接下来几周所需的评估指标和图 具体来说,...
  • PLSQL.Developer.v7.1.4.1390破解免安装版

    热门讨论 2009-07-05 00:13:58
    因为plsql允许混合SQL申明和过程结构,因此可以在将申明发送到甲骨文系统去执行之前使用plsql区段和副程序来组合SQL申明,没有plsql,甲骨文需要就每次处理SQL申明,在网络环境中,这将影响交通流量,而且增加响应...
  • 下载离线数据后,搜索和导航均无需联网,GPS+wifi+基站多源定位,在地下也能完成路线规划,公交换乘、周边搜索,生活服务全能助手,语音操控,3D导航,真实驾驶体验,全面辅助驾驶,卫星信号不好时惯性导航自动启动...
  • 第32章 小波神经网络的时间序列预测——短时交通流量预测 第33章 模糊神经网络的预测算法——嘉陵江水质评价 第34章 广义神经网络的聚类算法——网络入侵聚类 第35章 粒子群优化算法的寻优算法——非线性函数极值寻...
  • 在未来,交通将至少每分钟8 KB的水平,但通常会更高,因为他们将不断检查新参与者,参与其中的habratopiki(但通常只有那些出现在空中的habratopiki)。 不幸的是,Habr在评论时也会检查Referer,所以habratopiki...
  • WayOS_H-N4.01.376无限制版(带授权KEY)

    热门讨论 2013-06-30 21:41:56
    其不同之处在于,速度限制是对单个IP或者范围IP进行的流量限制;而带宽保证则是对单个IP或者范围IP提供的一个带宽值保障。 用户管理 → 基本设置 主要用于设置用户上网认证类型及弹出的公告设置。 用户上网控制 ...
  •  打个更形象的比喻:交警为监视公路上汽车行驶状况,为不影响交通,仅在路边配置一台监控设备,同步监视路上的每辆车,并不需要在路中间设卡检查车辆,这种方式相当与“旁路监控”。如果设卡监控,那就应该属于“非...
  • 1.单机版:属于单机管理软件,集服务器和客户端于一体,可以满足区域内实施视频监控的需求(普通的社区/校园/楼宇/商场/交通均可适用),您目前下载的即为单机版免费软件。 2.分发版:功能更加完备,可以满足视频分发...

空空如也

空空如也

1 2
收藏数 28
精华内容 11
关键字:

交通流量数据下载