目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列一：

「本期划重点」

• 清华大学推出全球首个车路协同自动驾驶研究数据集

• Nexar视频数据集覆盖70多个国家，1400多个城市

• 行人目标检测数据集一览：KAIST、ETH、Daimler、Tinghua-Daimler、Caltech、NightOwls、ECP

• 夜间图像也清晰可见：Kaist行人数据集、FLIR热成像数据集、东京大学红外数据集

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

• 系列一：目标检测数据集 🔗

• 系列二：语义分割数据集

• 系列三：车道线检测数据集

• 系列四：光流数据集

• 系列五：Stereo Dataset

• 系列六：定位与地图数据集

• 系列七：驾驶行为数据集

• 系列八：仿真数据集

本文是<系列一目标检测数据集>的第二篇，一共分为三篇来介绍。

下面共包括15个数据集：

01「DAIR-V2X数据集」

• 发布方：清华大学智能产业研究院（AIR）、北京市高级别自动驾驶示范区、北京车网科技发展有限公司、百度Apollo、北京智源人工智能研究院

• 下载地址：

  https://thudair.baai.ac.cn/cooptest

• 发布时间：2022年

• 简介：DAIR-V2X数据集是全球首个用于车路协同自动驾驶研究的大规模、多模态、多视角数据集，全部数据采集自真实场景，同时包含2D&3D标注

• 特征

  • 总计71254帧图像数据和71254帧点云数据

    • DAIR-V2X协同数据集(DAIR-V2X-C)，包含38845帧图像数据和38845帧点云数据

    • DAIR-V2X路端数据集(DAIR-V2X-I)，包含10084帧图像数据和10084帧点云数据

    • DAIR-V2X车端数据集(DAIR-V2X-V)，包含22325帧图像数据和22325帧点云数据

  • 首次实现车路协同时空同步标注

  • 传感器类型丰富，包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器

  • 障碍物目标3D标注属性全面，标注10类道路常见障碍物目标

  • 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口

  • 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景

  • 数据完备，包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等

  • 训练集和验证集已发布，测试集将随同后续Challenge活动发布

02「Argoverse」

• 发布方：Argo AI、卡内基梅隆大学、佐治亚理工学院

• 下载地址：

  https://www.argoverse.org/av1.html

• 论文地址：

  https://arxiv.org/pdf/1911.02620.pdf

• 发布时间：2019年

• 简介：Argoverse 数据集包含 3D Tracking 和 Motion Forecasting 两部分。Argoverse数据集与Waymo有些不同，虽然它也包含激光雷达和摄像头数据，但它只覆盖了在迈阿密和匹兹堡记录的113个场景。其特别之处在于，它是第一个包含高清地图数据的数据集

• 特征

  • 第一个包含高清地图数据的数据集：包含匹兹堡和迈阿密290公里的车道地图，如位置、连接、交通信号、海拔等信息

  • 传感器：2个激光雷达，7个高分辨率环形相机 (1920 × 1200)，2个立体相机（ 2056 × 2464 ）

  • Argoverse 3D tracking

  • 包含 113 个场景的 3d 跟踪注释，每个片段长度为 15-30 秒，共计包含 11052个跟踪对象

  • 对5米内的物体进行标注，共15个标签

  • 70%的标注对象为车辆，30%行人、自行车、摩托车等

  • Argoverse Motion Forecasting

  • 从在迈阿密和匹兹堡的1006小时驾驶记录中获取，总计320小时

  • 包含324,557 个场景，每个场景 5 秒，且包含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图

03「KAIST Multispectral Pedestrian」

• 发布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）

• 下载地址1：

  https://sites.google.com/site/pedestrianbenchmark/download

• 下载地址2：

  https://sites.google.com/site/pedestrianbenchmark/download

• 论文地址：

  https://openaccess.thecvf.com/content_cvpr_2015/papers/Hwang_Multispectral_Pedestrian_Detection_2015_CVPR_paper.pdf

• 发布时间：2015年

• 简介：该数据集为多光谱行人检测数据集，提供白天和夜晚的彩色-热成像图像对。数据集通过彩色图像和热成像的优势互补，提高了行人检测的准确度，克服了以往行人检测数据行人被遮挡、背景混乱、夜间成像不清晰等问题

• 特征

  • 同时提供白天和夜间的95328对彩色-热成像图像，并且通过分束器的处理对齐图像，消除图像视差

  • 数据采集地点为韩国首尔，图像分辨率为640x480

  • 103,128个人工2D框标注， 1,182 个行人

  • 四种不同类型的标注：person、people（不清晰的人像）、cyclist、person?（不确定是否为行人）

  • 采集设备：包含热成像仪、RGB摄像机、分束器等的采集设备

04「ETH Pedestrian」

• 发布方：苏黎世联邦理工大学 (ETH Zürich)

• 下载地址：

  https://icu.ee.ethz.ch/research/datsets.html

• 论文地址：

  https://www.vision.rwth-aachen.de/media/papers/ess08cvpr.pdf

• 发布时间：2009年

• 简介：ETH是一个行人检测数据集，使用摄像机拍摄共三个视频片段，数据集只有一个行人标签

• 特征

  • 测试集包含3个视频片段，共4800帧，帧率为15，共1894个标注

  • 使用2.5D标注，进行抽帧标注，每四帧标注一次

  • 采集于瑞士苏黎世人员密集的街区

  • 使用摄像机进行拍摄

05「Daimler Pedestrian」

• 发布方：Daimler AG

• 下载地址：

  http://www.lookingatpeople.com/download-daimler-ped-det-benchmark/index.html

• 论文地址：

  http://gavrila.net/pami09.pdf

• 发布时间：2008年

• 大小：8.5GB

• 简介：戴姆勒行人检测数据集是采集于城市环境的行人检测数据集，采集的环境均为白天。数据集分为训练集和测试集两部分，训练集又包括行人图像和不包含行人的图像

• 特征

  • 27分钟的视频片段

  • 15560张行人的图像（剪切后分辨率为48x96），6744张不包含行人的图片

  • 21,790 张图片(640x480 分辨率)， 56,492个2D人工标注

  • 视频通过行驶车辆上的摄像头采集，场景全部为日间城市道路

06「Tsinghua-Daimler Cyclist」

• 发布方：Daimler AG、清华大学

• 下载地址：

  http://www.lookingatpeople.com/download-tsinghua-daimler-cyclist/index.html

• 论文地址：

  http://www.gavrila.net/Publications/iv16_cyclist_benchmark.pdf

• 发布时间：2016年

• 简介：该数据集旨在丰富骑行者的数据，提高自动驾驶算法对骑行者检测的准确度，在此之前还没有推出过专门针对骑行者目标检测的数据集

• 特征

  • 将近6个小时的视频数据，分辨率为2048×1024

  • 14674帧带标注数据， 32361个标注对象，包括骑行者、行人和其他骑行者

  • 数据集分为部分标注数据集和全部标注数据集。部分标注数据集只包括完整清晰的骑行者，而后者包括行人、自行车、三轮车、轮椅、摩托车等所有骑行者

  • 使用车载立体相机进行采集，采集地点为北京的海淀区和朝阳区

07「Caltech数据集」

• 发布方：加州理工学院 （California Institute of Technology）

• 下载地址：

  http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

• 论文地址：

  http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdf

• 发布时间：2009年

• 简介：加州理工学院行人数据集采集于洛杉矶的城市道路，视频数据通过车辆搭载摄像头采集

• 特征

  • ‍包含将近10个小时的640x480 30Hz 数据集

  • 数据集分为训练集和测试集，训练集分为6个子集，测试集分为4个子集，每个子集大小大约为1GB

  • 包含大约 250,000帧行人标注数据，350,000个2D框，2300个行人，总时长大约为137分钟

  • 区分标注行人的可见部分和不可见部分

  • 视频采集于洛杉矶行人较多的六个区：LAX, Santa Monica, Hollywood, Pasadena, and Little Tokyo

08「NightOwls」

• 发布方：Oxford Visual Geometry Group

• 下载地址：

  https://www.nightowls-dataset.org/download/

• 论文地址：

  https://www.robots.ox.ac.uk/~vgg/publications/2018/Neumann18b/neumann18b.pdf

• 发布时间：2018年

• 简介：NightOwls数据集主要提供夜间的行人数据。与白昼相比，夜间照明度差，反射、模糊和对比度变化多，因此夜间行人检测更具挑战性

• 特征

  • 279,000帧数据，图像分辨率为1024 x 640，帧率为15

  • 所有帧都带有2D框标注，且带有追踪信息，包含42,273个行人

  • 四种行人标签：Pedestrians、Bicycledriver、Motorbikedriver、Ignore areas

  • 四类标签属性：Pose、Difficulty、Occlusion、Truncation

  • 多样性：覆盖三个国家（德国、英国、荷兰），春夏秋冬四个季节，黎明和夜晚，不同的天气状况如雨雪天气
    

09「EuroCity Persons Dataset」

• 发布方：代尔夫特理工大学 (Delft University of Technology (TU Delft))

• 下载地址：

  https://eurocity-dataset.tudelft.nl/eval/user/login?_next=/eval/downloads/detection

• 论文地址：

  https://arxiv.org/pdf/1805.07193;The

• 发布时间：2018年

• 简介：ECP是一个多元化的行人检测数据集，数据收集于欧洲多个国家，由车载摄像头进行收集

• 特征

  • 大型多样化数据集：覆盖4 个季节、12 个国家、31 个城市、47300 张图像、238200 个人

  • 标签分为行人和骑行者两类，骑行者又进一步分为自行车、婴儿车、摩托车、滑板车、三轮车、轮椅等类型

  • 对骑行者的标注分两部分：对人的标注以及骑行工具的标注

  • 标注信息除了2D框之外，还包括定位信息

10「Urban Object Detection」

• 发布方：机器人和立体视觉小组（The Robotics and Tridimensional Vision Group, RoViT， University of Alicante ）

• 下载地址：

  http://www.rovit.ua.es/dataset/traffic/#explore（邮件联系获取）

• 论文地址：

  https://www.mdpi.com/2079-9292/7/11/301#

• 发布时间：2018年

• 简介：该数据集中的数据来自于现有数据集，例如PASCAL VOC 、UDacity、Sweden，同时通过安装在车辆上的高清摄像头收集了一部分数据（1%左右），该数据集在公开数据集等的基础上增加了标签的类别。其中有一些数据为弱标注数据，可以用于测试弱监督学习技术

• 特征

  • 数据集被分成两部分：traffic objects 和 traffic signs

  • traffic objects数据集经2D标注，共包括汽车、摩托车、人、信号灯、公交车、自行车和交通标志

  • traffic signs 总共包含43种欧洲街道常见的交通标志，数据来自GTSRB以及Sweden

  • 共包含12000个交通标志

11「Road Damage Dataset 2018-2020」

• 发布方：东京大学

• 下载地址：

  https://github.com/sekilab/RoadDamageDetector/

• 论文地址：

  https://arxiv.org/abs/1801.09454

  https://www.sciencedirect.com/science/article/pii/S2352340921004170

• 发布时间：2018-2020

• 简介

  • Road Damage Dataset 2018：该数据集第一次收集了大规模的道路损坏数据集，收集了日本7个城市共40多个小时的数据。由安装在汽车上的智能手机拍摄的 9,053 张道路病害图像组成，这些道路图像中包含 15,435 个路面病害实例，包含8种病害类型。每幅图像中，道路病害位置和病害类型都被标注出来

  • Road Damage Dataset 2020：该数据集使用车载智能手机拍摄，包含来自印度、日本和捷克共和国的 26,336 张道路图像，其中有超过 31,000 个道路损坏实例。该数据集收集了四种类型的道路损坏：纵向裂缝、横向裂缝、鳄鱼裂缝和坑洼

12「FLIR Thermal Sensing」

• 发布方：Teledyne FLIR

• 下载地址：

  https://www.flir.eu/oem/adas/adas-dataset-form/#anchor29

• 发布时间：2018年

• 大小：17GB

• 简介：感知热红外辐射或热量的能力为现有传感器技术（如可见光相机、激光雷达和雷达系统）提供了互补和独特的优势。该数据集通过热传感技术提供了热图像，在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下，可检测并区分行人、骑行者、动物和机动车辆，促进可见光 + 热传感器融合算法 (“RGBT”) 的研究进展

• 特征

  • 26,442 个完全标注的帧，520,000个2D框，9,711 张热图像和 9,233 张 RGB 图像

  • 15个标签类别：行人、自行车、汽车、摩托车、公共汽车、火车、卡车、红绿灯、消防栓等

  • 热成像仪规格：Teledyne FLIR Tau 2 640x512，13mm f/1.0

13「TuSimple 车道线检测数据集」

• 发布方：Tusimple

• 下载地址：

  https://github.com/TuSimple/tusimple-benchmark/issues/3

• 发布时间：2017年

• 简介：Tusimple举办了一次以摄像头图像数据做车道检测的比赛,公开了一部分数据及其标注信息

• 特征

  • 7,000 个 1 秒长的视频片段，每个片段 20 帧

  • 环境特征：白天，良好或中等的天气，高速公路

  • 训练集包含3626 个视频片段，测试集包含2782 个视频片段

  • 采用线标注，每条线实际上是点序列的坐标集合，而不是区域集合

14「NEXET」

• 发布方：Nexar

• 下载地址：

  https://www.kaggle.com/solesensei/nexet-original

• 发布时间：2017年

• 大小：11G

• 简介：Nexar 包含丰富和多样化道路数据，采用行车记录仪和手机摄像头等拍摄，是目前为止涵盖最多国家和城市的自动驾驶数据集

• 特征

  • 超过2500000个小时的视频，50000张带有2D框标注图像的训练集， 包含41190张图像的测试集合

  • 多样化：覆盖77个国家，1400多个城市，三种照明条件（白天、夜晚、黄昏），四个季节，多种路况（城市、乡村、高速、居民区甚至包括沙漠道路），多种天气状况（晴、雾、雨、雪）

  • 标注：采用2D标注，2D框与车辆不完全贴合

15「Multi-spectral Object Detection」

• 发布方：东京大学

• 下载地址：

  https://drive.google.com/drive/folders/1YtEMiUC8sC0iL9rONNv96n5jWuIsWrVY

• 论文地址：

  https://dl.acm.org/doi/pdf/10.1145/3126686.3126727

• 发布时间：2017年

• 大小：6.85GB

• 简介：该数据集由RGB图像、近红外图像、中红外图像和远红外图像组成，图片拍摄于校园环境

• 特征

  • 7,512 张图片，3,740张日间的图片以及3,772 张夜间图片

  • 采集：图片由RGB、近红外相机、中红外相机和远红外相机获取，为了模拟驾驶环境，相机被安装在一辆小推车上

  • 环境：东京的大学校园，包括白天和夜晚的数据

  • 标注：包含2D框及标签，包括行人、自行车、车辆等障碍物

「联系我们」

整数智能希望通过在数据处理领域的专业能力，在未来三年，赋能1000+以上的AI企业，成为这些企业的「数据合伙人」，因此我们非常期待能与正在阅读这篇文章的您，有进一步的沟通交流，欢迎联系我们，一起探索更多合作可能性，我们的联系方式如下：

联系人：祁先生

电话：13456872274

更多详情可访问整数智能官网：www.molardata.com

Paper链接

Looking Ahead: Anticipating Pedestrians Crossing with Future Frames Prediction

1.Intro: contribute

1.我们提出了未来的视频帧预测编码器/解码器网络，该网络以自监督的方式运行，以使用N个初始帧来预测视频的N个未来帧。
2.我们提出了一种端到端模型，该模型可以预测未来的视频帧，并将预测的帧用作监督动作识别网络的输入，以预测行人何时会走在车辆前。
3.我们在未来帧预测和对JAAD数据集的行人未来穿越行动的预测上均达到了最新的性能。
4.我们进行了彻底的消融研究，结果表明模型组件在多种天气条件，位置和其他变量下均十分可靠，高效。

2.Method

2.1.Architecture:
	我们的端到端模型包括两个阶段：第一阶段是一个自我监督的编码器/解码器网络，该网络生成预测的未来视频帧。 第二阶段是深度的时空行为识别网络，该网络利用生成的视频帧来预测行人的行为，特别是行人是否会在车辆前方越过。
2.2.prediction component预测组件
	2.2.1 N个连续的视频帧被输入到模型中，并且该模型预测了将来的N个帧。
	2.2.2 图A是编码器/解码器架构的视觉表示。 编码器将帧的输入序列映射到具有不同分辨率的低维特征空间中。 解码器将输入帧的低维表示空间映射到输出图像空间。
		  图B是4种convLSTMs层和残差操作结构示意图。

	
	编码器：编码器是由三维卷积层组成的时空神经网络。
	   3D卷积建模跨帧的时间连接的空间关系和顺序关系。  N个RGB帧是编码器输入。 输入的大小为3×N×H×W。输出的特征图的时间长度与输入图像匹配。前两个图像下采样，最后一个是时分滤波器，捕获了输入序列的时间依赖性。
	
	解码器：解码器由convLSTMs层和上采样层组成。
	编码器/解码器连接：横向跳过连接从编码器中相同尺寸的部分到解码器（图2中的绿线）交叉。 横向连接增加了可用输入帧的细节水平，从而有助于预测帧中的细节。

A-在我们的方法中使用前N个视频帧（过去）作为输入来预测下N个视频帧（未来）的编码器/解码器网络的建议概述。

B-在A中的体系结构中使用的4个不同的残差块。（a）和（b）是在编码器中使用的残差块。 （c）和（d）用于解码器。

3. Pedestrian Action Prediction Component 行人行动预测组件

	该模型的第二阶段包括一个经过微调的早期动作识别网络，即“时间3D虚拟网络”（T3D)。
	该阶段预测行人是否会在场景中过马路。 从编码器/解码器产生的N个预测帧被输入到网络中。
	T3D网络的最后一个分类层被完全连接的层替换，该层产生一个输出，然后进行S型激活。 对组件进行二进制交叉熵损失训练。

4.Loss-Function

	L[recog] = λ*L[pred] + L[ce](Y, ˆY)

Lce是交叉行动分类的交叉熵损失，ˆY和Y是high-level预测和对应的groundtruth。
Lpred是未来帧预测损失，即N个预测帧和N个ground truth帧的像素之间的逐像素损失。

Lpred定义如下：

这里的P = H×W，为每帧像素数。 为了规范化，将l1和l2范数损失结合使用。

5. Experiments 实验

5.1 Data: JAAD
5.2 model: 
5.2.1 架构设计：对主要的编码器/解码器组件进行了实验操作，以测试多种架构设计。 层的数量，层的顺序以及层中的通道数量都不同。 
在所有变化中，编码器输出保持不变，这是因为输入的空间尺寸始终被8降采样。在解码器中，始终使用convLSTM块-反卷积模式。
5.2.2 超参数选择：(表1)对于每个选定的体系结构，随机采样了38个超参数设置。 每个参数设置都使用其在验证集上的平均像素方向预测误差来评估。

表1.编码器/解码器网络超参数和搜索空间。 注意：时间扩散率仅在编码器的最后一个块中实现

5.3训练
我们使用了[14]中介绍的相同的训练，验证和测试片段，这使我们可以直接比较我们的性能。  
60％的数据用于培训，10％的数据用于验证，30％的数据用于测试。 将剪辑分为2N帧视频，时间跨度为1。
将帧的大小调整为128×208，N =16。因此，模型输入为3×16×128×208。
lr=1e-4

6. Results

JAAD 数据集上达到了SOTA，平均精度（AP）为86.7，比以前的最新技术[14]81.14AP有所提高。

参考文献
[14]P. Gujjar and R. Vaughan. Classifying pedestrian actions in advance using predicted video of urban driving scenes. In 2019 International Conference on Robotics and Automation (ICRA), pages 2097–2103. IEEE, 2019.

Fin.