• 转 【干货】二十五个深度学习相关公开数据集 2018年04月18日 13:42:53 阅读数:758 ...

    【干货】二十五个深度学习相关公开数据集

    640?wx_fmt=gif&wxfrom=5&wx_lazy=1

    (选自Analytics Vidhya;作者:Pranav Dar;磐石编译)

    目录

    • 介绍

    •  图像处理相关数据集

    • 自然语言处理相关数据集

    • 语音处理相关数据集

    • Supplement

    一.介绍

    通常来说,深度学习的关键在于实践。从图像处理到语音识别,每一个细分领域都有着独特的细微差别和解决方法。

    然而,你可以从哪里获得这些数据呢?现在大家所看到的大部分研究论文都用的是专有数据集,这些专有数据集又通常不会公开。那么,想实践那些最新的理论方法往往就成了难题。

    如果你也遇到了这样的问题,接下来我们会提供了一系列可用的公开数据集给大家。

    在本文中,我们列出了一系列高质量的数据集,每个深度学习爱好者都可以使用这些数据集来提高自己的能力。应用这些数据集将使您成为一名更好的数据科学家,并且您从中获得的东西将在您的职业生涯中具有无可估量的价值。我们还收录了具有当前最好结果(SOTA)的论文,供您浏览并改进您的模型。

    如何使用这些数据集?

    首先要做的事:这些数据集的规模很大!所以请确保你的网络够快,确保下载没有任何限制。

    有很多种方式可以使用这些数据集。比如:你可以使用它们来锻炼你的各种深度学习方法技巧;你可以使用它们来磨练你的技能,了解如何识别和构建每个问题,思考独特的使用案例和公布你的新发现!

    数据集分为三类图像处理相关数据集,自然语言处理相关数据集语音处理相关数据集

    二.图像处理相关数据集

    1. MNIST (https://datahack.analyticsvidhya.com/contest/practice-problem-identify-the-digits/)

    640?wx_fmt=png

    MNIST是最受欢迎的深度学习数据集之一。它是一个手写数字数据集,包含一个60,000样本的训练集和一个10,000样本的测试集。这是一个很不错的数据集,它可用于在实际数据中尝试学习技术和深度识别模式,并且它花费极少的时间和精力在数据预处理上。

    大小:约50 MB

    数量 10类别,70,000张图片

    SOTADynamic Routing Between Capsules

    (https://arxiv.org/pdf/1710.09829.pdf)


    2. MS-COCO

    (https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&token=1276755825&lang=zh_CN#home)

    640?wx_fmt=jpeg


    COCO是一个可用于object detection, segmentation and caption的大型数据集。有以下特点:

    • 目标分割

    • 上下文关系识别

    • 超像素分割

    • 330K图像(> 200K已标记)

    • 150万个目标

    • 80个分类

    • 91种目标

    • 每张图片5个字幕

    • 包含250,000个人(已标记)

    大小:约25 GB(压缩包)

    数量 330K张图像,80个对象类别,每个图像5个描述,25万个人(已标记)

    SOTA  Mask R-CNN

    (https://arxiv.org/pdf/1703.06870.pdf)


    3. ImageNet

    640?wx_fmt=png

    (https://arxiv.org/pdf/1703.06870.pdf)

     ImageNet是基于WordNet层次结构组织的图像数据集。WordNet包含约100,000个短语,ImageNet平均提供了约1000个图像来说明每个短语。

    大小:约150GB

    数量:图像总数约1,500,000; 每个都有多个边界框和相应的类标签。

    SOTA  Aggregated Residual Transformations for Deep Neural Networks

    (https://arxiv.org/pdf/1611.05431.pdf)


    4. Open Images Dataset 

    640?wx_fmt=png

    (https://github.com/openimages/dataset)

    Open Images Dataset是一个包含超过900万个链接图像的数据集。其中包含9,011,219张图像的训练集,41,260张图像的验证集以及125,436张图像的测试集。它的图像种类跨越数千个类别,且有图像层级的标注框进行注释。

    大小 500 GB(压缩包)

    数量 9,011,219张超过5k标签的图像

    SOTA Resnet 101 image classification model (trained on V2 data):Model checkpoint, Checkpoint readme, Inference code.

    (https://storage.googleapis.com/openimages/2017_07/oidv2-resnet_v1_101.ckpt.tar.gz)


    5. VisualQA (http://www.visualqa.org/)

    640?wx_fmt=jpeg

    VQA是一个包含有关图像的开放式问题的数据集。这些问题需要理解视野和语言。有以下有意思的特点:

    • 265,016张图片(COCO和抽象场景)

    • 每张图片至少有3个问题(平均5.4个问题)

    • 每个问题10个基本事实

    • 每个问题3个似乎合理(但可能不正确)的答案

    • 指标自动评估

    大小: 25 GB(压缩包)

    数量 265,016张图片,每张图片至少3个问题,每个问题10个基本事实

    SOTA Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge(https://arxiv.org/abs/1708.02711


    6. The Street View House Numbers (SVHN)

    640?wx_fmt=png

    (http://ufldl.stanford.edu/housenumbers/)

     这是一个为训练目标检测算法而“真实”存在的一个图像数据集–来自于谷歌街景中的房屋号码。它对图像预处理和格式要求较低。与上边提到的MNIST数据集类似,但SVHN包含更多的标记数据(超过600,000个图像)。

    大小 2.5 GB

    数量 10个类别,共6,30,420张图片

    SOTADistributional Smoothing With Virtual Adversarial Training(https://arxiv.org/pdf/1507.00677.pdf)


    7. CIFAR-10 

    640?wx_fmt=png

    (http://www.cs.toronto.edu/~kriz/cifar.html)

    这个数据集是图像分类的另一个神级入门数据集。它由10个类别60,000个图像组成(每个类在上图中表示为一行)。总共有50,000个训练图像和10,000个测试图像。数据集分为6个部分 - 5个训练批次(training batches)和1个测试批次(test batches)。每个批次(batch)有10,000个图像。

    大小:170 MB

    数量:10个类别,共60,000张图片

    SOTAShakeDrop regularization(https://openreview.net/pdf?id=S1NHaMW0b)


    8. Fashion-MNIST (https://github.com/zalandoresearch/fashion-mnist)

    640?wx_fmt=png

    Fashion-MNIST包含60,000个训练图像和10,000个测试图像。它是一个类似MNIST的时尚产品数据库。开发人员认为MNIST已被过度使用,因此他们将其作为该数据集的直接替代品。每张图片都以灰度显示,并与10个类别的标签相关联。

    大小:30 MB

    数量:10个类,70,000张图片

    SOTA:Random Erasing Data Augmentation(https://arxiv.org/abs/1708.04896)

    三.自然语言处理相关数据集

    1.IMDB Reviews 

    (http://ai.stanford.edu/~amaas/data/sentiment/)

    这对电影爱好者来说是一个极棒的数据集。它可用于着二元情感分类,并具有比此领域以前的任何数据集更多的数据。除了用于训练和测试评论数据外,还有更多未标记的数据可供使用。同时该数据集还包含原始文本和预处理单词格式包。

    大小:80 MB

    数量:25,000条高质量影评用于训练,25,000条用于测试

    SOTALearning Structured Text Representations https://arxiv.org/abs/1705.09207

    https://arxiv.org/abs/1705.09207

    2.Twenty Newsgroups 

    https://archive.ics.uci.edu/ml/datasets/Twenty+Newsgroups

    顾名思义,该数据集包含着新闻组相关的文本数据信息。这二十个新闻组数据集合收集了大约20,000新闻组文档,均匀的分布在20个不同的集合。这些文档具有新闻的典型特征:主题,作者和引述。

    大小:20 MB

    数量:来自20个新闻组的20,000条消息

    SOTAVery Deep Convolutional Networks for Text Classification  (https://arxiv.org/abs/1606.01781)


    3.Sentiment140 (http://help.sentiment140.com/for-students/)

    Sentiment140是一个可用于情感分析的数据集。使用这个流行数据集来开启你的NLP旅程是完美的。情绪信息已经从数据中预先删除。最终的数据集具有以下6个特征:

    • 推文的感情色彩(polarity)

    • 推文的ID

    • 推文的日期

    • 推特(tweeter)的用户名

    • 推文的文本内容

    大小:80 MB(压缩包)

    数量:160,000条推文

    SOTA:Assessing State-of-the-Art Sentiment Models on State-of-the-Art Sentiment Datasets  http://www.aclweb.org/anthology/W17-5202

    4.WordNet  https://wordnet.princeton.edu/

    在上面的ImageNet数据集中提到,WordNet是一个包含英文synsets的大型数据库。Synsets是指同义词组,每个描述不同的概念。 WordNet的结构使其成为NLP非常有用的工具。

    大小:10 MB

    数量:通过少量“概念联系”将117,000个同义词集与其他同义词集相关联。

    SOTAWordnets: State of the Art and Perspectives 

    https://aclanthology.info/pdf/R/R11/R11-1097.pdf


    5.Yelp Reviews https://www.yelp.com/dataset

    这是Yelp(美国最大的点评网站)为了学习目的而发布的一个公开数据集。它由数百万用户评论、商业类型和来自多个大型城市的超过20万张照片组成。这在全球都是一个非常常用的NLP挑战级数据集。

    大小:2.66 GB JSON,2.9 GB SQL and 7.5 GB Photos(全部已压缩)

    数量:5,200,000条评论,174,000条商业类型,20万张图片和11个大型城市

    SOTAAttentive Convolution


    6.The Wikipedia Corpus 

    https://arxiv.org/pdf/1710.00519.pdf

    该数据集是维基百科全文的集合。它包含来自400多万篇文章的将近19亿单词。这是个强大的NLP数据集你可以通过单词,短语或段落来进行检索。

    大小:20 MB

    数量:4,400,000篇文章,19亿单词

    SOTABreaking The Softmax Bottelneck: A High-Rank RNN language Model https://arxiv.org/pdf/1711.03953.pdf


    7.The Blog Authorship Corpus 

    http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

    此数据集包含来自数千名博主的博文(收集自blogger.com)。每篇博客都作为一个单独的文件提供。每篇博客至少有着200个常用英语单词。

    大小:300 MB

    数量:681,288博文,超过1.4亿单词

    SOTACharacter-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attribution  https://arxiv.org/pdf/1609.06686.pdf


    8.Machine Translation of Various Languages 

    http://statmt.org/wmt18/index.html

    该数据集包含四种欧洲语言的训练数据。可用于改进当前的翻译方法。有以下语言互译可供参考:

    • 英汉和汉英

    • 英语 - 捷克语和捷克语 - 英语

    • 英语 - 爱沙尼亚语和爱沙尼亚语 - 英语

    • 英语 - 芬兰语和芬兰语 - 英语

    • 英语 - 德语和德语 - 英语

    • 英语 - 哈萨克语和哈萨克语 - 英语

    • 英文 - 俄文和俄文 - 英文

    • 英语 - 土耳其语和土耳其语 - 英语

    大小:约15 GB

    数量约30,000,000个句子及其翻译

    SOTAAttention Is All You Need https://arxiv.org/abs/1706.03762

    四.语音处理相关数据集

    1.Free Spoken Digit Dataset 

    https://github.com/Jakobovski/free-spoken-digit-dataset

    此列表中的另一个与MNIST数据集相似的数据集!为了解决自然语言处理中的数字识别任务而创建。这是一个公开的数据集,并且希望随着人们贡献更多样本来获得持续增长。目前,它包含以下特点:

    • 3个录音者

    • 1500条录音(每个人每个数字50遍

    • 英式发音

    大小:10 MB

    数量:1500条音频

    SOTA:Raw Waveform-based Audio Classification Using Sample-level CNN Architectures https://arxiv.org/pdf/1712.00866


    2.Free Music Archive (FMA) https://github.com/mdeff/fma

    FMA是一个音乐分析数据集。数据集由音频(full-length and HQ),预先计算的特征( pre-computed features)以及音轨和用户级元数据(metadata)组成。它是一个公开数据集,用来评估MIR中的多项任务。以下是其包含的csv文件列表:

    • tracks.csv:包含所有(106,574首)曲目的基本信息–ID,标题,艺术家,流派,标签和播放次数。

    • genres.csv:163种流派的ID(包含名称和之间的关系)

    • features.csv:基本特征(使用librosa(https://librosa.github.io/librosa/)提取)。

    • echonest.csv:由Echonest(现在的Spotify)为13129首曲目提供的音频特征。(http://the.echonest.com/)  (https://www.spotify.com/)

    大小:约1000 GB

    数量:约100,000曲目(tracks)

    SOTA:Learning to Recognize Musical Genre from Audio 

    https://arxiv.org/pdf/1803.05337.pdf


    3.Ballroom http://mtg.upf.edu/ismir2004/contest/tempoContest/node5.html

    该数据集由来自舞厅的音频数据组成。以实际音频格式提供了许多舞蹈风格的一些音频片段。有以下特点:

    • 总数:698

    • 单个时长:约30秒

    • 总时长:约20940秒

    大小:14GB(压缩)

    数量:约700个音频样本

    SOTA A Multi-Model Approach To Beat Tracking Considering Heterogeneous Music Styles https://pdfs.semanticscholar.org/0cc2/952bf70c84e0199fcf8e58a8680a7903521e.pdf


    4.Million Song Dataset https://labrosa.ee.columbia.edu/millionsong/

    640?wx_fmt=jpeg

    百万歌曲数据集是由一百万首当代流行音乐曲目的音频特征和元数据组成。其目的是:

    • 鼓励对扩展到商业规模的算法进行研究

    • 为评估研究提供参考数据集

    • 作为使用API创建大型数据集的替代方法(e.g. The Echo Nest)

    • 帮助新研究人员在MIR领域开始工作

    数据集的核心是一百万首歌曲的特征分析和元数据。该数据集不包含任何音频,只包含派生的特征。样本音频可以通过使用哥伦比亚大学提供的代码从7digital等服务器上获取。https://labrosa.ee.columbia.edu/millionsong/   http://www.7digital.com/

    大小:280 GB

    数量:一百万首歌曲哦!

    SOTA: Preliminary Study on a Recommender System for the Million Songs Dataset Challenge http://www.ke.tu-darmstadt.de/events/PL-12/papers/08-aiolli.pdf


    5.LibriSpeech http://www.openslr.org/12/

    该数据集是包含约1000小时英语音频的大型语料库。这些数据来自LibriVox项目的有声读物(audiobooks),且已经过分割、对齐处理。如果您恰好想入门这个领域,请查看已准备好的声学模型(已在kaldi-asr.org和语言模型上进行了训练且适合评估),网址为http://www.openslr.org/11/  http://www.kaldi-asr.org/downloads/build/6/trunk/egs/

    大小:约60 GB

    数量:1000小时音频

    SOTA: Letter-Based Speech Recognition with Gated ConvNets https://arxiv.org/abs/1712.09444


    6.VoxCeleb https://mp.weixin.qq.com/cgi-bin/VoxCeleb

    VoxCeleb是一个大型的语音识别数据集。它由来自YouTube视频中的1,251名明星所讲的约10万句话组成。这些数据性别分布均衡(男性占55%),名人跨越不同的口音、职业和年龄,训练集和测试集之间没有重叠。通过这个数据集可以实现一个有趣的应用区分和识别超级巨星

    大小:150 MB

    数量:1,251位名人的100,000条话语

    SOTA:VoxCeleb: a large-scale speaker identification dataset https://www.robots.ox.ac.uk/~vgg/publications/2017/Nagrani17/nagrani17.pdf

    五.Supplement

    Analytics Vidhya Practice Problems:

    为了帮助练习,我们还提供了来自DataHack平台,三个更贴近生活的题目(包含问题+数据集)供练手。当然,肯定是深度学习相关,如下:


    1.Twitter Sentiment Analysis 

    https://datahack.analyticsvidhya.com/contest/practice-problem-twitter-sentiment-analysis/

    含有种族主义和性别歧视言论的推文的处理已成为twitter的难题,那么区分识别这些推文就成了twitter的重要任务。在这个实际问题中,我们提供正常推文与非正常推文两种Twitter数据。你的任务是正确区分这些推文。

    大小:3 MB

    数量:31,962条推文


    2.Age Detection of Indian Actors 

    https://datahack.analyticsvidhya.com/contest/practice-problem-age-detection/

    对于任何深度学习爱好者来说,这都是一个令人着迷的挑战。该数据集由数千个印度演员的图片组成,你的任务是确定他们的年龄。所有图像都是从视频帧中人工剪切的,这致使尺度,姿态,表情,亮度(illumination),年龄,分辨率,遮挡和妆容具有高度可变性。

    大小:48 MB(压缩包)

    数量:训练集19,906幅图像和测试集6636幅图像

    SOTA:Hands on with Deep Learning – Solution for Age Detection Practice Problem

    https://www.analyticsvidhya.com/blog/2017/06/hands-on-with-deep-learning-solution-for-age-detection-practice-problem/


    3. Urban Sound Classification 

    https://datahack.analyticsvidhya.com/contest/practice-problem-urban-sound-classification/

    这个数据集包含超过8000个来自10个类别的城市声音片段。这个实际问题旨在向你介绍对常用分类场景的音频处理。

    大小:训练集 - 3 GB(压缩),测试集 - 2 GB(压缩)

    数量:10个类别,8732个城市声音片段(单个片段时长<= 4s,已标注)



    写在最后:如果你知道其他公开数据集,可以告诉我们(说明推荐原因、详细用途等等)。

    如果理由充分,我会把它们列入清单。来评论里讨论你们的使用感受吧。深度学习万岁!

    (编译自:https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/)

    640?wx_fmt=jpeg

    640?wx_fmt=gif

    640?wx_fmt=jpeg


    点击下方“阅读原文”了解【人工智能实验平台】↓↓↓
    (".MathJax").remove();    MathJax.Hub.Config({            "HTML-CSS": {                    linebreaks: { automatic: true, width: "94%container" },                    imageFont: null            },            tex2jax: {                preview: "none"            },            mml2jax: {                preview: 'none'            }    });    (function(){        var btnReadmore =("#btn-readmore"); if(btnReadmore.length>0){ var winH = (window).height();vararticleBox=("div.article_content"); var artH = articleBox.height(); if(artH > winH*2){ articleBox.css({ 'height':winH*2+'px', 'overflow':'hidden' }) btnReadmore.click(function(){ articleBox.removeAttr("style"); $(this).parent().remove(); }) }else{ btnReadmore.parent().remove(); } } })()
    想对作者说点什么? 我来说一句
    深圳入户放宽,你符合入户资格吗?来测分 博学服务中心 · 顶新
    var width = $("div.recommend-box").outerWidth() - 48; NEWS_FEED({ w: width, h : 90, showid : 'GNKXx7', placeholderId: "ad1", inject : 'define', define : { imagePosition : 'left', imageBorderRadius : 0, imageWidth: 120, imageHeight: 90, imageFill : 'clip', displayImage : true, displayTitle : true, titleFontSize: 20, titleFontColor: '#333', titleFontFamily : 'Microsoft Yahei', titleFontWeight: 'bold', titlePaddingTop : 0, titlePaddingRight : 0, titlePaddingBottom : 10, titlePaddingLeft : 16, displayDesc : true, descFontSize: 14, descPaddingLeft: 14, descFontColor: '#6b6b6b', descFontFamily : 'Microsoft Yahei', paddingTop : 0, paddingRight : 0, paddingBottom : 0, paddingLeft : 0, backgroundColor: '#fff', hoverColor: '#ca0c16' } })
    老腰突,颈椎病,教你个不吃药不打针的高招,一用就灵! 广仁 · 顶新
    var width = $("div.recommend-box").outerWidth() - 48; NEWS_FEED({ w: width, h: 90, showid: 'Afihld', placeholderId: 'a_d_feed_0', inject: 'define', define: { imagePosition: 'left', imageBorderRadius: 0, imageWidth: 120, imageHeight: 90, imageFill: 'clip', displayImage: true, displayTitle: true, titleFontSize: 20, titleFontColor: '#333', titleFontFamily: 'Microsoft Yahei', titleFontWeight: 'bold', titlePaddingTop: 0, titlePaddingRight: 0, titlePaddingBottom: 10, titlePaddingLeft: 16, displayDesc: true, descFontSize: 14, descPaddingLeft: 14, descFontColor: '#6b6b6b', descFontFamily: 'Microsoft Yahei', paddingTop: 0, paddingRight: 0, paddingBottom: 0, paddingLeft: 0, backgroundColor: '#fff', hoverColor: '#ca0c16' } })

    WMT14数据集

    2018年04月09日 423.85MB 下载

    机器翻译WMT14数据集

    2018年04月09日 547.08MB 下载

    scrolling="no">
    <iframe id="iframeu3394176_0" src="https://pos.baidu.com/qcqm?conwid=800&conhei=100&rdid=3394176&dc=3&di=u3394176&dri=0&dis=0&dai=6&ps=4826x346&enu=encoding&dcb=___adblockplus&dtm=HTML_POST&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1531466883565&ti=%E3%80%90%E5%B9%B2%E8%B4%A7%E3%80%91%E4%BA%8C%E5%8D%81%E4%BA%94%E4%B8%AA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9B%B8%E5%85%B3%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86%20-%20CSDN%E5%8D%9A%E5%AE%A2&ari=2&dbv=0&drs=3&pcs=1908x886&pss=1908x4900&cfv=0&cpl=0&chi=1&cce=true&cec=UTF-8&tlm=1531466883&prot=2&rw=886&ltu=https%3A%2F%2Fblog.csdn.net%2Ftkkzc3E6s4Ou4%2Farticle%2Fdetails%2F79988596&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D9MoFoHLZSwUhbrNjuORlDhaktUYNMmcbK4Tg1bUUi6x2koKG8phkTTi8fTZGXBgeQcjF8FhP4NvZtwYrNIlVqoUj8pPSei1TTRJP8cfIixW%26wd%3D%26eqid%3Dec25f94d0004001c000000065b48547c&ecd=1&uc=1920x988&pis=-1x-1&sr=1920x1080&tcn=1531466884&qn=f9ea1af9c21b8517&tt=1531466882938.894.894.895" vspace="0" hspace="0" scrolling="no" width="800" height="100" align="center,center"></iframe>
    scrolling="no">

    手写体数字图片训练数据集

    2016年04月15日 5.03MB 下载

    <iframe id="iframeu3394176_1" src="https://pos.baidu.com/qcqm?conwid=800&conhei=100&rdid=3394176&dc=3&di=u3394176&dri=1&dis=0&dai=7&ps=24514x346&enu=encoding&dcb=___adblockplus&dtm=HTML_POST&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1531467496645&ti=%E3%80%90%E5%B9%B2%E8%B4%A7%E3%80%91%E4%BA%8C%E5%8D%81%E4%BA%94%E4%B8%AA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9B%B8%E5%85%B3%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86%20-%20CSDN%E5%8D%9A%E5%AE%A2&ari=2&dbv=0&drs=4&pcs=1908x886&pss=1908x24587&cfv=0&cpl=0&chi=1&cce=true&cec=UTF-8&tlm=1531467496&prot=2&rw=886&ltu=https%3A%2F%2Fblog.csdn.net%2Ftkkzc3E6s4Ou4%2Farticle%2Fdetails%2F79988596&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D9MoFoHLZSwUhbrNjuORlDhaktUYNMmcbK4Tg1bUUi6x2koKG8phkTTi8fTZGXBgeQcjF8FhP4NvZtwYrNIlVqoUj8pPSei1TTRJP8cfIixW%26wd%3D%26eqid%3Dec25f94d0004001c000000065b48547c&ecd=1&uc=1920x988&pis=-1x-1&sr=1920x1080&tcn=1531467497&qn=f768820f63a4cb0a&tt=1531466882938.613708.613708.613709" vspace="0" hspace="0" scrolling="no" width="800" height="100" align="center,center"></iframe>
    #install some package first sudo apt-get install libtool sudo apt-get insta…

    Mrhiuser Mrhiuser

    2017-08-25 19:08:11

    阅读数:1121

    scrolling="no">

    WN18数据集

    2018年03月19日 1.49MB 下载

    Arxiv 网络数据集社区检测结果

    2018年04月13日 11KB 下载

    Arxiv数据集

    2018年04月13日 52.41MB 下载

    <iframe id="iframeu3394176_2" src="https://pos.baidu.com/qcqm?conwid=800&conhei=100&rdid=3394176&dc=3&di=u3394176&dri=2&dis=0&dai=8&ps=25965x346&enu=encoding&dcb=___adblockplus&dtm=HTML_POST&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1531467496645&ti=%E3%80%90%E5%B9%B2%E8%B4%A7%E3%80%91%E4%BA%8C%E5%8D%81%E4%BA%94%E4%B8%AA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9B%B8%E5%85%B3%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86%20-%20CSDN%E5%8D%9A%E5%AE%A2&ari=2&dbv=0&drs=4&pcs=1908x886&pss=1908x26039&cfv=0&cpl=0&chi=1&cce=true&cec=UTF-8&tlm=1531467517&prot=2&rw=886&ltu=https%3A%2F%2Fblog.csdn.net%2Ftkkzc3E6s4Ou4%2Farticle%2Fdetails%2F79988596&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D9MoFoHLZSwUhbrNjuORlDhaktUYNMmcbK4Tg1bUUi6x2koKG8phkTTi8fTZGXBgeQcjF8FhP4NvZtwYrNIlVqoUj8pPSei1TTRJP8cfIixW%26wd%3D%26eqid%3Dec25f94d0004001c000000065b48547c&ecd=1&uc=1920x988&pis=-1x-1&sr=1920x1080&tcn=1531467518&qn=a5a7128f71f8cda9&tt=1531466882938.634737.634738.634739" vspace="0" hspace="0" scrolling="no" width="800" height="100" align="center,center"></iframe>

    AR人脸数据集

    2015年12月15日 39.63MB 下载

    三万单词库(mssql数据库).rar

    2008年11月20日 5.37MB 下载

    scrolling="no">

    路透社新闻数据集

    2015年06月05日 7.77MB 下载

    晨晨网络留言板

    2003年04月23日 98KB 下载

    <iframe id="iframeu3394176_3" src="https://pos.baidu.com/qcqm?conwid=800&conhei=100&rdid=3394176&dc=3&di=u3394176&dri=3&dis=0&dai=9&ps=27395x346&enu=encoding&dcb=___adblockplus&dtm=HTML_POST&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1531467496645&ti=%E3%80%90%E5%B9%B2%E8%B4%A7%E3%80%91%E4%BA%8C%E5%8D%81%E4%BA%94%E4%B8%AA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9B%B8%E5%85%B3%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86%20-%20CSDN%E5%8D%9A%E5%AE%A2&ari=2&dbv=0&drs=4&pcs=1908x886&pss=1908x27468&cfv=0&cpl=0&chi=1&cce=true&cec=UTF-8&tlm=1531467600&prot=2&rw=886&ltu=https%3A%2F%2Fblog.csdn.net%2Ftkkzc3E6s4Ou4%2Farticle%2Fdetails%2F79988596&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D9MoFoHLZSwUhbrNjuORlDhaktUYNMmcbK4Tg1bUUi6x2koKG8phkTTi8fTZGXBgeQcjF8FhP4NvZtwYrNIlVqoUj8pPSei1TTRJP8cfIixW%26wd%3D%26eqid%3Dec25f94d0004001c000000065b48547c&ecd=1&uc=1920x988&pis=-1x-1&sr=1920x1080&tcn=1531467600&qn=252c15d07a1bb810&tt=1531466882938.717344.717344.717345" vspace="0" hspace="0" scrolling="no" width="800" height="100" align="center,center"></iframe>

    没有更多推荐了,返回首页

    ("a.flexible-btn").click(function(){(this).parents('div.aside-box').removeClass('flexible-box'); $(this).remove(); })

    展开全文
  • 公开人脸识别数据库 描述 用途 获取方法 WebFace 10k+人,约500K张图片 非限制场景 FaceScrub 5
    展开全文
  • 人脸检测,关键点检测,人脸识别,人脸表情,人脸年龄,人脸姿态等方向的数据集。 01 人脸检测 所谓人脸检测任务,就是要定位出图像中人脸的大概位置。...发布于2007年,这是一个灰度人脸数据集,使用Google...

    人脸检测,关键点检测,人脸识别,人脸表情,人脸年龄,人脸姿态等方向的数据集。 

    01 人脸检测

    所谓人脸检测任务,就是要定位出图像中人脸的大概位置。

    1.1 Caltech 10000

    数据集地址:http://www.vision.caltech.edu/Image_Datasets/Caltech_10K_WebFaces/

    发布于2007年,这是一个灰度人脸数据集,使用Google图片搜索引擎用关键词爬取所得,包含了7,092张图,10,524个人脸,平均分辨率在304x312,除此之外还提供双眼,鼻子和嘴巴共4个坐标位置。在早期被使用的较多,现在的方法已经很少用灰度数据集做评测。

    1.2 AFW

    发布于2013年。AFW数据集是人脸关键点检测非常早期使用的数据集,共包含205个图像,其中有473个标记的人脸。每一个人脸提供了方形边界框,6个关键点和3个姿势角度的标注。目前官网数据链接已经失效,可以通过其他渠道获得。

    1.3 FDDB

    数据集地址:http://vis-www.cs.umass.edu/fddb/index.html

    发布于2010年,这是被广泛用于人脸检测方法评测的一个数据集,FDDB全称是Face Detection Data Set and Benchmark,它的提出是用于研究无约束人脸检测。所谓无约束指的是人脸表情、尺度、姿态、外观等具有较大的可变性。FDDB的图片都来自于 Faces in the Wild 数据集,图片来源于美联社和路透社的新闻报道图片,所以大部分都是名人,而且是自然环境下拍摄的。共2845张图片,里面有5171张人脸图像。

    通常人脸检测数据集的标注采用的是矩形标注,即通过矩形将人脸的前额,脸颊和下巴通过矩形包裹起来,但是由于人脸是椭圆状的,所以不可能给出一个恰好包裹整个面部区域而无干扰的矩形。

    在FDDB当中采用了椭圆标记法,它可以适应人脸的轮廓。具体来说,每个标注的椭圆形人脸由六个元素组成。(ra, rb, Θ, cx, cy, s),其中ra,rb是椭圆的半长轴、半短轴,cx, cy是椭圆的中心点坐标,Θ是长轴与水平轴夹角(头往左偏Θ为正,头往右偏Θ为负),s则是置信度得分。标注的结果是通过多人独立完成标注之后取标注的平均值,而且排除了以下的样本。

    • 长或宽小于20个像素的人脸区域。
    • 设定一个阈值,将像素低于阈值的区域标记为非人脸。
    • 远离相机的人脸区域被标记为非人脸。
    • 人脸被遮挡,2个眼睛都不在区域内的标记为非人脸。

    1.4 WIDER Face

    数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/

    发布于2015年,FDDB评测标准由于只有几千张图像,这样的数据集在人脸的姿态、尺度、表情、遮挡和背景等多样性上非常有限,训练出来的模型难以被很好的评判,算法很快就达到饱和。在这样的背景下香港中文大学提出了Wider-face数据集,在很长一段时间里,大型互联网公司和科研机构都在Wider-face上做人脸检测算法竞赛。

    Wider-face总共有32203张图片,共有393703张人脸,比FDDB数据集大10倍,而且在面部的尺寸、姿势、遮挡、表情、妆容、光照上都有很大的变化,算法不仅标注了框,还提供了遮挡和姿态的信息,自发布后广泛应用于评估性能比传统方法更强大的卷积神经网络。

    1.5 MALF数据集

    数据集地址:http://www.cbsr.ia.ac.cn/faceevaluation/

    发布于2015年,全称 Multi-Attribute Labelled Faces ,MALF是为了更加细粒度地评估野外环境中人脸检测模型而设计的数据库。数据主要来源于Internet,包含5250个图像,11931个人脸。每一幅图像包含正方形边界框,头部姿态的俯仰程度,包括小中大三个等级的标注。该数据集忽略了小于20*20或者非常难以检测的人脸,共包含大约838个人脸,占该数据集的7%。同时该数据集还提供了性别,是否带眼镜,是否遮挡,是否是夸张的表情等辅助信息。

    02 关键点检测

    检测到人脸后,通常都需要定位出图像的轮廓关键点,关键点是人脸形状的稀疏表示,在人脸跟踪,美颜等任务中都很重要,现在已经从最开始的5个关键点发展到了超过200个关键点的标注。

    2.1 HELEN等

    首先集中介绍一些比较小和比较老的数据集,AFW前面已经介绍。

    XM2VTS,发布于1999年,http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/,包含295个人,2360张正面图,标注了68个关键点,大部分的图像是无表情,而且在同样的光照环境下。

    AR Face Database发布于1998年,http://www2.ece.ohio-state.edu/~aleix/ARdatabase.html,包括126个人,超过4000张图,标注了22个关键点。

    FGVC-V2发布于2005年,https://www.nist.gov/programs-projects/face-recognition-grand-challenge-frgc,共466个人的4950张图,包括均匀的光照条件下的高质量图和不均匀的光照条件下的低质量图,标注了5个关键点。

    LFPW人脸数据库,发布于2011年, https://neerajkumar.org/projects/face-parts/,包括1432张图像,标注了29个关键点。

    Helen人脸数据库,发布于2012年,

    http://www.ifp.illinois.edu/~vuongle2/helen/,包括训练集和测试集,测试集包含了330张人脸图片,训练集包括了2000张人脸图片,都被标注了68个特征点。

    IBUG,发布于2013年,https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/,这是随着300W一起发布的数据集,包含了135张人脸图片,每张人脸图片被标注了68个特征点。

    2.2 AFLW

    数据集地址:https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/aflw/

    AFLW(Annotated Facial Landmarks in the Wild)是一个包括多姿态、多视角的大规模人脸数据库,一般用于评估面部关键点检测效果,图片来自于flickr的爬取。总共有21,997张图,25,993张面孔,每张人脸标注21个关键点,共380k个关键点,由于是肉眼标记,不可见的关键点不进行标注。

    除了关键点之外,还提供了矩形框和椭圆框的脸部位置标注,其中椭圆框的标注方法与FDDB相同。另外还有从平均3D人脸重建提供的3D的人脸姿态角标注。

    大部分图像是彩色图,也有少部分是灰度图,59%为女性,41%为男性,这个数据集非常适合做多角度多人脸检测,关键点定位和头部姿态估计,是关键点检测领域里非常重要的一个数据集。

    2.3 300W

    数据集地址:https://ibug.doc.ic.ac.uk/resources/300-W/

    发布于2013年,包含了300张室内图和300张室外图,其中数据集内部的表情,光照条件,姿态,遮挡,脸部大小变化非常大,因为是通过Google搜索“party”, “conference”等较难等场景搜集而来。该数据集标注了68个关键点,一定程度上在这个数据集能取得好结果的,在其他数据集也能取得好结果。

    300-W challenge是非常有名的用于评测关键点检测算法的基准,在ICCV 2013举办了第一次人脸关键点定位竞赛。300-W challenge所使用的训练数据集实际上并不是一个全新的数据集,它是采用了半监督的标注工具,将AFLW,AFW,Helen,IBUG,LFPW,FRGC-V2,XM2VTS等数据集进行了统一标注然后得到的,关键信息是68个点。

    在ICCV2015年拓展成了视频标注,即300 Videos in the Wild (300-VW),数据集地址是https://ibug.doc.ic.ac.uk/resources/300-VW/,感兴趣读者可以关注。

    2.4 MTFL/MAFL

    数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/TCDCN.html

    发布于2014年,这里包含了两个数据集。Multi-Task Facial Landmark (MTFL) 数据集包含了12,995 张脸,5个关键点标注,另外也提供了性别,是否微笑,是否佩戴眼镜以及头部姿态的信息。Multi-Attribute Facial Landmark (MAFL) 数据集则包含了20,000张脸,5个关键点标注与40个面部属性,实际上后面被包含在了Celeba数据集中,该数据集我们后面会进行介绍。这两个数据集都使用TCDCN方法将其拓展到了68个关键点的标注。

    2.5 WFLW数据集

    数据集地址:https://wywu.github.io/projects/LAB/WFLW.html

    WFLW包含了10000张脸,其中7500用于训练,2500张用于测试,共98个关键点。除了关键点之外,还有遮挡,姿态,妆容,光照, 模糊和表情等信息的标注。

    由于人脸关键点是整个人脸任务中非常基础和重要的,所以在工业界有更多的关键点的标注,目前96点,106点都是非常常见的。因为商业价值,这些数据集一般不会进行公开。

    03 人脸识别

    人脸检测和关键点检测都是比较底层的任务,而人脸识别是更高层的任务,它就是要识别出检测出来的人脸是谁,完成身份比对等任务,也是人脸领域里被研究最多的任务。

    3.1 FERET

    数据库地址:http://www.nist.gov/itl/iad/ig/colorferet.cfm

    发布于1993年至1996年,由FERET项目创建,包含14,051张多姿态,不同光照的灰度人脸图像,每幅图中均只有一个人脸,在早期的人脸识别领域应用非常广泛。

    3.2 Yale/YaleB

    数据集地址:http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/Yale%20Face%20Database.htm

    Yale人脸数据库与YALE人脸数据库B分别发布于1997年和2001年,这是两个早期的灰度数据集。Yale人脸数据库由耶鲁大学计算视觉与控制中心创建,包含15位志愿者的165张图片,包含光照,表情和姿态的变化。

    后面将其拓展到YALE人脸数据库B,包含了10个人的5760幅多姿态,多光照的图像。具体包括9个姿态,64种光照变化,在实验室严格控制的条件下进行。虽然每个人的图像很多,但是由于采集人数较少,该数据库的进一步应用受到了比较大的限制。

    3.3 CAS-PEAL

    数据集地址:http://www.jdl.ac.cn/peal/

    发布于2008年,CAS-PEAL数据集是中国科学院收集建立的,它主要是为了提供一个大规模的中国人脸数据集用于训练和评估对应东方人的算法,有灰度图和彩色图两个版本。

    目前,CAS-PEAL人脸数据库由1040个人(595名男性和445名女性)的99594张图像组成,在特定环境下具有不同的姿势、表情、照明条件、表情以及是否佩戴眼镜等信息。对于每个被拍摄的人,通过9个相机来同时捕获不同姿态的图像,平均每一个人采集了约900张图像。

    3.4 LFW数据集

    数据集地址:http://vis-www.cs.umass.edu/lfw/index.html#download

    发布于2007年,Labeled Faces in the Wild(简称LFW),是为了研究非限制环境下的人脸识别问题而建立,这是比较早期而重要的测试人脸识别的数据集,所有的图像都必须要能够被经典的人脸检测算法VJ算法检测出来。

    该数据集包含5749个人的13233张全世界知名人士的图像,其中有1680人有2张或2张以上人脸图片。它是在自然环境下拍摄的,因此包含不同背景、朝向、面部表情。

    3.5 CMU PIE

    CMU PIE数据集地址:https://www.ri.cmu.edu/publications/the-cmu-pose-

    illumination-and-expression-pie-database-of-human-faces/

    Multi-PIE数据集地址:

    http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html

    CMU PIE数据集发布于2000年,PIE就是姿态(Pose),光照(Illumination)和表情(Expression)的缩写。包含68位志愿者的41,368张图,每个人有13种姿态条件,43种光照条件和4种表情。其中的姿态和光照变化图像也是在严格控制的条件下采集的,它在推动多姿势和多光照的人脸识别研究方面具有非常大的影响力,不过仍然存在模式单一多样性较差的问题。

    为了解决这些问题,卡内基梅隆大学的研究人员在2009年建立了Multi-PIE数据集。它包含337个人,在15个角度,19个照明条件和不同的表情下记录,最终超过750000个图像。由于图像质量较高,原始的图片大小超过了300G,需要购买。

    3.6 Pubfig

    数据集地址:http://www.cs.columbia.edu/CAVE/databases/pubfig/

    发布于2010年,这是哥伦比亚大学的公众人物脸部数据集,包含有200个人的58797张人脸图像,主要用于非限制场景下的人脸识别。与LFW相比,这个数据集更大,但是人更少,每个人的图片更多。

    3.7 MSRA-CFW

    数据集地址:

    http://research.microsoft.com/en-us/projects/msra-cfw/

    发布于2012年,由MSRA收集整理,包含1,583个人的202,792张图像,采用了自动标注的方法。

    3.8 CASIA WebFace

    数据集地址:http://classif.ai/dataset/casia-webface/

    发布于2014年,这是李子青实验室开放的国内非常有名的数据集,包含10575个人494414张图。

    3.9 Celeba

    数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

    发布于2015年,这是由香港中文大学汤晓鸥教授实验室发布的大型人脸识别数据集。该数据集包含10,177个名人的202,599张人脸图片,人脸属性有40多种,包括是否戴眼镜,是否微笑等,主要用于人脸属性的识别。

    3.10 FaceScrub

    数据集地址:http://vintage.winklerbros.net/facescrub.html

    发布于2016年,总共包含了530个人的106863张图片,其中男性女性各占265,每个人大概200张图。

    3.11 UMDFaces

    数据集地址:http://www.umdfaces.io/

    发布于2016年,这个数据集有静态图和视频两部分,其中静态图包含8277个人的367,888张脸,视频包含22,075个视频中的3,107个人的3,735,476张图。同时标注了21个关键点,性别信息,以及人的3个姿态。

    3.12 MegaFace

    数据集地址:http://megaface.cs.washington.edu/dataset/download.html

    发布于2016年,MegaFace数据集包含一百万张图片,共 690000个不同的人,所有数据都是华盛顿大学从Flickr组织收集。

    这是第一个在一百万规模级别的面部识别算法测试基准。现有脸部识别系统仍难以准确识别超过百万的数据量。为了比较现有公开脸部识别算法的准确度,华盛顿大学在2017年底开展了一个名为“MegaFace Challenge”的公开竞赛。这个项目旨在研究当数据库规模提升数个量级时,现有的脸部识别系统能否维持可靠的准确率。

    3.13 MS-Celeb-1M

    数据集地址:https://www.msceleb.org/

    发布于2016年,这是目前世界上规模最大、水平最高的图像识别赛事之一,由MSRA(微软亚洲研究院)发起,每年定期举办。参赛队伍被要求基于微软云服务,搭建包括人脸检测、对齐、识别的完整人脸识别系统,而且识别系统必须先通过远程实验评估。

    训练集合包含10M 图片,具体的操作是从1M个名人中,根据他们的受欢迎程度,选择100K个。然后,利用搜索引擎,给100K个人,每人搜大概100张图片。共得到100K*100=10M个图片。测试集包括1000个名人,这1000个名人来自于1M个明星中随机挑选,每个名人大概有20张图片。

    3.14 VGG Face

    数据集地址:

    http://www.robots.ox.ac.uk/~vgg/data/vgg_face/

    http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/

    VGG Face发布于2015年,包括2622个对象,每个对象拥有约1000副静态图像;

    VGG Face2发布于2017年,包含了9131个人的3.31百万张图片,平均每一个人有362.6张图。这个数据集人物ID较多,且每个ID包含的图片个数也较多。数据集覆盖了大范围的姿态、年龄和种族,其中约有59.7%的男性。除了身份信息之外,数据集还包括人脸框,5个关键点、以及估计的年龄和姿态。

    3.15 IMDB-Face

    数据集地址:https://github.com/fwang91/IMDb-Face#data-download

    发布于2018年,包含590000个人,17000000张图,是现在人脸最多的数据集了。

    3.16 YouTube Faces

    数据集地址:http://www.cs.tau.ac.il/~wolf/ytfaces/results.html

    发布于2011年,它包含了1,595个人的3,425段视频,最短的为48帧,最长的为6070帧。和LFW不同的是,在这个数据集下,算法需要判断两段视频里面是不是同一个人。有不少在照片上有效的方法,在视频上未必有效/高效。

    还有一些其他的视频数据集,此处不再一一介绍,感兴趣可以自行关注。

    3.17 IARPA Janus

    数据集地址:https://www.iarpa.gov/index.php/research-programs/janus

    这是进几年开启的人脸识别比赛,由美国国家技术标准局(NIST)在2015年召开的CVPR上发布,当时是IJB-A人脸验证与识别数据集, 包含500个对象的5396副静态图像和20412帧的视频数据。

    被拍摄者来自世界不同国家、地区和种族,具有广泛的地域性,在完全无约束环境下采集的。面部姿态变化巨大,光照变化剧烈,所以难度非常大。

    另外,数据集引入了“模板”的概念,一个模板就是一个集合,集合包括被拍摄者的静态图像和视频片段,最终的人脸验证与识别不是基于单个图像,而是基于集合对集合

    此后,2017年迭代到IARPA Janus B,2018年迭代到IARPA Janus C,包括了138000人脸,11000个视频,10000张非人脸,在这里拿下好名次,才能称为真正的人脸识别好手。

    人脸识别虽然在百万级别的数据集如MegaFace等都已经达到相当高的水准,但是在现实世界中面临各种姿态,分辨率,遮挡等问题,仍然有较大的研究空间

    04 人脸表情

    人脸表情识别(facial expression recognition, FER)是人脸属性识别技术中的一个重要组成部分,在人机交互、安全控制、直播娱乐、自动驾驶等领域都非常具有应用价值,因此在很早前就已经得到了研究。

    4.1 JAFFE

    数据集链接:http://www.kasrl.org/jaffe.html

    1998年发布,这是比较小和老的数据库。该数据库是由10位日本女性在实验环境下根据指示做出各种表情,再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像,10个人,全部都是女性,每个人做出7种表情,这7种表情分别是:sad, happy, angry, disgust, surprise, fear, neutral,每组大概20张样图。

    4.2 KDEF与AKDEF

    数据集地址:http://www.emotionlab.se/kdef/

    发布于1998年,这个数据集最初是被开发用于心理和医学研究目的。它主要用于知觉,注意,情绪,记忆等实验。在创建数据集的过程中,特意使用比较均匀,柔和的光照,被采集者身穿统一的T恤颜色。这个数据集,包含70个人,35个男性,35个女性,年龄在20至30岁之间。没有胡须,耳环或眼镜,且没有明显的化妆。7种不同的表情,每个表情有5个角度。总共4900张彩色图,尺寸为562*762像素。

    4.3 GENKI

    数据集地址:http://mplab.ucsd.edu

    发布于2009年,GENKI数据集是由加利福尼亚大学的机器概念实验室收集。该数据集包含GENKI-R2009a,GENKI-4K,GENKI-SZSL三个部分。GENKI-R2009a包含11159个图像,GENKI-4K包含4000个图像,分为“笑”和“不笑”两种,每个图片拥有不同的尺度大小,姿势,光照变化,头部姿态,可专门用于做笑脸识别。这些图像包括广泛的背景,光照条件,地理位置,个人身份和种族等。

    4.4 RaFD

    数据集地址:http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main

    发布于2010年,该数据集是Radboud大学Nijmegen行为科学研究所整理的,这是一个高质量的脸部数据库,总共包含67个模特,其中20名白人男性成年人,19名白人女性成年人,4个白人男孩,6个白人女孩,18名摩洛哥男性成年人。总共8040张图,包含8种表情,即愤怒,厌恶,恐惧,快乐,悲伤,惊奇,蔑视和中立。每一个表情,包含3个不同的注视方向,且使用5个相机从不同的角度同时拍摄的。

    4.5 CK

    数据集地址:http://www.pitt.edu/~emotion/ck-spread.htm

    发布于2010年,这个数据库是在Cohn-Kanade Dataset的基础上扩展来的,它包含137个人的不同人脸表情视频帧。这个数据库比起JAFFE要大的多。而且也可以免费获取,包含表情的标注和基本动作单元的标注。

    4.6 Fer2013

    数据集地址:https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

    发布于2013年,该数据集包含共26190张48*48灰度图,图片的分辨率比较低,共6种表情。分别为0 anger生气、1 disgust 厌恶、2 fear 恐惧、3 happy 开心、4 sad 伤心、5 surprised 惊讶、6 normal 中性。

    4.7 RAF

    数据集地址:http://www.whdeng.cn/RAF/model1.html

    发布于2017年,包含总共29672 张图片,其中7个基本表情和12 个复合表情,而且每张图还提供了5个精确的人脸关键点,年龄范围和性别标注。

    4.8 EmotionNet

    数据集地址:http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/

    发布于2017年,共950,000张图,其中包含基本表情,复合表情,以及表情单元的标注。

    另外还有一些需要申请的数据集如SCFace等就不再介绍,表情识别目前的关注点已经从实验室环境下转移到具有挑战性的真实场景条件下,研究者们开始利用深度学习技术来解决如光照变化、遮挡、非正面头部姿势等问题,仍然有很多的问题需要解决。

    另一方面,尽管目前表情识别技术被广泛研究,但是我们所定义的表情只涵盖了特定种类的一小部分,尤其是面部表情,而实际上人类还有很多其他的表情。表情的研究相对于颜值年龄等要难得多,应用也要广泛的多,相信这几年会不断出现有意思的应用。

    05 人脸年龄与性别

    人脸的年龄和性别识别在安全控制,人机交互领域有着非常广泛的使用,而且由于人脸差异性,人脸的年龄估计仍然是一个难点。

    5.1 FGNet

    数据集地址:http://www-prima.inrialpes.fr/FGnet/html/benchmarks.html

    发布于2000年,这是第一个意义重大的年龄数据集,包含了82个人的1002张图,年龄范围是0到69岁。

    5.2 CACD2000

    数据集地址:http://bcsiriuschen.github.io/CARC/

    发布于2013年,这是一个名人数据集,包含了2,000个人的163446张名人图片,其范围是16到62岁。

    5.3 Adience

    数据集地址:https://www.openu.ac.il/home/hassner/Adience/data.html#frontalized

    发布于2014年,这是采用iPhone5或更新的智能手机拍摄的数据,共2284个人26580张图像。它的标注采用的是年龄段的形式而不是具体的年龄,其中年龄段为(0-2, 4-6, 8-13, 15-20, 25-32, 38-43, 48-53, 60+)。

    5.4 IMDB-wiki

    数据集地址:https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/

    发布于2015年,IMDB-WIKI人脸数据库是由IMDB数据库和Wikipedia数据库组成,其中IMDB人脸数据库包含了460,723张人脸图片,而Wikipedia人脸数据库包含了62,328张人脸数据库,总共523,051张人脸数据。都是从IMDb和维基百科上爬取的名人图片,根据照片拍摄时间戳和出生日期计算得到的年龄信息,以及性别信息,对于年龄识别和性别识别的研究有着重要的意义,这是目前年龄和性别识别最大的数据集。

    5.5 MORPH

    数据集地址:http://www.faceaginggroup.com/morph/

    发布于2017年,包括13,000多个人的55,000张图,年龄范围是16到77。

    06 人脸姿态

    人脸的姿态估计在考勤,支付以及各类社交应用中有非常广泛的应用。

    6.1 3DMM

    数据集地址:https://faces.dmi.unibas.ch/

    发布于1999年,这是随着著名的3DMM模型一起诞生的数据集,通过结构光和激光进行采集,未处理前每一个模型由70000个点描述,处理后由53490个点描述。

    在数据库的处理过程中,将所有模型的每一个点的位置都进行了精确一一匹配,也就是说,每一个点都有实际的物理意义,可能有右嘴角,可能是鼻尖。

    数据集包含100个男性和100个女性的3D扫描数据,是人脸三维重建领域影响最大的数据集,堪称3D人脸领域的“hello world”。在该数据集中,还标注了表情系数,纹理系数,68个关键点的坐标,以及相机的7个坐标。

    7.2 Bosphorus

    数据集地址:http://bosphorus.ee.boun.edu.tr/default.aspx

    发布于2009年,这是一个研究三维人脸表情的数据集,通过结构光采集。包含105个人, 4666张人脸,每一个人脸有35种表情以及不同的仿真姿态。

    7.3 BIWI

    数据集地址:http://www.vision.ee.ethz.ch/datasets/b3dac2.en.html

    发布于2010年,包含1000个高质量的3D扫描仪和专业麦克风采集的3D数据,其中14个人,6个男性,8个女性。采集以每秒25帧的速度获取密集的动态面部扫描。

    7.4 HPD

    数据集地址:

    http://www-prima.inrialpes.fr/perso/Gourier/Faces/HPDatabase.html

    发布于2013年,为灰度图数据集,在实验室采集,标注包括垂直角度和水平角度。包括5580张图,其中372个人,每个人15张图。

    7.5 BIWI kinect

    数据集地址:

    https://data.vision.ee.ethz.ch/cvl/gfanelli/head_pose/head_forest.html

    发布于2013年,使用kinect进行采集,包含20个人的15000张图片,有3D的标注,图片大小为640*480。

    7.6 FaceWarehouse

    数据集地址:http://www.kunzhou.net/#facewarehouse

    发布于2014年,这是浙江大学周昆实验室开源的3D人脸数据集,与3DMM数据集的构建相似,不过数据集是中国人。共包含了150个人,年龄从7-80岁。相比于3DMM数据集,它增加了表情,每个人包含了20种不同的表情,1个中性表情,19个张嘴,微笑等表情。

    7.7 TMU

    发布于2015年,这是一个面部视频数据库,包含31,500个100名志愿者的视频。每个志愿者在7个照明条件下由9组同步网络摄像头拍摄,并被要求完成一系列指定的动作,有不同的遮挡,照明,姿势和表情的面部变化。与现有数据库相比,THU人脸数据库提供了具有严格时间同步的多视图视频序列,从而能够对注视校正方法进行评估。

    7.8 UPNA

    数据集地址:http://gi4e.unavarra.es/databases/hpdb/

    发布于2016年,10个人,其中6个男性,4个女性,每个人12个视频,6个规定的动作,6个自由的动作。分辨率1280*720,30fps,每一个视频10s,有3D标注信息。

    7.9 300W-LP

    数据集地址:

    http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm

    这是基于300W数据集和3DMM模型仿真得到的3D数据集,这是3D领域里使用最大,使用最广泛的仿真数据集,包含了68个关键点,相机参数以及3DMM模型的系数的标注。

    其他的还有USF Human ID 3-D Database,ICT-3DHP database,IDIAP等,读者可以线下了解。由于3D数据集的构建代价很高,所以仿真数据集经常被使用,即通过从2D图像构建3D模型然后进行姿态仿真。当然另一方面,研究摆脱3D数据集的运用的方法也不断被提出,而且精度已经和基于3D数据集的方法可以比拼,因此这可能也是未来的重要研究方向。

    08 其他数据集

    人脸的应用领域还有美颜,风格化等,我们不再一一展开介绍,下面介绍在颜值和化妆领域比较重要的两个数据集。

    8.1 SCUT-FBP

    数据集地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

    发布于2017年,数据集共5500个正面人脸,年龄分布为15-60,全部都是自然表情。包含不同的性别分布和种族分布(2000亚洲女性,2000亚洲男性,750高加索男性,750高加索女性),数据分别来自于数据堂,US Adult database等。每一张图由60个人进行评分,共评为5个等级,这60个人的年龄分布为18~27岁,均为年轻人。适用于基于apperance/shape等的模型研究。同时,每一个图都提供了86个关键点的标注。

    8.2 MakeUp

    数据集地址:http://www.antitza.com/makeup-datasets.html

    发布于2012年,这是一个女性面部化妆数据集,可用于研究化妆对面部识别的影响。

    总共包括4个子数据集:

    YMU(YouTube化妆):这是从YouTube视频化妆教程中获取的面部图像,

    YouTube网址为http://www.antitza.com/URLs_YMU.txt

    VMU(虚拟化妆):这是将从FRGC数据库(http://www.nist.gov/itl/iad/ig/frgc.cfm

    中采集的高加索女性受试者的面部图像,使用公开的软件(http://www.taaz.com)来合成的虚拟化妆样本。

    MIW:从互联网获得有化妆和没有化妆的受试者的前后对比面部图像。

    MIFS:化妆诱导面部欺骗数据集:这是从YouTube化妆视频教程的107个化妆。每一组包含3张图片,其中一张图片是目标的化妆前的主体图像,一个是化妆后的,另一个是其他人化同样的妆试图进行欺骗。

    展开全文
  • 深度学习AI美颜系列---人脸数据增强 在深度学习的训练中,我们经常会对较少的数据进行数据增强,一般而言,常用的数据增强包括如下几种: 1,旋转; 2,缩放; 3,镜像; 4,平移; 5,调色; 6,噪声; 而...

    深度学习AI美颜系列---人脸数据增强

    在深度学习的训练中,我们经常会对较少的数据进行数据增强,一般而言,常用的数据增强包括如下几种:

    1,旋转;

    2,缩放;

    3,镜像;

    4,平移;

    5,调色;

    6,噪声;

    而对于人脸数据的增强而言,尤其是做人脸检测和人脸关键点检测的项目,除了上述几种之外,本人给出一种新的方法:人脸变形技术。

    这里以本人之前博客中所写的人脸变形为例:地址

    以上述变形为例,这个变形中,有18个变形参数可以调节,理论上,对于同一张图,我们可以调出无数张不一样的样例图出来,因此,它可以用来随意增强数据。

    为了增大差异化, 在上述人脸变形基础上,我们可以在叠加随机调色和随机噪声处理,这样,新的数据就出来了!

    本人这里举例如下:

     

     

    这种图中左边是原图,右边是根据本人的方法随意增强的四张,可以看到,这四张图与原图都存在较大的差异,用来做新数据是没有问题的。

    本人使用1000张人脸样本,经过6倍扩充,也就是扩充到6000张,做了人脸关键点训练测试,效果如下:

     

     

    上述就是使用人脸变形进行数据增强的方法,在缺少人脸样本的情况下,大家可以参考。

    本人QQ1358009172,微信公众号:SF图像算法

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 1.PubFig:Public Figures Face Database(哥伦比亚大学公众人物脸部数据库) The PubFig database is a large, real-world face dataset consisting of 58,797 images of 200 people collected from the internet....

    1.PubFig:Public Figures Face Database(哥伦比亚大学公众人物脸部数据库)

    The PubFig database is a large, real-world face dataset consisting of 58,797 images of 200 people collected from the internet. Unlike most other existing face datasets, these images are taken in completely uncontrolled situations with non-cooperative subjects.

    这是哥伦比亚大学的公众人物脸部数据集,包含有200个人的58k+人脸图像,主要用于非限制场景下的人脸识别。

    2.Large-scale CelebFaces Attributes (CelebA)Dataset

    CelebFaces Attributes Dataset (CelebA) is a large-scale face attributes dataset with more than 200K celebrity images, each with 40 attribute annotations. The images in this dataset cover large pose variations and background clutter. CelebA has large diversities, large quantities, and rich annotations, including

    10,177 number of identities,

    202,599 number of face images, and

    5 landmark locations, 40 binary attributes annotations per image.

    这是由香港中文大学汤晓鸥教授实验室公布的大型人脸识别数据集。该数据集包含有200k张人脸图片,人脸属性有40多种,主要用于人脸属性的识别。

    3.Colorferet

    The database is used to develop, test, and evaluate face recognition.

    为促进人脸识别算法的研究和实用化,美国国防部的Counterdrug Technology Transfer Program(CTTP)发起了一个人脸识别技术(Face Recognition Technology简称FERET)工程,它包括了一个通用人脸库以及通用测试标准。到1997年,它已经包含了1000多人的10000多张照片,每个人包括了不同表情,光照,姿态和年龄的照片。

    4.Multi-Task Facial Landmark(MTFL)dataset

    This dataset contains 12,995 face images collected from the Internet. The images are annotated with (1) five facial landmarks, (2) attributes of gender, smiling, wearing glasses, and head pose.

    该数据集包含了将近13000张人脸图片,均采自网络。

    5.BioID Face Database -FaceDB

    1521 images with human faces, recorded under natural conditions, i.e. varying illumination and complex background. The eye positions have been set manually.

    这个数据集包含了1521幅分辨率为384 * 286像素的灰度图像。每一幅图像来自23个不同的测试人员的正面角度的人脸。为了便于做比较,这个数据集也包含了对人脸图像对应的手工标注的人眼位置文件。图像以“BioID_xxxx.pgm”的格式命名,其中xxxx代表了当前图像的索引(从0开始)。类似的,形如“BioID_xxxx.eye”的文件包含了对应图像中眼睛的位置。

    6.Labeled Faces in the Wild Home(LFW)

    More than 13,000 images of faces collected from the web. Each face has been labeled with the name of the person pictured. 1680 of the people pictured have two or more distinct photos in the data set.

    LFW数据集是为了研究非限制环境下的人脸识别问题而建立的。这个数据集包含超过13000张人脸图片,均采集于Internet。

    每一个人脸均被标准了一个人名。其中大约1680个人包含两个以上的人脸。

    这个集合被广泛应用于评价Face Verification算法的性能。

    7.Person identification in TV series

    Face tracks, features and shot boundaries from our latest CVPR 2013 paper. It is obtained from 6 episodes of Buffy the Vampire Slayer and 6 episodes of Big Bang Theory.

    该数据集所选用的人脸照片均来自两部比较知名的电视剧:《吸血鬼猎人巴菲》和《生活大爆炸》。

    8.CMUVASC & PIE Face dataset

    The face datasets were provided by the face reserch group at CMU.

    CMU PIE人脸库建立与2000年11月,它包括来自68个人的40000张照片,其中包括了每个人的13种姿态条件,43种光照条件和4种表情下的照片,现有的多姿态人脸识别的文献基本上都是在CMU PIE人脸库上测试的。

    9.YouTube Faces

    The data set contains 3,425 videos of 1,595 different people. The shortest clip duration is 48 frames, the longest clip is 6,070 frames, and the average length of a video clip is 181.3 frames.

    YouTube Video Faces是用来做人脸验证的。在这个数据集下,算法需要判断两段视频里面是不是同一个人。有不少在照片上有效的方法,在视频上未必有效/高效

    10.CASIA-FaceV5

    CASIA Face Image Database Version 5.0 (or CASIA-FaceV5) contains 2,500 color facial images of 500 subjects.

    该数据集包含了来自500个人的2500张亚洲人脸图片。

    11.The CNBC Face Database

    This database includes multiple images for over 200 individuals of many different races with consistent lighting, multiple views, real emotions, and disguises (and some participants returned for a second session several weeks later with a haircut, or a new beard, etc.).

    该数据集采集了200个人在不同状态下(不同的神情,装扮,发型等)的人脸照片。

    12.CASIA-3D FaceV1

    4624 scans of 123 persons using the non-contact 3D digitizer, Minolta Vivid 910, as shown in figure.

    该数据集包含了来自123个人的4624张人脸图片。所有的图片均由特殊仪器进行拍摄:

    在这里插入图片描述

    13.IMDB-WIKI

    In total we obtained 460,723 face images from 20,284 celebrities from IMDb and 62,328 from Wikipedia, thus 523,051 in total.

    IMDB-WIKI人脸数据库是由IMDB数据库和Wikipedia数据库组成,其中IMDB人脸数据库包含了460723张人脸图片,而Wikipedia人脸数据库包含了62328张人脸数据库,总共523051张人脸数据库,IMDB-WIKI人脸数据库中的每张图片都被标注了人的年龄和性别,对于年龄识别和性别识别的研究有着重要的意义。

    14.FDDB

    A data set of face regions designed for studying the problem of unconstrained face detection. This data set contains the annotations for 5171 faces in a set of 2845 images taken from the Faces in the Wild data set.

    FDDB是UMass的数据集,被用来做人脸检测(Face Detection)。这个数据集比较大,比较有挑战性。而且作者提供了程序用来评估检测结果,所以在这个数据上面比较算法也相对公平。

    15.Calteh人脸数据库

    The dataset contains images of people collected from the web by typing common given names into Google Image Search. The coordinates of the eyes, the nose and the center of the mouth for each frontal face are provided in a ground truth file. This information can be used to align and crop the human faces or as a ground truth for a face detection algorithm. The dataset has 10,524 human faces of various resolutions and in different settings, e.g. portrait images, groups of people, etc. Profile faces or very low resolution faces are not labeled.

    10k+人脸图片,提供双眼和嘴巴的坐标位置。

    16.The Japanese Female Facial Expression(JAFFE)Database

    The database contains 213 images of 7 facial expressions (6 basic facial expressions + 1 neutral) posed by 10 Japanese female models. Each image has been rated on 6 emotion adjectives by 60 Japanese subjects. The database was planned and assembled by Michael Lyons, Miyuki Kamachi, and Jiro Gyoba. We thank Reiko Kubota for her help as a research assistant. The photos were taken at the Psychology Department in Kyushu University.

    该数据库是由10位日本女性在实验环境下根据指示做出各种表情,再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像,10个人,全部都是女性,每个人做出7种表情,这7种表情分别是: sad, happy, angry, disgust, surprise, fear, neutral. 每个人为一组,每一组都含有7种表情,每种表情大概有3,4张样图。

    展开全文
  • ———————————————————————————————— ...  下面是第二类数据集,按照年龄分类,生成了小孩,成年人和老年人人脸数据集,各1万张,图片大小均为1024*1024。 小孩人脸数据集...
  • 【技术综述】一文道尽“人脸数据集” 今天,给大家送上一份大礼 没错,我就是喜欢写一些“一文道尽” 这一次我将从人脸检测,关键点检测,人脸识别,人脸表情,人脸年龄,人脸姿态等几个方向整理出人脸领域有用的...
  • 公开人脸数据集   本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸深度学习模型。 人脸识别 数据库 描述 用途 获取方法 WebFace 10k+人,约500K张图片 非限制场景 链接 ...
  • 什么是深度学习?两者结合能带来什么影响? 如果你认为一篇文章无法涵盖这么多问题,这篇文章能够改变你的想法。本文展示了所有重要的概念。总之,在这篇文章中你将会了解到脸部识别是如何运作的,及其如何和深度...
  • 公开人脸数据集

    2017-11-04 12:26:24
    公开人脸数据集 本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸深度学习模型。 人脸识别 数据库 描述 用途 获取方法 WebFace 10k+人,约500K张图片 非...
  • 人脸识别标准数据集

    2020-07-06 15:37:57
    人工智能深度学习中进行人脸识别的标准数据库,这是一个晓得数据库,一共400张标准人脸pmg图片,分为40个人,分别放在40个文件夹中
  • 原文地址:基于深度学习人脸识别技术综述 简介:人脸识别是计算机视觉研究领域的一个热点,同时人脸识别的研究领域非常广泛。因此,本技术综述限定于:一,在LFW数据集上(Labeled Faces in the Wild)获得优秀...
  • 深度学习人脸识别技术发展综述 转载地址 目录 前言 人脸识别方法 总结 前言 LFW数据集(Labeled Faces in the Wild)是目前用得最多的人脸图像数据库。该数据库共13,233幅图像,其中5749个人,其中1680人...
  • 2.优秀论文,通常实验阶段都会介绍它所使用的数据集,公开数据集可以下载。申请数据集的时候,最好使用学校的邮箱。 3.论坛或者交流社区,比如thinkface 4.数据的规模越大越好2W 二分类数据,第一类人脸,第二类...
  • 深度学习数据集

    2019-04-19 08:40:09
    大学公开数据集 (Stanford)69G大规模无人机(校园)图像数据集...人脸素描数据集【CUHK】 http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html 自然语言推理(文本蕴含标记)数据集【NYU】 https://www.ny...
  • 人脸数据集

    2018-08-13 15:55:49
    公开人脸数据集 本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸深度学习模型。 人脸识别 数据库 描述 用途 获取方法 WebFace 10k+人,约500K张图片 非限制场景 链接 ...
  • 人脸数据汇总表1.人脸检测2.人脸关键点检测3.人脸表情4.年龄与性别5.人脸姿态6.人脸识别二. 常用人脸数据详细介绍1.人脸检测2.人脸关键点检测2.1 CMU Multi-PIE2.2 LFPW2.3 AFLW2.4 Helen2.5 COFW2.6 300W2.7 WFLW3...
  • 前言 本文收集了一些关于人脸方向的数据集,包括人脸识别、人脸检测、人脸表情、人脸性别等方向的数据集,有很多机器学习和深度学习的研究者可以自行下载,已经有大部分数...
  • 相信做机器学习或深度学习的同学们回家总会有这样一个烦恼:亲朋好友询问你从事什么工作的时候,如何通俗地解释能避免尴尬?我尝试过很多名词来形容自己的工作:机器学习,深度学习,算法工程师/研究员,搞计算机的...
1 2 3 4 5 ... 20
收藏数 18,388
精华内容 7,355