kaggle 订阅
Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆(Anthony Goldbloom)2010年在墨尔本创立的,主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。该平台已经吸引了80万名数据科学家的关注,这些用户资源或许正是吸引谷歌的主要因素。 展开全文
Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆(Anthony Goldbloom)2010年在墨尔本创立的,主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。该平台已经吸引了80万名数据科学家的关注,这些用户资源或许正是吸引谷歌的主要因素。
信息
外文名
Kaggle
业务内容
为开发商和数据科学家提供举办机器学习竞赛等
创造时间
2010年
创造地点
墨尔本
创始人
安东尼·高德布卢姆
用户扩展
数据科学家
Kaggle企业简介
Kaggle公司是由联合创始人兼首席执行官AnthonyGoldbloom2010年在墨尔本创立的,主要是为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。这一平台已经吸引了许多科学家和开发者的关注,他们也纷纷入驻这一平台。这些科学家和开发者资源正是谷歌看中他们的地方 [1]  。
收起全文
精华内容
下载资源
问答
  • kaggle

    2021-02-22 19:12:25
    kaggle
  • Kaggle

    千次阅读 多人点赞 2018-09-02 21:39:45
    这次酝酿了很久想给大家讲一些关于Kaggle那点儿事,帮助对数据科学(Data Science)有兴趣的同学们更好的了解这个项目,最好能亲身参与进来,体会一下学校所学的东西和想要解决一个实际的问题所需要的能力的差距。...




    这次酝酿了很久想给大家讲一些关于Kaggle那点儿事,帮助对数据科学(Data Science)有兴趣的同学们更好的了解这个项目,最好能亲身参与进来,体会一下学校所学的东西和想要解决一个实际的问题所需要的能力的差距。虽然不是Data Science出身,但本着严谨的科研态度,在进行了大量的调研、学习以及对相关经验者的访谈之后,决定写下这篇专栏,一方面让那些对数据科学(Data Science)有兴趣的求职者和申请者能真正了解这个项目,另一方面也让那些有想法参与进来的人get到正确的打开方式。

    什么是Kaggle?

    Kaggle成立于2010年,是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲,可以提供一些数据,进而提出一个实际需要解决的问题;从参赛者的角度来讲,他们将组队参与项目,针对其中一个问题提出解决方案,最终由公司选出的最佳方案可以获得5K-10K美金的奖金。

    除此之外,Kaggle官方每年还会举办一次大规模的竞赛,奖金高达一百万美金,吸引了广大的数据科学爱好者参与其中。从某种角度来讲,大家可以把它理解为一个众包平台,类似国内的猪八戒。但是不同于传统的低层次劳动力需求,Kaggle一直致力于解决业界难题,因此也创造了一种全新的劳动力市场——不再以学历和工作经验作为唯一的人才评判标准,而是着眼于个人技能,为顶尖人才和公司之间搭建了一座桥梁。

    这里有一篇对Kaggle首席科学家Jeremy Howard的采访,介绍了Kaggle的创建初衷及运营模式,即任用最聪明的人解决世界上最棘手的问题;同时,任何公司和组织都可以受益于机器学习的发展进步,感兴趣的同学可以戳这里: 原文链接 ,来进一步了解。

    Kaggle的竞赛模式是什么样的?

    Kaggle上的竞赛有各种分类,例如奖金极高竞争激烈的的 “Featured”,相对平民化的 “Research”等等。但他们整体的项目模式是一样的,就是通过出题方给予的训练集建立模型,再利用测试集算出结果用来评比。同时,每个进行中的竞赛项目都会显示剩余时间、参与的队伍数量以及奖金金额,并且还会实时更新选手排位。在截止日期之前,所有队伍都可以自由加入竞赛,或者对已经提交的方案进行完善,因此排名也会不断变动,不到最后一刻谁都不知道花落谁家。

    由于这类问题并没有标准答案,只有无限逼近最优解,所以这样的模式可以激励参与者提出更好的方案,甚至推动整个行业的发展。

    Kaggle竞赛另一个有趣的地方在于每个人都有自己的Profile,上面会显示所有自己参与过的项目、活跃度、实时排位、历史最佳排位等,不仅看上去非常有成就感,更能在求职和申请的时候起到Certificate的作用。

    Kaggle参赛者的背景大多是什么样的?

    从比赛目标出发,参赛者主要分为两种,一种是以奖金和排名为目的,包括靠奖金为生的职业Kaggler;另外一种就是以提升相关skills和背景为目的业余爱好者甚至在校学生了。

    从背景来看,前者的来源主要有丰富data science、data mining、machine learning工作经验的业内人士,或者是实力强劲的民间“技术宅”;而后者则往往是一些有一定技术能力,但经验欠缺,从中进行学习和锻炼的“长江后浪”。

    0基础的人如何上手Kaggle?

    理论上来讲,Kaggle欢迎任何数据科学的爱好者,不过实际上,要想真的参与其中,还是有一定门槛的。一般来讲,参赛者最好具有统计、计算机或数学相关背景,有一定的coding技能,对机器学习和深度学习有基本的了解。Kaggle任务虽然不限制编程语言,但绝大多数队伍会选用Python和R,所以你应该至少熟悉其中一种。此外,对于那些对成绩有追求的人,Feature Engineering也是必不可少的。但对于Data Science的入门者来说,这样的要求实在是有些过分了。对于这一块想要进一步了解的同学可以看这个问题:特征工程到底是什么?其中@城东 的答案(点这里)和@张戎 的答案(点这里)都非常详细。

    当然,如果你从未独立做过一个项目,还是要从练习赛开始熟悉。因为竞赛模式中的任务是公司悬赏发布的实际案例,并没有标准的答案;而练习赛不仅项目难度低,而且是有官方给出的参考方案的,大家可以用来对比改善自己的测试结果,从中进行提高。所以呢,建议感兴趣的同学先去独立做一下101和playground的训练赛,至于做多少个案例才能上道,就要看个人素质啦。这里为大家推荐几篇非常好的文章,里面手把手的教了大家入门级的两个经典练习项目,供大家学习。

    1. Titanic(泰坦尼克之灾)

    中文教程: 逻辑回归应用之Kaggle泰坦尼克之灾 (点击查看)

    英文教程: An Interactive Data Science Tutorial (点击查看)

    2. House Prices: Advanced Regression Techniques(房价预测)

    中文教程: Kaggle竞赛 — 2017年房价预测 (点击查看)

    英文教程: How to get to TOP 25% with Simple Model using sklearn (点击查看)

    3. Digital Recognition(数字识别)

    中文教程: 大数据竞赛平台—Kaggle 入门 (点击查看)

    英文教程: Interactive Intro to Dimensionality Reduction (点击查看)

    Kaggle竞赛获奖及取得名次难么?

    Kaggle竞赛取得奖金乃至取得好的名次的难度都是非常高的,通常一个项目的参与人数都能达到数千人,而其中只有Top 1可以得到奖金,可以说是高手中的高手。通常来说,几个具有一定水平的业内人士在临时组队的情况下最多也就拿到20名左右的成绩,想要再往前冲往往都需要有一定程度的默契和合作经验了。

    所以,对于以学习与实践为目的的小白选手来说,不要太在意排名,从参赛的过程中不断地提升自己才是最终的目的。当经过一次又一次的洗礼最终取得一个不错的成绩后,相信你也已经成长为可以在相关领域独当一面的人才了。

    Kaggle竞赛的认可度高么?

    Kaggle作为Data Science业内享有盛名的平台,在业界拥有极高的认可度。所以如果你是想寻找相关行业的工作,那一个漂亮的Kaggle profile将为你的简历增色不少。Quora上的这个问题: How can we use Kaggle? (点击查看)就提到,把Kaggle的项目经验写在Linkedin上可以很直观的展现自己作为一个Data Scientist的能力。

    国内亦有一些高级人才对Kaggle有很高的认知度,比如Edward.Fu - 知乎 一直在知乎各个和Kaggle相关的问题下留言寻觅Kaggle比赛经验丰富的人,表示常年有这方面的需求,说明国内对Kaggle的项目经验也是非常认可的。如@Lau Phunter在Kaggle 的比赛在 Machine Learning 领域中属于什么地位? 回答下面所说的:

    “写上参加过Kaggle比赛,我会看简历。

    得过一次10%,我会给电话面试。

    得过2次或者以上10%,我会给on site面试。

    得过一次前10,我们会谈笑风生。”

    参加Kaggle是一种怎样的体验?

    在调研的过程中我采访了几个Kaggler,将他们的亲身经验做了一下总结:

    Kaggler A ,NYC Data Science Academy team leader/ 美国数据电子交易公司CEO,多次参加Kaggle比赛:

    参加此项目,你不可或缺的品质就是持续的热情和坚韧不拔的毅力,即使是像我这样的老司机,和另外两个专攻CS和统计方向的小伙伴组队,一个难度中等的项目做下来也要投入两周,每天工作10h以上。更别提那些有着强迫症,一遍遍修改方案,直至deadline的完美主义大牛了。我相信没有一支夺冠队伍是在提交方案后完全没改过的,顶尖高手的成功不仅是基于他们的专业素养,还有其背后我们看不到的勤奋。

    Kagger B ,某知名大数据公司的数据分析师,在美国读统计研究生期间曾通过Kaggle项目提升自己数据操作技能:

    我是统计本科申请一年半的统计Master,目前刚刚回国工作。在出国前对Kaggle也是闻所未闻,来到美国以后,在导师的引导下知道了Kaggle这个巨大的学习源,经常在上面学习。在我看来,Kaggle的背书还是非常有用的,排位前几十的都是大神级别,他们从来不需要找工作,都是工作来找他们。而对我们这样的小白,如果没有整块时间找实习或者没有找到合适的实习机会,利用闲暇时间做一些Kaggle项目,写在简历上也能算做一些项目经验,更容易得到面试;同时,在做项目的过程中,实实在在的Skills的提高也能让我们在求职时笔试的表现更好,获得更好的工作机会。

    除此之外,知乎上面著名的“体验贴”也给出了很多第一手的体验: 参加kaggle竞赛是怎样一种体验? - 大数据 - 知乎 。在这个问题下Naiyan Wang 给出了一个非常详细的答案,同时答主也有一个很好的Profile,文中涉及Kaggle侧重的能力,比赛的要点,以及关键的技术,欢迎大家围观~

    Kaggle的竞争非常激烈,正如OFuture T - 知乎

    所说,很多时候Kaggle的排名即便是前50位流动性也很大,从前几名跌至几十名不过一两天的事,可想而知想要保住排位要在此付出多大的时间和精力,一次次的推翻自己,碾压别人,真是个磨人的小妖精。。。

    Kaggle有什么意义?

    • 从求职者的角度来看:


    Kaggle提供了一个非常好的学习平台,在这里你可以接触到真正的业界案例,收获实际的项目经验,在每一个项目中不断挑战自己,甚至在Kaggle榜上占据一席之位,提高自己在业内的知名度,优秀的排位甚至可能带来的非常好的工作机会。同时,也可以认识一群志同道合的人,扩展自己的professional network,与业内最顶尖的高手互动,尤其是很多队伍在比赛结束后都会公开自己的解法,如果这个项目恰好你参与过,为之投入过无数个日日夜夜,此时就是不可多得的学习机会。

    对于刚刚进入这个行业的菜鸟而言,参加Kaggle的项目是非常“长见识”的,可能初期的尝试会非常吃力,毕竟都是非常前沿的问题,但是如果能坚持完整的把一个项目做下来,且不说coding能力会有一个很大的提高,在实际案例中解决问题的能力也会得到极大的锻炼,为自己的职业生涯打下一个良好的基础。如果能在Kaggle这种高手云集的比赛中获得一个还不错的成绩,写在简历上足以打动你今后的Boss,跳槽就翻倍的高薪工作指日可待!值得一提的是,虽然是汇集精英的社区,Kaggle的论坛氛围很好,对新人非常友好,大家一定要多看Script多请教!

    • 从申请者的角度来看:


    对于申请Data Science相关专业的同学来讲,大数据的走红使得Data Science的申请竞争愈演愈烈,因此如何提升背景也是大家非常关心的问题。而Kaggle正好给大家提供了一个非常好的平台,在这里人人有参与项目的机会,无论你的背景是什么,都可以通过选择合适的项目来找到属于自己的位置,利用自己的专业优势,为整个team作出贡献,丰富简历的同时也能学习一些干货,为自己以后的学习打好基础。而其在领域内的知名度足以让你在众多申请者中脱颖而出,绝对是申请利器!

    对于新人,如何在Kaggle中提升排位?

    • 选择合适的队友:


    由于Kaggle的项目是由公司提供的,涉及各个行业,所以一般都是不同背景的人组队参加(如统计、CS、DS,项目相关领域如生物等)。因此对于新手来讲,很重要的一点就是要抱好大腿,不仅可以蹭到好的排名,还有机会近距离向大牛学习,技能值必然嗖嗖涨。而自己可以从力所能及的工作做起,如清洗数据等等,积累项目经验。


    • 选择“正确”的项目;


    首先,选择数据量小的项目,这样不管使用什么算法都不会耗时太久,对机器性能要求也不高,出结果也比较快;其次,选择难度低奖金少的项目,一方面竞争小,另一方面也适合新手;最后,选择参与人数多的项目,毕竟有那么多“僵尸号”撑着。这样下来,基本上认认真真做下来排名都不会太难看。


    • 选择恰当的工具:


    我们都知道循序渐进的道理,因此对于刚刚涉猎Kaggle,只是希望从中学习,而不追求高排名的同学,可以先从学习Machine Learning中常用的模型开始,比如Logistic Regression和Random Forest,这两个模型对于大部分问题就够了;基础好的还可以学习一下Gradient Boosting,虽然难度高一点,但是可视化效果会好很多。

    当然,说到底,想获得更好的名词,提高自己的skill才是终极解决方案!

    最后是彩蛋时间:

    这里有超级良心的手把手教程, 如何在 Kaggle 首战中进入前 10% , 详细介绍了Kaggle项目的大致流程,包括Data Exploration, Statistical Test, Data Processing, Feature Engineering, Model Selection, Ensemble Generation每一步该怎么做,有哪些Tips,最后还给出了一个“Home Depot Search Relevance”的案例,拿到它就可以开始自己的Kaggle排位赛了!祝愿大家都能够成为一个优秀的Data Scientist!

    接下来是我整理的一些相关的学习资源,大家各取所需。

    • 基础准备篇之Python


    怎么用最短时间高效而踏实地学习 Python?

    你是如何自学 Python 的?

    在线教育网站(Coursera网易云edx课堂腾讯课堂等)有哪些值得推荐的 Python 教程?

    • 基础准备篇之R


    业余时间如何学数据分析?

    如何高效地学好 R?

    好看的数据可视化的图片是怎么样做的?

    • 基础准备篇之Machine Learning


    机器学习该怎么入门?

    深度学习如何入门?

    JustFollowUs/Machine-Learning

    • 基础准备篇之Kaggle Experience


    从Python菜鸟到Python Kaggler的过程:


    Python机器学习实践与Kaggle实战

    经常更新的的大数据博客

    TO最爱学习的你:国外大数据博客资源大全 | 36大数据

    How to start doing Kaggle competitions?

    What do top Kaggle competitors focus on?

    A Journey Into Data Science

    Techniques
    to improve the accuracy of your Predictive Models


            </div>
                </div>
            </article>
    
    展开全文
  • kaggle-源码

    2021-03-29 12:22:01
    kaggle
  • Kaggle-源码

    2021-03-11 02:28:09
    Kaggle
  • kaggle:注册kaggle账号的流程

    万次阅读 多人点赞 2020-02-20 11:14:28
    一、kaggle网站地址:https://www.kaggle.com/,建议用谷歌浏览器 二、点击右上角的register,如下图: 三、我是用邮箱注册的,如下图: 四、填写注册信息,如下图: 如果人机验证的验证码不显示,请参考以下链接...

    给大家推荐一个超级超级棒的人工智能课程,老师语言风趣幽默,全是干货:https://captainbed.duanshu.com/#/course/8a30e729349f4184b9ae15317a1fc8e7?promoter_id=4c65a8bf8491490496a3698363ebdf42

    一、kaggle网站地址:https://www.kaggle.com/,建议用谷歌浏览器

    二、点击右上角的register,如下图:在这里插入图片描述
    三、我是用邮箱注册的,如下图:
    在这里插入图片描述
    四、填写注册信息,如下图:
    在这里插入图片描述
    如果人机验证的验证码不显示,请参考以下链接里的解决方案:https://www.cnblogs.com/liuxiaomin/p/11785645.html

    五、之后kaggle会给你注册的邮箱里发送一个验证码,你只需要把这个验证码填到指定的位置即可注册成功:
    在这里插入图片描述

    展开全文
  • kaggle:kaggle比赛-源码

    2021-03-20 16:18:48
    kaggle:kaggle比赛
  • kagglekaggle-源码

    2021-02-13 10:24:17
    Desafios do Kaggle Repositóriopara armazenar os Notebooks dos desafios do Kaggle
  • kaggle:kaggle 代码-源码

    2021-06-05 17:45:02
    卡格 kaggle 代码
  • Kaggle:对于Kaggle-源码

    2021-03-26 09:52:54
    学习 对于Kaggle
  • kaggle:Kaggle比赛代码
  • kaggledata

    2017-04-23 12:58:31
    kaggle数据
  • kaggle竞争 kaggle比赛
  • Kaggle-Telematics Kaggle 遥测
  • Kaggle 这个 repo 包含用于 Kaggle 比赛的脚本。
  • kaggle:Kaggle数据科学项目
  • Kaggle:Kaggle转录-源码

    2021-04-08 00:05:24
    Kaggle网站 描述 这项Kaggle竞争研究是一项旨在重新分析和审查已经结束的竞赛的研究。 转录已发布的Top Rankers内核。 [STEP1]逐一理解代码并按原样转录[STEP2]从一开始就通过查看转录的代码来转录[STEP3]学习并...
  • Kaggle项目/组合 对Kaggle数据集进行一些尝试,以便应用我通过“在这里和那里”技术学到的知识,并应用我对通过算法讲授/解释的算法和技术的理解 使用Scikit-Learn,Keras和TensorFlow进行动手机器学习
  • kaggle-cutter:像kaggle一样管理项目
  • 大数据竞赛平台——Kaggle 入门

    万次阅读 多人点赞 2014-12-14 21:34:01
    大数据竞赛平台——Kaggle 入门篇 这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友,对于已经在Kaggle上参赛过的网友来说,大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle,...

    大数据竞赛平台——Kaggle 入门篇



    这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友,对于已经在Kaggle上参赛过的网友来说,大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle,第一部分简单介绍Kaggle,第二部分将展示解决一个竞赛项目的全过程。如有错误,请指正!


    1、Kaggle简介

    Kaggle是一个数据分析的竞赛平台,网址:https://www.kaggle.com/

    企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上,以竞赛的形式向广大的数据科学家征集解决方
    案,类似于KDD-CUP(国际知识发现和数据挖掘竞赛)。Kaggle上的参赛者将数据下载下来,分析数据,然后运用机
    器学习、数据挖掘等知识,建立算法模型,解决问题得出结果,最后将结果提交,如果提交的结果符合指标要求并且在参赛者中排名第一,将获得比赛丰厚的奖金。更多内容可以参阅:大数据众包平台

    下面我以图文的形式介绍Kaggle:

    进入Kaggle网站:


    这是当前正在火热进行的有奖比赛,有冠军杯形状的是“Featured”,译为“号召”,召集数据科学高手去参赛。下面那个灰色的有试剂瓶形状的是“Research”,奖金少一点。这两个类别的比赛是有奖竞赛,难度自然不小,作为入门者,应该先做练习赛:



    左图的比赛是“101”,右图的是“Playground”,都是练习赛,适合入门。入门Kaggle最好的方法就是独立完成101和playground这两个级别的竞赛项目。本文的第二部分将选101中的“Digit Recognition”作为讲解。

    点击进入赛题“Digit Recognition


    这是一个识别数字0~9的练习赛,“Competition Details“是这个比赛的描述,说明参赛者需要解决的问题。”Get the Data“是数据下载,参赛者用这些数据来训练自己的模型,得出结果,数据一般都是以csv格式给出:



    其中,train.csv就是训练样本,test.csv就是测试样本,由于这个是训练赛,所以还提供了两种解决方案,knn_benchmark.R和rf_benchmark.R,前者是用R语。言写的knn算法程序,后者是用R语言写的随机森林算法程序,它们的结果分别是knn_benchmark.csv和rf_benchmark.csv。关于csv格式文件,我前一篇文章有详述:【Python】csv模块的使用

    得出结果后,接下来就是提交结果”Make a submission“


    要求提交的文件是csv格式的,假如你将结果保存在result.csv,那么点击”Click or drop submission here“,选中result.csv文件上传即可,系统将测试你提交的结果的准确率,然后排名。

    另外,除了“Competition Details“、”Get the Data“、”Make a submission“,侧边栏的”Home“、”Information“、"Forum"等,也提供了关于竞赛的一些相关信息,包括排名、规则、辅导......

    【以上是第一部分,暂且写这么多,有补充的以后再更】


    2、竞赛项目解题全过程

    (1)知识准备


    首先,想解决上面的题目,还是需要一点ML算法的基础的,另外就是要会用编程语言和相应的第三方库来实现算法,常用的有:
    Python以及对应的库numpy、scipy、scikit-learn(实现了ML的一些算法,可以直接用)、theano(DeepLearning的算法包)。
    R语言、weka
    如果用到深度学习的算法,cuda、caffe也可以用
    总之,使用什么编程语言、什么平台、什么第三方库都无所谓,无论你用什么方法,Kaggle只需要你线上提交结果,线下你如何实现算法是没有限制的。

    Ok,下面讲解题过程,以”Digit Recognition“为例,数字识别这个问题我之前写过两篇文章,分别用kNN算法和Logistic算法去实现,有完整的代码,有兴趣可以阅读:kNN算法实现数字识别 Logistic回归实现数字识别


    (2)Digit Recognition解题过程


    下面我将采用kNN算法来解决Kaggle上的这道Digit Recognition训练题。上面提到,我之前用kNN算法实现过,这里我将直接copy之前的算法的核心代码,核心代码是关于kNN算法的主体实现,我不再赘述,我把重点放在处理数据上。

    以下工程基于Python、numpy

    • 获取数据

    从”Get the Data“下载以下三个csv文件:


    • 分析train.csv数据

    train.csv是训练样本集,大小42001*785,第一行是文字描述,所以实际的样本数据大小是42000*785,其中第一列的每一个数字是它对应行的label,可以将第一列单独取出来,得到42000*1的向量trainLabel,剩下的就是42000*784的特征向量集trainData,所以从train.csv可以获取两个矩阵trainLabel、trainData。

    下面给出代码,另外关于如何从csv文件中读取数据,参阅:csv模块的使用


    def loadTrainData():
        l=[]
        with open('train.csv') as file:
             lines=csv.reader(file)
             for line in lines:
                 l.append(line) #42001*785
        l.remove(l[0])
        l=array(l)
        label=l[:,0]
        data=l[:,1:]
        return nomalizing(toInt(data)),toInt(label)

    这里还有两个函数需要说明一下,toInt()函数,是将字符串转换为整数,因为从csv文件读取出来的,是字符串类型的,比如‘253’,而我们接下来运算需要的是整数类型的,因此要转换,int(‘253’)=253。toInt()函数如下:

    def toInt(array):
        array=mat(array)
        m,n=shape(array)
        newArray=zeros((m,n))
        for i in xrange(m):
            for j in xrange(n):
                    newArray[i,j]=int(array[i,j])
        return newArray



    nomalizing()函数做的工作是归一化,因为train.csv里面提供的表示图像的数据是0~255的,为了简化运算,我们可以将其转化为二值图像,因此将所有非0的数字,即1~255都归一化为1。nomalizing()函数如下:

    def nomalizing(array):
        m,n=shape(array)
        for i in xrange(m):
            for j in xrange(n):
                if array[i,j]!=0:
                    array[i,j]=1
        return array



    • 分析test.csv数据

    test.csv里的数据大小是28001*784,第一行是文字描述,因此实际的测试数据样本是28000*784,与train.csv不同,没有label,28000*784即28000个测试样本,我们要做的工作就是为这28000个测试样本找出正确的label。所以从test.csv我们可以得到测试样本集testData,代码如下:

    def loadTestData():
        l=[]
        with open('test.csv') as file:
             lines=csv.reader(file)
             for line in lines:
                 l.append(line)
         #28001*784
        l.remove(l[0])
        data=array(l)
        return nomalizing(toInt(data))  


    • 分析knn_benchmark.csv

    前面已经提到,由于digit recognition是训练赛,所以这个文件是官方给出的参考结果,本来可以不理这个文件的,但是我下面为了对比自己的训练结果,所以也把knn_benchmark.csv这个文件读取出来,这个文件里的数据是28001*2,第一行是文字说明,可以去掉,第一列表示图片序号1~28000,第二列是图片对应的数字。从knn_benchmark.csv可以得到28000*1的测试结果矩阵testResult,代码:

    def loadTestResult():
        l=[]
        with open('knn_benchmark.csv') as file:
             lines=csv.reader(file)
             for line in lines:
                 l.append(line)
         #28001*2
        l.remove(l[0])
        label=array(l)
        return toInt(label[:,1])


    到这里,数据分析和处理已经完成,我们获得的矩阵有:trainData、trainLabel、testData、testResult


    • 算法设计
    这里我们采用kNN算法来分类,核心代码:
    def classify(inX, dataSet, labels, k):
        inX=mat(inX)
        dataSet=mat(dataSet)
        labels=mat(labels)
        dataSetSize = dataSet.shape[0]                  
        diffMat = tile(inX, (dataSetSize,1)) - dataSet   
        sqDiffMat = array(diffMat)**2
        sqDistances = sqDiffMat.sum(axis=1)                  
        distances = sqDistances**0.5
        sortedDistIndicies = distances.argsort()            
        classCount={}                                      
        for i in range(k):
            voteIlabel = labels[0,sortedDistIndicies[i]]
            classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
        return sortedClassCount[0][0]

    关于这个函数,参考:kNN算法实现数字识别

    简单说明一下,inX就是输入的单个样本,是一个特征向量。dataSet是训练样本,对应上面的trainData,labels对应trainLabel,k是knn算法选定的k,一般选择0~20之间的数字。这个函数将返回inX的label,即图片inX对应的数字。
    对于测试集里28000个样本,调用28000次这个函数即可。

    • 保存结果
    kaggle上要求提交的文件格式是csv,上面我们得到了28000个测试样本的label,必须将其保存成csv格式文件才可以提交,关于csv,参考:【Python】csv模块的使用
    代码:
    def saveResult(result):
        with open('result.csv','wb') as myFile:    
            myWriter=csv.writer(myFile)
            for i in result:
                tmp=[]
                tmp.append(i)
                myWriter.writerow(tmp)


    • 综合各函数

    上面各个函数已经做完了所有需要做的工作,现在需要写一个函数将它们组合起来解决digit recognition这个题目。我们写一个handwritingClassTest函数,运行这个函数,就可以得到训练结果result.csv。


    def handwritingClassTest():
        trainData,trainLabel=loadTrainData()
        testData=loadTestData()
        testLabel=loadTestResult()
        m,n=shape(testData)
        errorCount=0
        resultList=[]
        for i in range(m):
             classifierResult = classify(testData[i], trainData, trainLabel, 5)
             resultList.append(classifierResult)
             print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, testLabel[0,i])
             if (classifierResult != testLabel[0,i]): errorCount += 1.0
        print "\nthe total number of errors is: %d" % errorCount
        print "\nthe total error rate is: %f" % (errorCount/float(m))
        saveResult(resultList)

    运行这个函数,可以得到result.csv文件:


    2 0 9 9 3 7 0 3.......就是每个图片对应的数字。与参考结果knn_benchmark.csv比较一下:


    28000个样本中有1004个与kknn_benchmark.csv中的不一样。错误率为3.5%,这个效果并不好,原因是我并未将所有训练样本都拿来训练,因为太花时间,我只取一半的训练样本来训练,即上面的结果对应的代码是:


     classifierResult = classify(testData[i], trainData[0:20000], trainLabel[0:20000], 5)

    训练一半的样本,程序跑了将近70分钟(在个人PC上)。


    • 提交结果
    将result.csv整理成kknn_benchmark.csv那种格式,即加入第一行文字说明,加入第一列的图片序号,然后make a submission,结果准确率96.5%:





    下载工程代码:github地址

    【完】
    展开全文
  • 使用Python编写的Kaggle项目( )。 和一些实用程序文件。
  • kaggle tutorial

    2017-11-28 10:21:17
    个人在kaggle上搜集的一些slides。主要是一些比较知名参赛者的给出的总结。
  • 卡格勒 Kaggle项目的回购
  • Kaggle 各种 Kaggle 比赛的一些代码。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 47,749
精华内容 19,099
关键字:

kaggle