-
数据科学
2013-07-31 23:25:34数据科学最近成为计算机的热门领域。数据科学是利用计算机的运算能力对数据进行处理，从数据中提取信息，进而形成“知识”。它已经影响了计算机视觉、信号处理、自然语言识别等计算机分支。数据科学已经在IT、金融...展开全文作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！
数据科学最近成为计算机的热门领域。数据科学是利用计算机的运算能力对数据进行处理，从数据中提取信息，进而形成“知识”。它已经影响了计算机视觉、信号处理、自然语言识别等计算机分支。数据科学已经在IT、金融、医学、自动驾驶等领域得到广泛使用。(如果你熟知中情局的棱镜泄密事件，你会发现数据科学已经在情报领域广泛使用。)
在这系列文章中，我希望能完成从概率论，统计，到机器学习的整个数据分析的链条。传统意义上的数据处理是用统计方法实现的，而概率论是统计的基础。随着计算机处理能力的增强，一些需要大量运算的数据分析方法得到快速发展。机器学习实际上是一个混合体，包括一些在计算机领域中发展的算法，也包括一些传统统计中已经存在，但受限于计算能力的统计方法。另一方面，从数据中提炼知识是机器学习的主要目的，这与统计推断密切相关。因此，从传统的概率和统计出发，更容易理解机器学习的内涵。
当然，这样做的困难之处是要覆盖许多内容。严格的叙述有时会显得比较无聊。我会尽力引入实用的编程例子，以便能形成更好的触觉。编程工具会以Python语言为主，配以第三方的包，比如Numpy, Scipy, Matplotlib, scikit-learn。统计和机器学习同样可以在其他语言中实现，比如Matlab和R语言。如果你熟悉相应的工具，不难写出类似功能的代码。
概率论
随机变量的函数
期望与方差
极限理论
统计基础
数据描述
参数估计
区间估计
假设检验
线性回归
ANOVA
无参估计
贝叶斯方法
多变量统计
机器学习
<script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script>
-
什么是数据科学？数据科学包括数据的科学和科学的数据?
2018-04-06 16:36:54什么是数据科学？众说纷纭。这是可以理解的，因为数据科学还处在创立的过程中。科学的魅力也在于此，比如物理学，从牛顿力学、到狭义相对论、到广义相对论、到量子力学，它处在不断整理、推翻、重建的的过程中，这是...展开全文什么是数据科学？众说纷纭。这是可以理解的，因为数据科学还处在创立的过程中。科学的魅力也在于此，比如物理学，从牛顿力学、到狭义相对论、到广义相对论、到量子力学，它处在不断整理、推翻、重建的的过程中，这是一个动态的过程。
有专家认为，为培养人才计，数据科学专业的建立是迫在眉睫的，笔者是同意这样的看法的。从国家意志层面，我们看到，截至2018年3月，教育部已经分三批，批准建立“数据科学与大数据技术”新专业，至此共有200多所高校获批建设该专业。
有专家认为，数据科学至少包括两个方面，即数据的科学和科学的数据。这种提法值得商榷。
所谓科学的数据的提法，来自于微软研究院汇编出版的《第四范式：数据密集型科学发现》。科学研究的第一范式，为基于实证方法的研究范式；第二范式，为基于理论推演的理论式研究；第三范式，为基于计算机仿真的计算研究；第四范式，则是基于数据科学的数据密集型研究。基于大型强子对撞机的实验数据实现希格斯玻色子的发现、基于LIGO实验数据对引力波的确认、基于NASA数据寻找系外行星等，都体现了基于大规模数据的科学发现的特点。“科学的第四范式”可以说先于大数据和数据科学的提出而提出，“科学的第四范式”和数据科学的关系，体现了应用驱动基础理论创新的特点。
但是我们不能够把数据科学，归结为科学的数据和数据的科学两个方面。
因为科学的数据，终究是数据科学的一个应用而已，两者不管谁先谁后出现。数据科学应该研究数据的根本问题，也就是它是关于数据的科学。科学的数据，和政府的数据、金融的数据、互联网的数据、电商的数据一样，都是数据科学的应用，不应该把科学的数据，单拎出来，强调它的重要性。
因为，倘若如此，容易引起读者的思想混乱，对于读者建立合理恰当的知识体系，是非常不利的。打个比方，一个家庭里有好几个兄弟姐妹，其中一位可以和父母、亲戚在大厅上桌吃饭，但是其他几位却只能在厨房，简单吃点，潦草了事，上不得台面，这样的家庭和谐吗？很不和谐嘛。
本文所传达的观点，用下面的一张图可以清晰地表达。
数据科学概论网上资源
https://blog.csdn.net/xiongpai1971/article/details/89364071
-
互联网数据科学简书-《如何搭建数据科学团队》
2020-11-30 09:53:37数据科学作为一个独特的专业领域之后，数据科学有了自己的一套体系。对“什么是数据科学？，“对数据科学在当今世界的意义的介绍，表明我们正处于一场数据科学变革的开端。现在有定期讨论（meetups）、成熟的创业...展开全文
本书介绍
数据科学作为一个独特的专业领域之后，数据科学有了自己的一套体系。对“什么是数据科学？，“对数据科学在当今世界的意义的介绍，表明我们正处于一场数据科学变革的开端。现在有定期讨论（meetups）、成熟的创业公司，甚至还有专注于数据科学的大学课程。麦肯锡的大数据研究报告和领英的数据表明，数据科学人才需求量很大。
文末附本书最新免费pdf下载地址。
主要互联网公司的成功推动了对数据科学家需求的增长。谷歌、Facebook、LinkedIn和亚马逊都通过创造性地使用数据而闻名:不仅仅是存储数据，而是将其转化为有价值的东西。无论这种价值是搜索结果、有针对性的广告还是可能的熟人名单，数据科学都在生产人们想要和重视的产品。不仅仅是互联网公司:沃尔玛不生产“数据产品”，但他们以使用数据优化零售业务的各个方面而闻名。考虑到数据科学发展的重要性，思考数据科学家为组织增加了什么，他们如何融入，以及如何雇佣和建立有效的数据科学团队是很重要的
本书目录
内容截图
本书免费pdf下载地址
微信公众号“AIMarker”回复关键字“sce20”获取下载地址。
公众号二维码
小程序二维码
-
迈向数据科学家：带你玩转Python数据分析
2020-02-20 11:00:28【通解数据科学 拓宽收益渠道】 如今，许多行业都有数据方向的人才需求。 掌握数据分析与可视化技能，你就可以： ... -
伪数据科学家 VS 真数据科学家
2017-06-07 09:58:23如今数据科学书籍、认证和文凭，如雨后春笋般层出不穷。但许多仅仅是镜花水月：许多人钻了这一新名词的空子，将旧酒（比如统计学和R编程）放在了“数据科学”这个新瓶里。 本文选自《数据天才：数据科学家修炼之道》...展开全文如今数据科学书籍、认证和文凭，如雨后春笋般层出不穷。但许多仅仅是镜花水月：许多人钻了这一新名词的空子，将旧酒（比如统计学和R编程）放在了“数据科学”这个新瓶里。
本文选自《数据天才：数据科学家修炼之道》。R语言编程跟伪数据科学为何扯上了关系？
R是一种有20多年历史的开源统计编程语言及编译环境，是商业化产品S+的后继者。R一直以来都局限于内存数据处理，在统计圈子里非常流行，并因其出色的可视化效果为人称道。一些新型的开发环境通过创建R程序包或者将其扩展到分布式架构里（比如将R与Hadoop结合的RHadoop），将R（限于在内存里处理数据）的能力扩大。其他程序语言当然也存在跟伪数据科学沾边的情况，比如说SAS，但不及R这么流行。说到SAS，它价格高昂，在政府机构或者实体企业的应用更为广泛。但在过去10年数据快速增长的领域（如搜索引擎、社交媒体、移动数据、协同过滤推荐等）运用不多。R跟C、Perl或者Python的语法不一样（后三者语法根源一样），其简易性使得写R的程序员比较广泛。R还有很多程序包和不错的用户界面，SAS却难学很多。
管理决策层在搭建其数据科学家团队时，有时也不是很清楚他们想要的到底是什么。
他们往往最终招募的是很纯粹的技术极客、计算机科学家，或者缺乏恰当大数据经验的人。人力资源部门对于数据科学的了解也不会好到哪里，因此导致更为严重的问题，他们给出的招聘广告就是不断重复类似的关键词：Java、Python、MapReduce、R、Hadoop和NoSQL。
数据科学真的就是这些技能的混合吗？
**MapReduce**只是一个将数据分解为子集，在不同机器上分开处理，并把所有结果集合起来，从而处理大数据的泛化框架。因此它涉及的是处理大数据的分布式框架，用到的这些服务器和设备则组成云（Cloud）。
**Hadoop**是MapReduce的一种实现，就像C++是面向对象编程的实现一样。
**NoSQL**意味着“Not Only SQL（意为不单只是SQL）”，是指能更新颖、更高效地访问（比如MapReduce）数据的数据库或数据库管理系统，有时它是作为SQL（标准数据库查询语言）之下的隐藏层而存在的。
除了MapReduce以外，还有其他框架——例如，图形数据库和环境，它们依赖于节点和边这类概念，来管理和访问数据（通常是空间数据）。这些概念并不一定是新的。在谷歌存在之前，分布式体系结构已被应用到搜索技术环境中了。15年前，我写Perl脚本进行哈希连接（一种NoSQL连接，用来连接或合并数据库中的两个表）。然而，现在一些数据库厂商提供的哈希连接，是SQL连接的一个快速替代品。哈希连接在本书后面还会讨论到。它们使用哈希表，并依赖于名称-值对的形式。我想说的结论是，有时MapReduce、NoSQL、Hadoop、Python（一种优秀的脚本语言，往往用于处理文本和非结构化数据）会被认为是Perl的后继者，但它们根源于几十年前就开发出的系统和技术，只是在过去的10年里变得更成熟而已，但数据科学并不只是这些。
事实上，你可以成为一名真正的数据科学家，且不需要掌握这些技能。NoSQL和MapReduce不是新概念——在这些关键词被创建之前，就有很多人接触到它们。
成为一名数据科学家，你需要以下能力。
- 敏锐的商业头脑。
- 真正的大数据专业知识（例如，可以在几个小时内快速地处理一个5 000万行的数据集）。
- 认知数据的能力。
- 对模型具有猜疑精神。
- 了解大数据“诅咒”。
- 有能力沟通并理解管理人员正在试图解决哪些问题。
- 能正确评估付你工资所能带来的回报（ROI）或效益提升（lift）。
- 能够快速地识别一个简单的、健壮的、可扩展的解决方案。
- 能够说服并推动管理人员，即使不情愿，也要为了公司、用户和股东的利益，转到正确的方向上。
- 真正热爱数据分析。
- 成功案例的实际应用经验。
- 数据架构知识。
- 数据收集和清理技能。
- 计算复杂度的基础知识——如何开发健壮的、高效的、可扩展的、可移植的架构。
- 良好的算法知识。
数据科学家在商业分析、统计学和计算机科学等领域也是通才，比如会掌握这些专业知识：健壮性、实验设计、算法复杂度、仪表盘和数据可视化。一些数据科学家也是数据策略师——他们可以开发数据收集策略，并使用数据来发现可操作的、能对商业产生影响的见解。这就要求数据科学家具有创造性，能根据业务要求，制定分析、提出解决方案。
要理解数据科学，所需的基本数学知识包括：
- 代数，如果可能的话，包括基本矩阵理论。
- 微积分入门课程。要掌握的理论不多，只需要理解计算的复杂度和O标记法即可。了解特殊函数，包括对数、指数、幂函数。微分方程、积分和复数不是必要的。
- 统计与概率的入门课程，要了解随机变量、概率、均值、方差、百分位数、实验设计、交叉验证、拟合度和稳健统计的概念（不需要了解技术细节，而是达到本书介绍的程度即可）。
从技术的角度，要掌握的重要技能和知识有R、Python（或Perl）、Excel、SQL、图形（可视化）、FTP、基本的UNIX命令（sort、grep、head、tail、管道和重定向操作符、cat、cron定时等），以及对如何设计和访问数据库有基本了解。了解分布式系统如何工作和在哪里能发现瓶颈（是在硬盘和内存之间的数据传输，还是在互联网上），这也很重要。最后，要了解网络爬虫基本知识，这有助于获取互联网上能找到的非结构化数据。
伪数据科学的例子
这里有个伪数据科学的例子，说明数据科学家要开展工作，为什么需要遵循标准和最佳实践。这里讨论的例子，并不是说它们是不好的产品——实际上，它们有很多的内在价值——但跟真的数据科学无关。原因有以下两点：
- 首先，部分统计学家没有参与到大数据革命中。虽然有些人还写了关于应用数据科学的书，但只是重新包装原来的统计课程。
- 第二，适合大数据集的方法需要变化——按2005年的大数据定义，当有2 000万行数据时，才有资格成为大数据——但2010年后不能再这样划分，因为大数据至少是TB级的。
不少人认为数据科学是统计学的一个新名字，他们把数据科学和伪数据科学，以及2005年的大数据定义与2013年的大数据定义弄混淆了。现代数据也有很大的不同，已经被描述为3个V：速度（velocity）（实时、快速流动）、多样化（variety）（结构化、非结构化，如微博内容）和大数据量（volume）。我会增加真实性（veracity）和价值（value）。
例子：某一本数据科学电子书
查看一所著名大学2012年的数据科学训练手册，书的大部分内容是关于旧的统计理论。这本书用R来说明各种概念。当用逻辑回归处理仅仅1万行数据时，并不是大数据科学，它是伪数据科学。这本电子书全部关于小数据，最后几章例外，在那里你会学到一点SQL（嵌入在R代码中）的知识和如何使用R包从Twitter提取微博内容，且创造出作者所说的词云（它和云计算没关系）。
即使提取Twitter内容的项目也还是小数据，也没有分布式体系结构（例如，MapReduce）。事实上，该书从来没有谈到数据架构。该书的水平是初级的。每章以简单的方式（适合高中学生阅读）简短介绍大数据和数据科学，跟该书实际涉猎的小数据科学不搭，跟项目和技术展示脱节。
也许作者增加了这些简短的段落，是为了可以将他的“R统计”的电子书，重新改名为“数据科学的介绍”。它是免费的、很好的、写得很棒的书，且会使高中学生对统计和编程感兴趣。但它与数据科学无关。
本文选自《数据天才：数据科学家修炼之道》，点此链接可在博文视点官网查看此书。
想及时获得更多精彩文章，可在微信中搜索“博文视点”或者扫描下方二维码并关注。
-
南开大学统计与数据科学院夏令营
2020-05-21 11:11:51为给有志于在统计学、数据科学等领域继续深造的优秀大学生提供一个开阔学术视野、了解学术前沿的机会，南开大学统计与数据科学学院将于2020年7月17日至7月19日，暂定线上举办“2020年全国优秀大学生夏令营”活动。... -
数据科学导论
2019-02-12 00:48:11清华大学数据科学系列课程之一《数据科学导论》心得 -
数据科学简介
2019-03-19 23:13:32数据科学是一个多学科领域，其目的是从所有形式的数据中提取价值。本文从数据、数据结构以及可用于将数据转换为价值的高级流程方面来探讨数据科学领域。 数据科学是一个流程。这并不是说数据是机械的，缺乏创造力的... -
什么是数据科学？数据科学的基本内容
2017-10-28 00:00:00作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性；二是数据研究的共性。现代社会的各行各业都充满了数据，这些数据的类型多种多样，不仅包括传统的结构化数据，也包括网页、文本、图像、视频、... -
数据科学的原理与技巧 一、数据科学的生命周期
2018-05-30 17:28:25一、数据科学的生命周期 原文：DS-100/textbook/notebooks/ch01 译者：飞龙 协议：CC BY-NC-SA 4.0 自豪地采用谷歌翻译 在数据科学中，我们使用大量不同的数据集来对世界做出结论。在这个课程中，我们... -
Julia 数据科学应用
2018-11-06 11:55:34在介绍了 Julia 对于数据科学社区的重要性和若干数据科学基本准则之后，本书讲解了 Julia 基础知识，包括如何安装 Julia 及其功能强大的程序库。本书通过丰富的示例展示了如何使用 Julia 命令、数据集和函数。 本书... -
Python 数据科学手册
2018-11-06 11:56:00本书共五章，每章介绍一到两个 Python 数据科学中的重点工具包。 第1章 从 IPython 和 Jupyter 开始，它们提供了数据科学家需要的计算环境； 第2章讲解能提供 ndarray 对象的 NumPy，它可以用 Python 高效地存储和... -
什么是数据科学家与数据科学
2014-09-12 10:39:18仅仅在几年前，数据科学家还不是一个正式确定的职业，然而一眨眼的工夫，这个职业就已经被誉为“今后十年IT行业最重要的人才”了。 一、数据科学家的起源 "数据科学"（DataScience）起初叫"datalogy "。最初在... -
数据科学 IPython 笔记本 7.7 处理缺失数据
2019-01-13 21:57:07本节是《Python 数据科学手册》（Python Data Science Handbook）的摘录。 许多教程中的数据与现实世界中的数据之间的差异在于，真实世界的数据很少是干净和同构的。特别是，许多有趣的数据集缺少一些数据。为了使... -
数据科学 IPython 笔记本 8.16 地理数据和 Basemap
2019-01-19 11:30:05本节是《Python 数据科学手册》（Python Data Science Handbook）的摘录。 数据科学中一种常见的可视化类型是地理数据。Matplotlib 用于此类可视化的主要工具是 Basemap 工具包，它是位于mpl_too... -
【数据科学家】如何成为一名数据科学家？
2018-05-05 00:00:00仅仅在几年前，数据科学家还不是一个正式确定的职业，然而一眨眼的工夫，这个职业就已经被誉为“今后十年IT行业最重要的人才”了。一、数据科学家的起源"数据科学"（DataSc... -
数据科学、数据技术与数据工程
2016-10-20 16:45:56谈到大数据，大家总会听到几个词：数据科学、数据技术和数据工程，它们之间到底有些什么区别和联系呢？ 实际上，科学、技术与工程是现代“科学技术”中的三个不同领域或不同层次。 科学是对客观... -
数据科学家从入门到高阶视频精讲
2017-12-04 14:45:36数据科学家入门视频教程，数据科学家职业概述，《哈佛商业评论》宣布，“数据科学家”是二十一世纪性感的职业。数据科学家究竟是一群怎样的人？各行各业高薪难求的他们又是如何开启自己的职业生涯的？ 本次分享来自... -
数据科学 IPython 笔记本 7.3 Pandas 数据操作
2019-01-13 21:52:44本节是《Python 数据科学手册》（Python Data Science Handbook）的摘录。 在前一章中，我们详细介绍了 NumPy 及其ndarray对象，它在 Python 中提供了密集类型数组的高效存储和操作。在这里，通过详细了解... -
数据科学技术与应用_数据科学基础_第一次作业_答案_中国大学MOOC
2020-07-06 15:16:01数据科学技术与应用 数据科学基础 第一次作业 答案 题目来源：中国大学MOOC-东华大学宋晖等数据科学技术与应用 -
【数据科学】针对数据科学初学者的免费资源
2018-07-25 16:39:24在本指南中，我们将分享65种免费的数据科学资源，我们已经为初学者精心挑选和注释。 要成为数据科学家，您将面临巨大的挑战。您需要掌握各种技能，从机器学习到业务分析。 但是，奖励是值得的。组织将奖励那些能够... -
数据科学家访谈录
2018-11-06 11:54:46数据科学正在对商业、教育、能源、软件与互联网等各行各业产生深远的影响并贡献巨大的价值。作为21世纪诱人的职业，数据科学家既有巨大市场需求的潜力，又面临着高难度的学习路径的挑战。 本书选取世界知名的25位... -
Python数据科学常用工具包视频教程
2017-12-15 17:45:36Python数据科学必备工具包视频培训课程：该教程共包含Python数据教程领域四大核心库，科学技术库Numpy，数据分析处理库Pandas，可视化库Matplotlib，可视化库Seaborn。通过学习本教程，可以掌握Numpy矩阵、数组、... -
Python数据科学手册
2019-05-27 19:27:43本书共五章，每章介绍一到两个Python数据科学中的重点工具包。首先从IPython和Jupyter开始，它们提供了数据科学家需要的计算环境；第2章讲解能提供ndarray对象的NumPy，它可以用Python高效地存储和操作大型数组；第3... -
数据科学的原理与技巧 二、数据生成
2018-06-03 22:55:47数据科学很难成为没有数据的科学。 因此重要的是，我们通过了解我们的数据是如何生成的，来启动任何数据分析。 在本章中，我们将讨论数据来源。 虽然术语“数据来源”通常指的是数据的整个历史，以及它随时间变化的... -
数据科学研究的现状与趋势全解
2019-11-27 17:29:10首先，本文探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题，并提出了专业数据科学与专业中的数据科学之间的区别与联系；其次，分析现阶段数据科学的研究特点，并分别提出了专业数据科学、专业中的... -
数据科学 IPython 笔记本 7.5 数据索引和选择
2019-01-13 21:54:38本节是《Python 数据科学手册》（Python Data Science Handbook）的摘录。 在第二章中，我们详细介绍了在 NumPy 数组中访问，设置和修改值的方法和工具。这些包括索引（例如，arr[2,1]），切片（例如，arr[:, 1:5].... -
【数据科学家】每个数据科学家都应该学习4个必备技能
2018-01-16 00:00:00摘要： 作为一个数据科学家你必须要掌握的四个必备技能，值得每个想要成为数据科学家和已经成为数据科学家的人去学习。这篇文章对应之前发表过的一篇关于如何成长为一名具备其他技能的高级数据科学家的文章。希望... -
数据科学实践 - 针对股票进行组合优化
2018-02-05 11:15:46数据科学是一门交叉学科，包括了应用数学、统计、模式识别、机器学习、数据可视化以及计算机知识等，数据科学通过数据解决实际生活中的各类问题。 此次课程是根据投资学中马科维兹的均值方差模型对股市上挑选的个股... -
精通数据科学：从线性回归到深度学习
2019-04-10 13:22:48数据科学是一门内涵很广的学科，它涉及到统计分析、机器学习以及计算机科学三方面的知识和技能。本课程将深入浅出、全面系统地介绍了这门学科的内容。通过这门课程，同学可以了解并熟悉如下的开源工具：scikit-learn...
-
【数据分析-随到随学】机器学习模型及应用
-
git32位下载最新中文版
-
基于Android的音视频学习资料代码集合
-
C语言结课设计：餐饮管理与点餐系统
-
（新）备战2021软考网络工程师培训学习套餐
-
Java学习路线，好的学习路线和好的方法，能让我们少走些弯路
-
游戏半条命系列人物皮肤壁纸
-
thinkphp5.1博客后台实战视频
-
OPPO A83（MT6763）原厂原理图维修图（PDF格式）
-
Java之泛型＜T＞ T与T的用法
-
没有文化适合自媒体创业吗
-
【数据分析-随到随学】SPSS调查问卷统计分析
-
WINXP VISTA WIN7 WIN10文件夹大小查看
-
23种JAVA设计模式
-
【数据分析-随到随学】数据分析建模和预测
-
matlab通用命令
-
LeetCode55跳跃游戏(dp)
-
WindowsUpdateCleanTool_48721.zip
-
（新）备战2021软考软件设计师顺利通关套餐
-
2021全网最详细【WEB前端】从零入门实战教程，全课程119节