数据挖掘起源：需要是发明之母。存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广发用于各种应用，如：商务管理、生产控制、市场分析、工程设计、和科学探索。

数据挖掘的作用：
分类
估计
预测
相关性分组或关联规则
聚类
描述和可视化
复杂数据类型挖掘（text web 图形图像 视频 音频）

数据挖掘分类
直接数据挖掘 前三个：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库表中的属性，即列）进行描述。
间接数据挖掘 后四个：目标中没有选出某一具体的变量，用模型进行描述；而是在所有变量中建立起某种关系。

分类：首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。
注意：类的个数是确定的，预先定义好的。

估值：估计与分类类似，不同之处在于，分类描述的是离散变量的输出，估值处理连续值的输出；分类数据挖掘的类别是确定数目的，估值的量是不确定的。

预测：预测是通过分类或估值其作用的，通过分类或估值取出模型，该模型用于对未知变量的预言。

相关性分组或关联规则：决定哪些事情将一起发生。
例子：超市客户在购买a 的同时，经常会购买b。即a>=b（关联规则）
      客户在购买a后，隔一段时间，会购买b（序列分析）

聚类：是对记录分组，把相似的记录记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。
例子：一些特定症状的聚集可能预示了一个特定的疾病。
      租vcd类型不相似的客户聚集，可能暗示成员属于不同的亚文化群。

描述和可视化：是数据挖掘的结果。

实现数据挖掘的步骤：
1、理解数据和数据的来源
2、获取相关知识与技术
3、整合与检查数据
4、去除错误或不一致的数据
5、建立模型金额建设
6、实际数据挖掘工作
7、测试和验证挖掘结果
8、解释和应用

数据挖掘的分析方法：

· 分类 （Classification） 

· 估计（Estimation） 

· 预测（Prediction） 

· 相关性分组或关联规则（Affinity grouping or association rules） 

· 聚类（Clustering） 

· 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

数据挖掘的方法简介：

·分类 （Classification） 

首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 

例子： 

a. 信用卡申请者，分类为低、中、高风险 

b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。 

注意： 类的个数是确定的，预先定义好的

· 估计（Estimation） 

估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类 

数据挖掘 

的类别是确定数目的，估值的量是不确定的。 

例子： 

a. 根据购买模式，估计一个家庭的孩子个数 

b. 根据购买模式，估计一个家庭的收入 

c. 估计real estate的价值 

一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。

· 预测（Prediction） 

通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。 

· 相关性分组或关联规则（Affinity grouping or association rules） 

决定哪些事情将一起发生。 

例子： 

a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) 

b. 客户在购买A后，隔一段时间，会购买B （序列分析）

· 聚类（Clustering） 

聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 

例子： 

a. 一些特定症状的聚集可能预示了一个特定的疾病 

b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 

聚集通常作为数据挖掘的第一步。例如，”哪一种类的促销对客户响应最好？”，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。 

· 描述和可视化（Description and Visualization） 

是对数据挖掘结果的表示方式。一般只是指数据可视化工具，包含报表工具和商业智能分析产品（BI）的统称。譬如通过Yonghong Z-Suite等工具进行数据的展现，分析，钻取，将数据挖掘的分析结果更形象，深刻的展现出来。

天池新人赛-数据挖掘
组别：WLH

奥林匹克百米跑数据预测-python

编程是基于python的环境进行，可以在环境中构造数据模型
数据读取
将数据导入到环境中，是数据处理的基础。
初始数据绘图

数据处理
#画出建立的方程模型图像和散点图的图像，进行对比

x_test = np.linspace(1896,2008,100)[:,None]#在文档中读取x的值

f_test = w0+w1*x_test#预测之后的t值由得到的公式计算得出

plt.plot(x_test,f_test,‘k-’,linewidth=3)#画预测直线，其中linewidth为线宽

plt.plot(x,t,’.r’)#画原始数据分布

plt.xlabel(‘Olympic year’)#横轴

plt.ylabel(‘Winning time (s)’)#纵轴


预测模型
#由公式预测2020年百米成绩

x_pre=2020

f_pre = w0+w1x_pre

print(“2020年男子百米成绩预测值为：”,f_pre)

maxorder = 5

X = np.ones_like(x)

X_test = np.ones_like(x_test) #np.ones_like 所有元素用1代替

for i in range(1,maxorder+1):

X = np.hstack((X,xi)) #hstack  按列归结

X_test = np.hstack((X_test,x_testi))

#高阶模型

lamb = 0.01#惩罚系数

w = np.linalg.solve(np.dot(X.T,X) + x.sizelamb*np.identity(maxorder+1),np.dot(X.T,t))

#调用linalg模块的solve模块对方程求解，dot()求矩阵积

#np.linalg.solve求线性函数 ，x.size是N，identity单位矩阵

f_test = np.dot(X_test,w)

plt.plot(x_test,f_test,‘k-’,linewidth=3)

plt.plot(x,t,’.r’)

print(w)#w为向量所以输出也是一个向量值


数据预测
x = 2020

y = w[0]+w[1]*x+w[2]*x2+w[3]*x3+w[4]*x4+w[5]*x5#此时的y是个向量也即是一个列表，下面可以用y[0]取出

print(“2020百米预测成绩为：”,y[0])

得出结果为：2020百米预测成绩为： 9.31949390903901

春季实习招聘告一段落，写点面经还是有帮助的。 

内推过很多公司，面试过很多公司，在拉勾上也投过很多公司。开始还是有点盲目的。笔试过网易，京东，微软，蘑菇街，360，腾讯，结果是几乎全挂。但是没关系，这没有影响我最后拿到腾讯的offer。



春季实习之前



天池大数据

预测用户和商品购买的可能性。



威视创建兼职实习

人脸图像的性别识别与年龄估计算法研究。



微知著才库



阿里巴巴算法工程师实习生

-阿里妈妈事业群（跪）



年前技术一面（60min）

年前快放假的时候，和几个同学在一起打升级，面试官在我打升级的时候突然打电话来面试，结果我在寒风中冻了一个小时完成了面试（为什么之前不约一下时间）。当时还是有点措手不及的，也没有考虑到会有面试，没有做太多准备，结果是一团糟。 

问到的机器学习的算法有LR、SVM、RF、决策树，各个的主要思想、优缺点和使用场景，有没有自己写过实现过等等。然后就是Linux系统是否熟悉，Hadoop之前用过没有，Mapreduce是否了解怎么使用，数据结构中树的运用，C++标准模板库中Map是否熟悉等等。再者是线性模型和非线性模型方法的了解，最后是一道智力题：给定数组求第 k 大的数。考查的就是很出名的线性时间选择算法，可惜当时没有了解过，答得不好。



年前技术二面（15min）

寒假在家午休，突然打电话过来面试（阿里的面试官就不能提前约时间吗）。主要考查代码能力，海量数据的匹配、搜索、查找问题。最后让我加强实践能力并且关注明年的春季实习生招聘。

-2016年阿里春季实习生招聘开始，就被年前面试我的面试官内推了，很快就接到了电话面试。



春季技术一面（40min）

这个之前约了电话面试的时间，有了充分的准备。首先，让我谈了一下我在人脸识别项目中的主要工作和算法思想，当他知道我二分类所用的分类器是SVM之后，深入问我SVM的原理及核思想等式。接下来，让我讲一下在去年的天池比赛，我是怎么做的，效果怎么样等等。一顿吹侃之后，让我设计一个广告推荐系统，假设某一个用户上线了，把给定的广告按此用户排序，推荐给他。最后，考查分布式框架下Mapreduce的思想，如何从海量的手机号码中统计各个号码的频率。



春季技术二面（30min）

一面一周之后接到二面的电话。首先，还是人脸识别的项目介绍，然后他说你是数学专业的问你一道智力题：有三种颜色的球，每种颜色球的数量不限，从中选取三个球，有多少种组合。最后推广到 m 种颜色取 n 个球，有多少种组合。不需要数学公式，给出模型求解，怎么写程序实现。最后估计这题没有回答好，跪了阿里。

大众点评数据挖掘/算法实习生

-广告技术平台数据罗盘组（通过）



部门直招只有一面（20min）

自我介绍之后，简述我在Coursera上学的吴恩达的机器学习课程的收获有哪些；最后，说一下快速排序的思想，EM算法，R和Python的使用。

新浪微博算法实习生

-广告部门（通过）



部门直招只有一面（30min）

自我介绍，人脸识别项目的介绍，其中具体问了流行学习和特征选择。看重数学建模经历。



普林科技数据挖掘实习生

-创业公司（通过）



技术一面（50min）

自我介绍之后，吴恩达的机器学习课程讲的怎么样，调一段说一下，然后就是有没有自己写过相关的代码实现相关的机器学习算法。再者就是之前做过的人脸识别的项目，细问了评价标准，包括：精确度，准确率，召回率，F1值，ROC曲线。怎么做特征选择，引出了Lasso和岭回归。对Adaboost和随机森林的理解并比较异同。Python和R在数据挖掘中的比较。SVM中超参数 C 和学习率 α 的重要性和调优方法。



技术二面（20min）

关注我的美赛经历，大致问了一下。然后，介绍之前人脸项目的工作，详述SVM的思想原理，介绍研究生数学建模，我做的是拿到题，怎么做的等等，还说电面之后给我两天的时间写一份关于BP神经网络的学习文档发到指定邮箱。这是我见过的最有意思的面试题了。



微软（苏州）机器学习/数据挖掘/算法实习生

-工程技术部（跪）



技术一面（80min）

自我介绍之后，说几个生活中递归的例子。接下来是三个智力题：

杨辉三角，怎么编程给出第 n 行的所有数字。坑爹的是不能用二项展开公式，并写代码实现。
IP地址的限制问题。
链表有环的检测，寻找环的入口，写代码实现。
腾讯基础研究实习生

-TEG自然语言处理中心（通过）



技术一面（50min）

首先自我介绍，询问了简历上人脸识别的项目，一顿吹嘘之后，了解到我是用过PCA技术降维的，就让我详述其原理和方法（此处有坑），最后来了三道智力题（有点hold不住）。 

 1. 现有1G的大整数数据，但是只给1M的内存，这样进行排序，保证可行的情况下，尽量最快。 

 2. 给定一个整数数组，求一段连续子空间，使得此区间的整数之和最大。 

 3. 怎么判断两个文档的相似性，怎么判断两个词的相似性。



HR面（13min）

大至谈人生、聊理想，小至说家庭、问妹子。诚实就好。



技术二面（16min）

聊我论文做的粒计算，发表论文的情况等，介绍一下自己曾经做的有意思的项目。这个我擅长（侃大山就行了）。



总结



关于基础的准备

做好基础的准备，常用算法和数据结构要了解知道，最好实现过；常用机器学习算法理论大致知道，最好有几个比较拿手的算法；找例子实现分析效果，做做比较分析，以及在分布式下怎么使用等等。最好学习文档就是官网的了。



关于简历投递

官网投递->笔试->面试 

各种QQ群、微信群->内推->面试 

一次失败不要放弃，有人没去，你就还有机会，关注部门直招。