什么是分类

分类任务就是明确对象属于哪个预定义的目标类。其中预定义的目标类是离散时为分类，连续时为回归。



有哪些分类方法

常用的分类算法有决策树，基于规则的分类算法，神经网络，支持向量机和朴素贝叶斯分类法等。（参考常用分类算法总结）

决策树
基于规则的分类算法
朴素贝叶斯 杂货铺
最近邻分类器
贝叶斯信念网络（BBN）
人工神经网络
支持向量机的特征（SVM）
什么是聚类

聚类就是按照某个特定标准(如距离准则，即数据点之间的距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。

有哪些聚类

基于划分聚类算法（partition clustering)
k-means：    是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚点不一定是聚类中的一个点，该算法只能处理数值型数据 

k-modes：    K-Means算法的扩展，采用简单匹配方法来度量分类型数据的相似度 

k-prototypes：   结合了K-Means和K-Modes两种算法，能够处理混合型数据 

k-medoids：  在迭代过程中选择簇中的某点作为聚点，PAM是典型的k-medoids算法 

CLARA：  CLARA算法在PAM的基础上采用了抽样技术，能够处理大规模数据 

CLARANS：    CLARANS算法融合了PAM和CLARA两者的优点，是第一个用于空间数据库的聚类算法 

Focused CLARAN： 采用了空间索引技术提高了CLARANS算法的效率 

PCM：    模糊集合理论引入聚类分析中并提出了PCM模糊聚类算法

基于层次聚类算法
CURE：   采用抽样技术先对数据集D随机抽取样本，再采用分区技术对样本进行分区，然后对每个分区局部聚类，最后对局部聚类进行全局聚类 

ROCK：   也采用了随机抽样技术，该算法在计算两个对象的相似度时，同时考虑了周围对象的影响 

CHEMALOEN（变色龙算法）：   首先由数据集构造成一个K-最近邻图Gk ,再通过一个图的划分算法将图Gk 划分成大量的子图,每个子图代表一个初始子簇,最后用一个凝聚的层次聚类算法反复合并子簇，找到真正的结果簇 

SBAC：   SBAC算法则在计算对象间相似度时，考虑了属性特征对于体现对象本质的重要程度，对于更能体现对象本质的属性赋予较高的权值 

BIRCH：  BIRCH算法利用树结构对数据集进行处理，叶结点存储一个聚类，用中心和半径表示，顺序处理每一个对象，并把它划分到距离最近的结点，该算法也可以作为其他聚类算法的预处理过程 

BUBBLE： BUBBLE算法则把BIRCH算法的中心和半径概念推广到普通的距离空间 

BUBBLE-FM：  BUBBLE-FM算法通过减少距离的计算次数，提高了BUBBLE算法的效率

基于密度聚类算法
DBSCAN： DBSCAN算法是一种典型的基于密度的聚类算法，该算法采用空间索引技术来搜索对象的邻域，引入了“核心对象”和“密度可达”等概念，从核心对象出发，把所有密度可达的对象组成一个簇 

GDBSCAN：    算法通过泛化DBSCAN算法中邻域的概念，以适应空间对象的特点 

DBLASD：  

OPTICS： OPTICS算法结合了聚类的自动性和交互性，先生成聚类的次序，可以对不同的聚类设置不同的参数，来得到用户满意的结果 

FDC：    FDC算法通过构造k-d tree把整个数据空间划分成若干个矩形空间，当空间维数较少时可以大大提高DBSCAN的效率

基于网格的聚类算法
STING：  利用网格单元保存数据统计信息，从而实现多分辨率的聚类 

WaveCluster：    在聚类分析中引入了小波变换的原理，主要应用于信号处理领域。（备注：小波算法在信号处理，图形图像，加密解密等领域有重要应用，是一种比较高深和牛逼的东西） 

CLIQUE： 是一种结合了网格和密度的聚类算法 

OPTIGRID：   

基于神经网络的聚类算法
自组织神经网络SOM： 该方法的基本思想是–由外界输入不同的样本到人工的自组织映射网络中，一开始时，输入样本引起输出兴奋细胞的位置各不相同，但自组织后会形成一些细胞群，它们分别代表了输入样本，反映了输入样本的特征

基于统计学的聚类算法
COBWeb： COBWeb是一个通用的概念聚类方法，它用分类树的形式表现层次聚类 

CLASSIT： 

AutoClass：  是以概率混合模型为基础，利用属性的概率分布来描述聚类，该方法能够处理混合型的数据，但要求各属性相互独立

参考

http://blog.chinaunix.net/uid-10289334-id-3758310.html 
http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html 
http://blog.csdn.net/shouwangcc/article/details/48101761

机器学习有监督学习模型的本质：根据已有样本信息去对新的输入做出预测

训练：根据已知训练样本(x,y)构建x→y的映射f(x)

预测：根据映射f(x)对新的输入x进行预测得到y

具体的形式如下图所示： 



注：上图来自：机器学习的本质是什么？

那这个映射f(x)的具体形式是什么样子的呢？下面就以几个常用的机器学习方法为例，以一个简单的线性可分数据集来展示映射f(x)的具体形式。



LogisticRegression

逻辑斯谛回归模型： 

$P(Y=1|x)=\frac{exp(w\cdot x)}{1+ exp(w\cdot x)}=\frac{1}{1+exp(-w\cdot x)}$ 

$P(Y=0 |x)=\frac{1}{1+exp(w\cdot x)}$ 

上述公式来自李航《统计学习方法》，具体对回归模型的理解参见：机器学习系列(2)_从初等数学视角解读逻辑回归

逻辑斯谛回归模型应用极大似然估计法估计参数w，以对数似然函数为目标函数，通常采用梯度下降法及拟牛顿法得到估计参数w。

当$P(Y=1|x)>P(Y=0|x)$时，label $Y=1$，因为$P(Y=1|x)+P(Y=0|x)=1$，因此只要$P(Y=1|x)>1/2$时，label  $Y=1$。

下面直接调用sklearn中的LogisticRegression对一个简单的线性可分数据集进行学习，来展示其分类决策边界。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
%matplotlib inline

#获取数据
X_data=[]
y_data=[]
with open('testSet.txt') as f:
    for line in f.readlines():
        mydata=list(map(float,line.strip().split()))
        X_data.append(mydata[0:2])
        y_data.append(int(mydata[2]))
X_data=np.array(X_data)
y_data=np.array(y_data)

#模型训练
lr = LogisticRegression(C=1000.0, random_state=0)
lr.fit(X_data, y_data)

#得到模型参数
print(lr.coef_)
print(lr.intercept_)    #模型参数
w1,w2,b=lr.coef_[0][0],lr.coef_[0][1],lr.intercept_[0]
xfit = np.linspace(-1, 10)
yfit = -(w1 * xfit + b)/w2      #分类决策边界

#图形绘制
plt.scatter(X_data[:,0],X_data[:,1],c=y_data)
plt.plot(xfit, yfit, '-k')

plt.xlim(-1, 10);
plt.ylim(-8, 8);

注：LR模型训练前一般需要归一化的，这里因为x的两个维度相近，因此省略了该步骤。

在本例中，通过训练得到的分类决策边界应该为：w1*x1+w2*x2+b=0，为了绘图的方便，公式中转换成了斜截式。输出图形如下，黑色直线即为分类决策边界。 



未完待续~

　　数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。

 

　　数据挖掘之七种常用的方法：

 

　　①分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。

 

　　它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。

 

　　②回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

 

　　它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

 

　　③聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。

 

　　它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

 

　　④关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。

 

　　在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。

 

　　⑤特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。

 

　　⑥变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

 

　　⑦Web页挖掘。随着Internet的迅速发展及Web的全球普及，使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。

 

　　数据挖掘是一种决策支持过程，它通过高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。这对于一个企业的发展十分重要。

String类常用的方法有哪些？
小花真好看 2019-04-29 14:03:09  7408  收藏 14

分类专栏： java基础篇

版权

indexOf() 返回指定字符得索引

charAt() 返回指定索引处得字符

repalce() 字符串替换

trim() 去除字符串两端的空白

split() 分割字符串 返回分割后的字符串数组

getBytes() 返回字符串的byte类型数组

length() 返回字符串的长度

toLowerCase() 字符串转小写

toUpperCase() 字符串转大写

substring() 截取字符串

equals() 字符串比较