精华内容
下载资源
问答
  • 什么是算法,算法有哪些特征

    千次阅读 2019-11-11 07:44:45
    什么是算法,算法有哪些特征? 算法定义:为解决一个问题而采取的方法和步骤,称为“算法”。 算法五大特征: ①有穷性 ②确定性 ③有零个或多个输入 ④有一个或多个输出 ⑤有效性 ...

    什么是算法,算法有哪些特征?

    算法定义:为解决一个问题而采取的方法和步骤,称为“算法”。

    算法五大特征:

    ①有穷性

    ②确定性

    ③有零个或多个输入

    ④有一个或多个输出

    ⑤有效性

    展开全文
  • 这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质一项工程活动,目的最大限度地从原始数据中提取特征以供算法和模型...

    1 特征工程是什么?

    有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:

    特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据预处理,特征选择,降维等。首次接触到sklearn,通常会被其丰富且方便的算法模型库吸引,但是这里介绍的特征处理库也十分强大!

      本文中使用sklearn中的IRIS(鸢尾花)数据集来对特征处理功能进行说明。IRIS数据集由Fisher在1936年整理,包含4个特征(Sepal.Length(花萼长度)、Sepal.Width(花萼宽度)、Petal.Length(花瓣长度)、Petal.Width(花瓣宽度)),特征值都为正浮点数,单位为厘米。目标值为鸢尾花的分类(Iris Setosa(山鸢尾)、Iris Versicolour(杂色鸢尾),Iris Virginica(维吉尼亚鸢尾))。导入IRIS数据集的代码如下:

    from sklearn.datasets import load_iris
     
    #导入IRIS数据集
    iris = load_iris()
    
    #特征矩阵
    iris.data
    
    #目标向量
    iris.target

     

    2 数据预处理

      通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题:

    • 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。
    • 信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。
    • 定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征:假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。
    • 存在缺失值:缺失值需要补充。
    • 信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。

      我们使用sklearn中的preproccessing库来进行数据预处理,可以覆盖以上问题的解决方案。

    2.1 无量纲化

      无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围。

    2.1.1 标准化

      标准化需要计算特征的均值和标准差,公式表达为:

      使用preproccessing库的StandardScaler类对数据进行标准化的代码如下:

    from sklearn.preprocessing import StandardScaler
     
    #标准化,返回值为标准化后的数据
    StandardScaler().fit_transform(iris.data)

    2.1.2 区间缩放法

      区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,公式表达为:

      使用preproccessing库的MinMaxScaler类对数据进行区间缩放的代码如下:

    from sklearn.preprocessing import MinMaxScaler
    
    #区间缩放,返回值为缩放到[0, 1]区间的数据
    MinMaxScaler().fit_transform(iris.data)

     

    2.2 对定量特征二值化

      定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:

      使用preproccessing库的Binarizer类对数据进行二值化的代码如下:

    from sklearn.preprocessing import Binarizer
    
    #二值化,阈值设置为3,返回值为二值化后的数据
    Binarizer(threshold=3).fit_transform(iris.data)

    2.3 对定性特征哑编码

      由于IRIS数据集的特征皆为定量特征,故使用其目标值进行哑编码(实际上是不需要的)。使用preproccessing库的OneHotEncoder类对数据进行哑编码的代码如下:

    from sklearn.preprocessing import OneHotEncoder
    
    #哑编码,对IRIS数据集的目标值,返回值为哑编码后的数据
    OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))

    2.4 缺失值计算

      由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。使用preproccessing库的Imputer类对数据进行缺失值计算的代码如下:

    from numpy import vstack, array, nan
    from sklearn.preprocessing import Imputer
    
    #缺失值计算,返回值为计算缺失值后的数据
    #参数missing_value为缺失值的表示形式,默认为NaN
    #参数strategy为缺失值填充方式,默认为mean(均值)
    Imputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))

    2.5 数据变换

      常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。4个特征,度为2的多项式转换公式如下:

    使用preproccessing库的PolynomialFeatures类对数据进行多项式转换的代码如下:

    from sklearn.preprocessing import PolynomialFeatures
    
    #多项式转换
    #参数degree为度,默认值为2
    PolynomialFeatures().fit_transform(iris.data)
    

      基于单变元函数的数据变换可以使用一个统一的方式完成,使用preproccessing库的FunctionTransformer对数据进行对数函数转换的代码如下:

    from numpy import log1p
    from sklearn.preprocessing import FunctionTransformer
    
    #自定义转换函数为对数函数的数据变换
    #第一个参数是单变元函数
    FunctionTransformer(log1p).fit_transform(iris.data)
    


    3 特征选择

      当数据预处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说,从两个方面考虑来选择特征:

    • 特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用。
    • 特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优选选择。除方差法外,本文介绍的其他方法均从相关性考虑。

      根据特征选择的形式又可以将特征选择方法分为3种:

    • Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。
    • Wrapper:包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。
    • Embedded:嵌入法,先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来确定特征的优劣。

      我们使用sklearn中的feature_selection库来进行特征选择。

    3.1 Filter
    3.1.1 方差选择法

      使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下:

    from sklearn.feature_selection import VarianceThreshold
    
    #方差选择法,返回值为特征选择后的数据
    #参数threshold为方差的阈值
    VarianceThreshold(threshold=3).fit_transform(iris.data)
    

    3.1.2 相关系数法

      使用相关系数法,先要计算各个特征对目标值的相关系数以及相关系数的P值。用feature_selection库的SelectKBest类结合相关系数来选择特征的代码如下:

    from sklearn.feature_selection import SelectKBest
    from scipy.stats import pearsonr
    
    #选择K个最好的特征,返回选择特征后的数据
    #第一个参数为计算评估特征是否好的函数,该函数输入特征矩阵和目标向量,输出二元组(评分,P值)的数组,数组第i项为第i个特征的评分和P值。在此定义为计算相关系数
    #参数k为选择的特征个数
    SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
    

    3.1.3 卡方检验

      经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值,因变量有M种取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量:

      不难发现,这个统计量的含义简而言之就是自变量对因变量的相关性。用feature_selection库的SelectKBest类结合卡方检验来选择特征的代码如下:

    from sklearn.feature_selection import SelectKBest
    from sklearn.feature_selection import chi2
    
    #选择K个最好的特征,返回选择特征后的数据
    SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
    

    3.1.4 互信息法

      经典的互信息也是评价定性自变量对定性因变量的相关性的,互信息计算公式如下:

      为了处理定量数据,最大信息系数法被提出,使用feature_selection库的SelectKBest类结合最大信息系数法来选择特征的代码如下:

     from sklearn.feature_selection import SelectKBest
     from minepy import MINE
     
     #由于MINE的设计不是函数式的,定义mic方法将其为函数式的,返回一个二元组,二元组的第2项设置成固定的P值0.5
     def mic(x, y):
         m = MINE()
         m.compute_score(x, y)
         return (m.mic(), 0.5)
    
    #选择K个最好的特征,返回特征选择后的数据
    SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
    

    3.2 Wrapper
    3.2.1 递归特征消除法

      递归消除特征法使用一个基模型来进行多轮训练,每轮训练后,消除若干权值系数的特征,再基于新的特征集进行下一轮训练。使用feature_selection库的RFE类来选择特征的代码如下:

    from sklearn.feature_selection import RFE
    from sklearn.linear_model import LogisticRegression
    
    #递归特征消除法,返回特征选择后的数据
    #参数estimator为基模型
    #参数n_features_to_select为选择的特征个数
    RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)
    

    3.3 Embedded
    3.3.1 基于惩罚项的特征选择法

      使用带惩罚项的基模型,除了筛选出特征外,同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型,来选择特征的代码如下:

    from sklearn.feature_selection import SelectFromModel
    from sklearn.linear_model import LogisticRegression
    
    #带L1惩罚项的逻辑回归作为基模型的特征选择
    SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)
    

      实际上,L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个,所以没选到的特征不代表不重要。故,可结合L2惩罚项来优化。具体操作为:若一个特征在L1中的权值为1,选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合,将这一集合中的特征平分L1中的权值,故需要构建一个新的逻辑回归模型:

    from sklearn.linear_model import LogisticRegression
    
    class LR(LogisticRegression):
        def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,
                     fit_intercept=True, intercept_scaling=1, class_weight=None,
                     random_state=None, solver='liblinear', max_iter=100,
                     multi_class='ovr', verbose=0, warm_start=False, n_jobs=1):
    
            #权值相近的阈值
            self.threshold = threshold
            LogisticRegression.__init__(self, penalty='l1', dual=dual, tol=tol, C=C,
                     fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,
                     random_state=random_state, solver=solver, max_iter=max_iter,
                     multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
            #使用同样的参数创建L2逻辑回归
            self.l2 = LogisticRegression(penalty='l2', dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
    
        def fit(self, X, y, sample_weight=None):
            #训练L1逻辑回归
            super(LR, self).fit(X, y, sample_weight=sample_weight)
            self.coef_old_ = self.coef_.copy()
            #训练L2逻辑回归
            self.l2.fit(X, y, sample_weight=sample_weight)
    
            cntOfRow, cntOfCol = self.coef_.shape
            #权值系数矩阵的行数对应目标值的种类数目
            for i in range(cntOfRow):
                for j in range(cntOfCol):
                    coef = self.coef_[i][j]
                    #L1逻辑回归的权值系数不为0
                    if coef != 0:
                        idx = [j]
                        #对应在L2逻辑回归中的权值系数
                        coef1 = self.l2.coef_[i][j]
                        for k in range(cntOfCol):
                            coef2 = self.l2.coef_[i][k]
                            #在L2逻辑回归中,权值系数之差小于设定的阈值,且在L1中对应的权值为0
                            if abs(coef1-coef2) < self.threshold and j != k and self.coef_[i][k] == 0:
                                idx.append(k)
                        #计算这一类特征的权值系数均值
                        mean = coef / len(idx)
                        self.coef_[i][idx] = mean
            return self
    

      使用feature_selection库的SelectFromModel类结合带L1以及L2惩罚项的逻辑回归模型,来选择特征的代码如下:

    from sklearn.feature_selection import SelectFromModel
     
    #带L1和L2惩罚项的逻辑回归作为基模型的特征选择
    #参数threshold为权值系数之差的阈值
    SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)
    

    3.3.2 基于树模型的特征选择法

      树模型中GBDT也可用来作为基模型进行特征选择,使用feature_selection库的SelectFromModel类结合GBDT模型,来选择特征的代码如下:

    from sklearn.feature_selection import SelectFromModel
    from sklearn.ensemble import GradientBoostingClassifier
    
    #GBDT作为基模型的特征选择
    SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)
    


    4 降维

      当特征选择完成后,可以直接训练模型了,但是可能由于特征矩阵过大,导致计算量大,训练时间长的问题,因此降低特征矩阵维度也是必不可少的。常见的降维方法除了以上提到的基于L1惩罚项的模型以外,另外还有主成分分析法(PCA)和线性判别分析(LDA),线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点,其本质是要将原始的样本映射到维度更低的样本空间中,但是PCA和LDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而LDA是为了让映射后的样本有最好的分类性能。所以说PCA是一种无监督的降维方法,而LDA是一种有监督的降维方法。

    4.1 主成分分析法(PCA)

      使用decomposition库的PCA类选择特征的代码如下:

    from sklearn.decomposition import PCA
    
    #主成分分析法,返回降维后的数据
    #参数n_components为主成分数目
    PCA(n_components=2).fit_transform(iris.data)
    

    4.2 线性判别分析法(LDA)

      使用lda库的LDA类选择特征的代码如下:

    from sklearn.lda import LDA
    
    #线性判别分析法,返回降维后的数据
    #参数n_components为降维后的维数
    LDA(n_components=2).fit_transform(iris.data, iris.target)
    

     

    展开全文
  • 如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,大数据时代亟待解决的难题。 第三个特征是处理速度快,时效性要求高。这大数据...

    大数据所包含特征,具体如下:

    第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

    第二个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。

    第三个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

    大数据的作用及其用途

    大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。

    “大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。

    1、变革价值的力量

    2、变革经济的力量,生产者是有价值的,消费者是价值的意义所在。有意义的才有价值,消费者不认同的,就卖不出去,就实现不了价值;只有消费者认同的,才卖得出去,才实现得了价值。大数据帮助我们从消费者这个源头识别意义,从而帮助生产者实现价值。这就是启动内需的原理。

    3、变革组织的力量,随着具有语义网特征的数据基础设施和数据资源发展起来,组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。

    人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    入行大数据,需要学习什么
    http://www.duozhishidai.com/article-14886-1.html
    大数据技术学习路线
    http://www.duozhishidai.com/article-14882-1.html
    大数据技术,主要涉及哪些安全问题?
    http://www.duozhishidai.com/article-14783-1.html


    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台

    展开全文
  • 机器学习中,有哪些特征选择的工程方法?1 什么是特征工程有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程...

    机器学习中,有哪些特征选择的工程方法?

    1 什么是特征工程

    有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:

    特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据预处理,特征选择,降维等。首次接触到sklearn,通常会被其丰富且方便的算法模型库吸引,但是这里介绍的特征处理库也十分强大!

    本文中使用sklearn中的 IRIS(鸢尾花)数据集来对特征处理功能进行说明。IRIS数据集由Fisher在1936年整理,包含4个特征(Sepal.Length(花萼长度)、Sepal.Width(花萼宽度)、Petal.Length(花瓣长度)、Petal.Width(花瓣宽度)),特征值都为正浮点数,单位为厘米。目标值为鸢尾花的分类(Iris Setosa(山鸢尾)、Iris Versicolour(杂色鸢尾),Iris Virginica(维吉尼亚鸢尾))。导入IRIS数据集的代码如下:

        from sklearn.datasets import load_iris
    
        #导入IRIS数据集
        iris = load_iris()
    
        #特征矩阵
        iris.data
    
        #目标向量
        iris.target

    2 数据预处理

    通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题:

    • 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。

    • 信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。

    • 定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征:假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。

    • 存在缺失值:缺失值需要补充。

    • 信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。

    我们使用sklearn中的preproccessing库来进行数据预处理,可以覆盖以上问题的解决方案。

    2.1 无量纲化

    无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。

    2.1.1 标准化

    标准化需要计算特征的均值和标准差,公式表达为:

    使用preproccessing库的StandardScaler类对数据进行标准化的代码如下:

        from sklearn.preprocessing import StandardScaler 
    
        #标准化,返回值为标准化后的数据
        StandardScaler().fit_transform(iris.data)

    2.1.2 区间缩放法

    区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,公式表达为:

    使用preproccessing库的MinMaxScaler类对数据进行区间缩放的代码如下:

        from sklearn.preprocessing import MinMaxScaler
    
        #区间缩放,返回值为缩放到[0, 1]区间的数据
        MinMaxScaler().fit_transform(iris.data)

    2.1.3 标准化与归一化的区别

    简单来说,标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据,其目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准,也就是说都转化为“单位向量”。规则为l2的归一化公式如下:

    使用preproccessing库的Normalizer类对数据进行归一化的代码如下:

        from sklearn.preprocessing import Normalizer
    
        #归一化,返回值为归一化后的数据
        Normalizer().fit_transform(iris.data)

    2.2 对定量特征二值化

    定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:

    使用preproccessing库的Binarizer类对数据进行二值化的代码如下:

        from sklearn.preprocessing import Binarizer
    
        #二值化,阈值设置为3,返回值为二值化后的数据
        Binarizer(threshold=3).fit_transform(iris.data)

    2.3 对定性特征哑编码

    由于IRIS数据集的特征皆为定量特征,故使用其目标值进行哑编码(实际上是不需要的)。使用preproccessing库的OneHotEncoder类对数据进行哑编码的代码如下:

        from sklearn.preprocessing import OneHotEncoder
    
        #哑编码,对IRIS数据集的目标值,返回值为哑编码后的数据
        OneHotEncoder()
        .fit_transform(iris.target.reshape((-1,1)))

    2.4 缺失值计算

    由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。使用preproccessing库的Imputer类对数据进行缺失值计算的代码如下:

        from numpy import vstack, array, nan
        from sklearn.preprocessing import Imputer
    
        #缺失值计算,返回值为计算缺失值后的数据
        #参数missing_value为缺失值的表示形式,默认为NaN
        #参数strategy为缺失值填充方式,默认为mean(均值)
        Imputer().fit_transform
        (vstack((array([nan, nan, nan, nan]), iris.data)))
    

    2.5 数据变换

    常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。4个特征,度为2的多项式转换公式如下:

    使用preproccessing库的PolynomialFeatures类对数据进行多项式转换的代码如下:

        from sklearn.preprocessing import PolynomialFeatures
    
        #多项式转换
        #参数degree为度,默认值为2
        PolynomialFeatures().fit_transform(iris.data)
    

    基于单变元函数的数据变换可以使用一个统一的方式完成,使用preproccessing库的FunctionTransformer对数据进行对数函数转换的代码如下:

        from numpy import log1p
    
        from sklearn.preprocessing import 
        FunctionTransformer
    
        #自定义转换函数为对数函数的数据变换
        #第一个参数是单变元函数
    
        FunctionTransformer(log1p)
        .fit_transform(iris.data)
    

    3 特征选择

    当数据预处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说,从两个方面考虑来选择特征:

    特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用。
    特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优选选择。除方差法外,本文介绍的其他方法均从相关性考虑。

    根据特征选择的形式又可以将特征选择方法分为3种:

    • Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。

    • Wrapper:包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。

    • Embedded:嵌入法,先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来确定特征的优劣。

    我们使用sklearn中的feature_selection库来进行特征选择。

    3.1 Filter

    3.1.1 方差选择法

    使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下:

    
        from sklearn.feature_selection 
        import VarianceThreshold
    
        #方差选择法,返回值为特征选择后的数据
        #参数threshold为方差的阈值
    
        VarianceThreshold(threshold=3)
        .fit_transform(iris.data)
    

    3.1.2 相关系数法

    使用相关系数法,先要计算各个特征对目标值的相关系数以及相关系数的P值。用feature_selection库的SelectKBest类结合相关系数来选择特征的代码如下:

        from sklearn.feature_selection import SelectKBest
        from scipy.stats import pearsonr
    
        #选择K个最好的特征,返回选择特征后的数据
        #第一个参数为计算评估特征是否好的函数,
        该函数输入特征矩阵和目标向量,
        输出二元组(评分,P值)的数组,
        数组第i项为第i个特征的评分和P值。
        在此定义为计算相关系数
        #参数k为选择的特征个数
    
        SelectKBest(lambda X, Y: 
        array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2)
        .fit_transform(iris.data, iris.target)

    3.1.3 卡方检验

    经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值,因变量有M种取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量:

    不难发现,这个统计量的含义简而言之就是自变量对因变量的相关性。用feature_selection库的SelectKBest类结合卡方检验来选择特征的代码如下:

    
        from sklearn.feature_selection 
        import SelectKBest
    
        from sklearn.feature_selection import chi2
    
        #选择K个最好的特征,返回选择特征后的数据
    
        SelectKBest(chi2, k=2)
        .fit_transform(iris.data, iris.target)
    
    

    3.1.4 互信息法

    经典的互信息也是评价定性自变量对定性因变量的相关性的,互信息计算公式如下:

    为了处理定量数据,最大信息系数法被提出,使用feature_selection库的SelectKBest类结合最大信息系数法来选择特征的代码如下:

    
    
        from sklearn.feature_selection 
        import SelectKBest
    
    
        from minepy import MINE
    
        #由于MINE的设计不是函数式的,定义mic方法将其为函数式的
        #返回一个二元组,二元组的第2项设置成固定的P值0.5
         def mic(x, y):
             m = MINE()
             m.compute_score(x, y)
             return (m.mic(), 0.5)
    
        #选择K个最好的特征,返回特征选择后的数据
    
        SelectKBest(lambda X, Y: 
        array(map(lambda x:mic(x, Y), X.T)).T, k=2)
        .fit_transform(iris.data, iris.target)
    

    3.2 Wrapper

    3.2.1 递归特征消除法

    递归消除特征法使用一个基模型来进行多轮训练,每轮训练后,消除若干权值系数的特征,再基于新的特征集进行下一轮训练。使用feature_selection库的RFE类来选择特征的代码如下:

    
    
        from sklearn.feature_selection import RFE
    
        from sklearn.linear_model 
        import LogisticRegression
    
        #递归特征消除法,返回特征选择后的数据
        #参数estimator为基模型
        #参数n_features_to_select为选择的特征个数
    
        RFE(estimator=LogisticRegression(), 
        n_features_to_select=2)
        .fit_transform(iris.data, iris.target)
    

    3.3 Embedded

    3.3.1 基于惩罚项的特征选择法

    使用带惩罚项的基模型,除了筛选出特征外,同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型,来选择特征的代码如下:

    
        from sklearn.feature_selection 
        import SelectFromModel
    
        from sklearn.linear_model 
        import LogisticRegression
    
        #带L1惩罚项的逻辑回归作为基模型的特征选择
    
        SelectFromModel
        (LogisticRegression(penalty="l1", C=0.1))
        .fit_transform(iris.data, iris.target)
    

    实际上,L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个,所以没选到的特征不代表不重要。故,可结合L2惩罚项来优化。具体操作为:若一个特征在L1中的权值为1,选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合,将这一集合中的特征平分L1中的权值,故需要构建一个新的逻辑回归模型:

     from sklearn.linear_model 
        import LogisticRegression
    
        class LR(LogisticRegression):
            def __init__
            (self, threshold=0.01, dual=False, tol=1e-4, C=1.0,
                         fit_intercept=True, intercept_scaling=1, 
                         class_weight=None,
                         random_state=None, 
                         solver='liblinear', max_iter=100,
                         multi_class='ovr', verbose=0, 
                         warm_start=False, n_jobs=1):
    
                #权值相近的阈值
                self.threshold = threshold
                LogisticRegression.__init__
                (self, penalty='l1', dual=dual, tol=tol, C=C,
                         fit_intercept=fit_intercept, 
                         intercept_scaling=intercept_scaling,
                         class_weight=class_weight,
                         random_state=random_state, 
                         solver=solver, max_iter=max_iter,
                         multi_class=multi_class, verbose=verbose, 
                         warm_start=warm_start, n_jobs=n_jobs)
    
                #使用同样的参数创建L2逻辑回归
                self.l2 = LogisticRegression
                (penalty='l2', dual=dual, tol=tol, C=C, 
                fit_intercept=fit_intercept, 
                intercept_scaling=intercept_scaling, 
                class_weight = class_weight, 
                random_state=random_state, solver=solver, 
                max_iter=max_iter, multi_class=multi_class, 
                verbose=verbose, warm_start=warm_start, 
                n_jobs=n_jobs)
    
            def fit(self, X, y, sample_weight=None):
                #训练L1逻辑回归
                super(LR, self).fit(X, y, sample_weight=sample_weight)
                self.coef_old_ = self.coef_.copy()
                #训练L2逻辑回归
                self.l2.fit(X, y, sample_weight=sample_weight)
    
                cntOfRow, cntOfCol = self.coef_.shape
                #权值系数矩阵的行数对应目标值的种类数目
                for i in range(cntOfRow):
                    for j in range(cntOfCol):
                        coef = self.coef_[i][j]
                        #L1逻辑回归的权值系数不为0
                        if coef != 0:
                            idx = [j]
                            #对应在L2逻辑回归中的权值系数
                            coef1 = self.l2.coef_[i][j]
                            for k in range(cntOfCol):
                                coef2 = self.l2.coef_[i][k]
                                #在L2逻辑回归中
                               #权值系数之差小于设定的阈值
                               #且在L1中对应的权值为0
                                if abs(coef1-coef2) < self.threshold 
                               and j != k and self.coef_[i][k] == 0:
                                    idx.append(k)
                            #计算这一类特征的权值系数均值
                            mean = coef / len(idx)
                            self.coef_[i][idx] = mean
                return self
    
      
    

    使用feature_selection库的SelectFromModel类结合带L1以及L2惩罚项的逻辑回归模型,来选择特征的代码如下:

        from sklearn.feature_selection 
        import SelectFromModel
    
        #带L1和L2惩罚项的逻辑回归作为基模型的特征选择
        #参数threshold为权值系数之差的阈值
    
        SelectFromModel(LR(threshold=0.5, C=0.1))
        .fit_transform(iris.data, iris.target)
    

    3.3.2 基于树模型的特征选择法
    树模型中GBDT也可用来作为基模型进行特征选择,使用feature_selection库的SelectFromModel类结合GBDT模型,来选择特征的代码如下:

        from sklearn.feature_selection 
        import SelectFromModel
    
        from sklearn.ensemble 
        import GradientBoostingClassifier
    
        #GBDT作为基模型的特征选择
    
        SelectFromModel(GradientBoostingClassifier())
        .fit_transform(iris.data, iris.target)

    4 降维

    当特征选择完成后,可以直接训练模型了,但是可能由于特征矩阵过大,导致计算量大,训练时间长的问题,因此降低特征矩阵维度也是必不可少的。常见的降维方法除了以上提到的基于L1惩罚项的模型以外,另外还有主成分分析法(PCA)和线性判别分析(LDA),线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点,其本质是要将原始的样本映射到维度更低的样本空间中,但是PCA和LDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而LDA是为了让映射后的样本有最好的分类性能。所以说PCA是一种无监督的降维方法,而LDA是一种有监督的降维方法。

    4.1 主成分分析法(PCA)

    使用decomposition库的PCA类选择特征的代码如下:

        from sklearn.decomposition import PCA
    
        #主成分分析法,返回降维后的数据
        #参数n_components为主成分数目
        PCA(n_components=2).fit_transform(iris.data)

    4.2 线性判别分析法(LDA)

    使用lda库的LDA类选择特征的代码如下:

    
        from sklearn.lda import LDA
    
        #线性判别分析法,返回降维后的数据
        #参数n_components为降维后的维数
    
        LDA(n_components=2)
        .fit_transform(iris.data, iris.target)
    
    

    5 总结

    再让我们回归一下本文开始的特征工程的思维导图,我们可以使用sklearn完成几乎所有特征处理的工作,而且不管是数据预处理,还是特征选择,抑或降维,它们都是通过某个类的方法fit_transform完成的,fit_transform要不只带一个参数:特征矩阵,要不带两个参数:特征矩阵加目标向量。

    展开全文
  • python算法有哪些特征

    千次阅读 2018-06-01 18:38:23
    算法指解题方案的准确而完整的描述,一系列解决问题的清晰指令...算法Python开发中重要知识技能,不可避免的要使用到该技能,那么,Python算法有什么特点呢?一个Python算法应该具有以下七个重要的特征:1. 有...
  • 今天带来一篇人脸识别中的颜值打分技术,所谓“颜值”,基于什么标准来评判高低呢?既然个“数值”,那到底能不能“测量”一下? ...【1】“平均脸” 的思想通过算法检测特征点,然后将人脸...
  • 什么是特征工程1.定义2.目的二.常用方法1. 时间戳处理2. 分解类别属性3. 分箱/分区4. 交叉特征5. 特征选择6. 特征缩放7. 特征提取 一.什么是特征工程 1.定义 本质上来说,呈现给算法的数据应该能拥有基本数据的相关...
  • 1.Object对象有哪些方法? 下面,总结一下hashCode()方法和equals()方法。 2.hashCode方法 2.1.什么是hashCode? 1、hashCode(散列码)是JDK根据对象的地址或者字符串或者数字算出来的int类型的数值,也就是哈希...
  • 导读:Paxos(分布式一致性算法)作为分布式系统的基石,一直都计算机系统工程领域的热门话题。...X-Paxos具体又有哪些优势,能给现有的系统带来什么收益呢?背景分布式一致性算法(Consensus Algorit...
  • 基础:决策树 面试问题:决策树面试问题 补充: 6. ID3和C4.5有什么区别?...7.请谈一谈决策树剪枝有哪些方法? Ans:剪枝的作用为了防止决策树过拟合,有两种思路:预剪枝(Pre-Pruning)和后剪枝(Post-Prun...
  • 阿里一面、二面路过,,口水都说干了。...2、SVM有哪些优势,(x,y,z)三个特征如何用径向基核函数抽取第四维特征,这题想了好久。。好难啊。。 3,推荐有什么算法,,你项目中用到什么算法。。 4,
  • 【JVM】垃圾回收算法有哪些? 59 引用计数法(Reference Counting Collector) 59 tracing算法(Tracing Collector) 61 compacting算法(Compacting Collector) 61 copying算法(Coping Collector) 61 generation算法...
  • 聚类(clustering)算法是一种无监督方法,无因变量或者目标变量: 核心就一句话: 物以类聚,人以群分 企业在进行客户分析时,往往希望通过了解不同的客户具有什么不同的特征来实现以下三种目的: 精细营销活动...
  • 如果特征本身存在问题或者特征之间相关性较强,对于算法学习预测会影响较大 1.2 降维的两种方式 特征选择 主成分分析(可以理解一种特征提取的方式) 2、特征选择 2.1 定义 数据中包含冗余或无关
  • 下面要给大家带来的一个小伙伴2020年的百度java一面面经,内容包括了具体的java面试题,下面一起来看看2020年的百度java面试题都有哪些吧!自我介绍面试题(一面)项目一、项目介绍,说一下项目的亮点二、面向对象的...
  • 这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质一项工程活动,目的最大限度地从原始数据中提取特征以供算法和模型...
  • 自我介绍 都了解哪些机器学习算法,简单介绍。逻辑回归、聚类、决策树 线性回归和逻辑回归的区别 ...什么是IoU,表达式,算法怎么实现 有哪些分类指标 怎么扩大感受野 过拟合和欠拟合是什么,怎么改善 ...
  • 脑电数据的特征提取算法详解

    千次阅读 2020-11-27 11:33:20
    在做的过程中,有哪些难点,作者如何解决的 作者得到的每一张图、每一张表、每一个结果,都说明了什么问题 1 傅里叶变换 1 为什么进行傅里叶变换? 2 输入是什么?输出是什么? 3 傅里叶变换在计算机...
  • 特征选择与特征提取(降维)相同点与不同点特征选择过滤型(Filter)包裹型(Wrapper)嵌入型(Embedded)特征提取(降维)文本表示模型问题:问题:有哪些文本表示模型?他们各自有什么优缺点?Word2Vec问题:Word2...
  • 三新书来袭,业界首次深入全面讲解深度学习人脸图像算法​mp.weixin.qq.com文/编辑 | 言三人脸图像属于最早被研究的一类图像,也计算机视觉领域中应用最广泛的一类图像,可以说掌握好人脸算法,基本就玩转了...
  • 降维算法 LDA & PCA

    2019-03-12 15:55:53
    降维算法有哪些 各自怎么实现降维的 降维算法,是为了使庞大的数据,多个特征,在之后能得到更好的处理效果,如分类,进行尽量保持原有信息的数据的压缩同时提高数据的处理效率。 降维算法中有两种,LDA 线性...
  • 8、分类算法有哪些? 9、决策树算法 10、贝叶斯分类算法 11、SVM 12、线性回顾,梯度下降法 13、K-means算法 14、性能指标:准确率,精准率,召回率,F1,PR曲线,宏平均,微平均 15、什么是人工神经网络,及其基本...
  • 归一化化定义:我这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化为了后面数据处理的方便,其次保正程序运行时收敛加快。所谓特征归一化,就是...
  • 统治世界的十大算法

    2020-07-27 12:04:25
    什么是算法? 通俗而言,算法是一个定义明确的计算过程,可以一些值或一组值作为输入并产生一些值或一组值作为输出。因此算法就是将输入转为输出的一系列计算步骤。 —Thomas H. Cormen,Chales E. Leiserson...
  • 中午约的视频面,大概的流程这样: (1)先写一道算法题,再做自我介绍,面试官挑着项目问,其中问到了LR,RandomForest,GBDT这些算法,要求对...(3)最后问了一个CTR的场景题,用什么模型,要哪些特征,怎么处理
  • 可是,你能够如数家珍地说出所有常用的分类算法,以及他们的特征、优缺点吗?比如说,你可以快速地回答下面的问题么: KNN算法的优缺点是什么? Naive Bayes算法的基本假设是什么? entropy loss如何定义的? ...
  • 有哪些文本表示模型? 它们各有什么优缺点? 四、word2vev 1. Word2Vec如何工作的? 2. Word2Vec和LDA有什么区别与联系? 五、常见的特征选择分类 1. Filter方法 2. Wrapper方法 3....
  • 可是,你能够如数家珍地说出所有常用的分类算法,以及他们的特征、优缺点吗?比如说,你可以快速地回答下面的问题么: KNN算法的优缺点是什么? Naive Bayes算法的基本假设是什么? entropy loss如何定义的? ...

空空如也

空空如也

1 2 3 4 5 ... 13
收藏数 259
精华内容 103
关键字:

什么是算法,算法有哪些特征