缘起

在解决回归和分类问题的时候，一般会使用 Random Forest、GBDT、XGBoost、LightGBM 等算法，这类算法因为性能好，被业界广泛采用。突然想到树类型的算法都需要明白一个基本问题，树是如何选择特征和分裂点的？其根本要追溯到决策树的种类，每种是如何划分特征和分裂点，以及如何剪枝的。

决策树分为三类：ID3、C4.5、CART。提出时间却是 1984 年提出 CART，1986年提出的 ID3，1993 年提出的 C4.5。在介绍决策树之前需要了解一些信息论的知识，信息、熵、条件熵、信息增益。决策树中的 ID3 和 C4.5 与信息论息息相关。

 

信息论基础

信息是杂乱无章数据的一种度量方式。在分类问题中，如果待分类的事物可以划分在多个分类中，那么某个分类  的信息定义为：

其中， 是某个分类的信息； 是选择该分类的概率。

熵是信息的期望，也就是计算所有分类包含信息的期望值：

其中，H(Y) 表示分类数据集的熵。

条件熵是在特征 X 给定条件下，类别 Y 的条件概率分布的熵对特征 X 的数学期望。

其中， 表示在特征 X 下的条件熵； 表示特征下  具体特征值的条件熵； 表示 x 和 y 的联合概率分布。

在划分数据集之前之后信息发生的变化叫做信息增益，信息增益是熵的减少或者说是数据无序程度的减少。熵减去条件熵就是信息增益。

其中， 表示信息增益。

数据说明

在讲完一些信息论的基础知识的基础上，由于原始论文中公式的表示不是同一个体系，为了更加方便理解这三者，因此下文中三个算法的介绍都以下面数据集为基础。

训练数据集 , 表示训练样本总数，数据共有  个类别，类别  的样本集合分别用  表示，那么 ，如果特征A有n个不同类型的取值分别为 ，特征 A 可以将 D 划分为 n 个子集，, 为  的样本个数，并且 ，子集  属于类别  的样本集合为 , 即为子集  中属于类别  的样本集合：。用  表示  集合样本的个数。

 

ID3

4.1 算法思路

利用训练数据集 D 与特征 A 来表示信息增益的计算方式，那么需要以下几个步骤：

1）计算训练集合  的熵 ：

当 H(D) 的值越小，说明样本集合 D 的纯度就越高。

2）选择用样本的某一个特征 A 来划分样本集合 D 时，就可以得出特征 A 对样本 D 划分所带来的信息增益。特征 A 把 D 划分为 n 个子集，计算特征 A 对数据集 D 的条件熵 H(D|A):

3）计算信息增益 IG：

信息增益越大，说明用特征 A 来划分数据集 D，信息混乱程度越小。我们需要对样本的所有特征计算信息增益情况，选择信息增益大的特征来作为决策树的一个结点，或者可以说那些信息增益大的特征往往离根结点越近。

当一个特征已经作为划分的依据，在下面递归过程就不在参与了。经过根结点下面特征各个取值后样本又可以按照相应特征值进行划分，并且在当前的样本下利用剩下的特征再次计算信息增益来进一步选择划分的结点，ID3 决策树就是这样建立起来的。

4.2 决策树生成过程

大概创建分支 createBranch() 伪代码的意思如下：

检测数据集中的每个子项是否属于同一分类：

　　if so return 类标签
　　else
　　　寻找划分数据集的最好特征
　　　划分数据集
　　　创建分支节点
　　　　　　for每个划分的子集
　　　　　　　　调用函数createBranch并增加返回结果到分支节点中
　　　retrun 分支节点

 

也就是说，遍历每一个特征，遍历每一个特征值，如果计算出来信息增益最大，那么该特征就是最佳特征；接下来每个特征和特征值递归调用，构建下面的子树，再次选取特征和特征值，直到划分的子项属于同一类别或者遍历完所有特征，返回出现次数最多的类别。

4.3 示例

选用原始论文中的一个示例：

假设有两个分类，一个是 N，一个是 P，Outlook 表示天气情况，Temperature 表示气温情况，Humidity 表示湿度，Windy 表示有风，这四个作为特征，每个特征下面的离散值作为特征值。那么数据的熵 ：

在 Outlook 的值 sunny 中 P 出现了 2 次，N 出现了 3 次，因此 ，那么数据集在 sunny 下的熵表示为  同理：在 overcast 下 ；在 rain 下 。那么数据集 D 在 Outlook 特征的条件熵表示为：

 

 

那么 outlook 的信息增益表示为：

 

 

同理其他特征的信息增益结果为：

 

 

可以发现 Outlook 的信息增益最大，优先在这个特征上划分，在递归到其他特征上最终形成的决策树图如下： 

 

 

 

C4.5

 

ID3 算法中当一个特征的可取值数目较多时，而对应的特征值下面的的样本很少，这个时候它的信息增益是非常高的。ID3 会认为这个特征很适合划分，但是较多取值的特征来进行划分带来的问题是它的泛化能力比较弱，不能够对新样本进行有效的预测。为了解决这个问题，C4.5 决策树不直接使用信息增益来作为划分样本的主要依据，采用信息增益率来划分样本。

 

特征 A 对训练数据集合D的信息增益比  定义为特征 A 的信息增益 IG(D,A) 与训练数据集 D 关于特征 A 的取值熵  之比，即：

 

 

如果特征 A 有 n 个取值，则其中数据集 D 关于特征 A 的熵为：

 

 

上面的过程相当于对特征值多的特征做了一个归一化，校正信息增益容易偏向于取值较多的特征的问题。但是同样增益率对可取值数目较少的特征有所偏好，因此 C4.5 决策树先从候选划分属性中找出信息增益高于平均水平的特征，在从中选择增益率最高的。关于 C4.5 的剪枝问题，在 CART 树中一并介绍。

 

 

CART树

 

ID3 和 C4.5 需要把连续特征离散化才能在回归数据中使用（ID3 需要人工处理，C4.5 算法自带处理）；使用熵来度量信息的混乱程度还是复杂了些；最佳特征取值可以是多个，切分成复杂的多叉树。由于他们存在一些问题，下面还有一种决策树模型，CART 树。虽然 ID3 和 C4.5 存在很多问题，但是我不认为 CART 树是为了解决这些问题的，因为 CART 论文是发表的最早的，这边只是为了介绍他们对比不同。

 

CART（Classification And Regression Trees，分类回归树），采用二元切分的方法，如果数据切分特征值等于切分要求进入左子树，否则进入右子树。CART 树即可以处理分类问题，又可以处理回归问题。分类问题采用基尼系数来选择最优特征和分裂点，回归问题采用平方误差的总值（总方差）来选择最优特征和分裂点。

 

6.1 CART数据集混乱程度衡量

 

6.1.1 CART分类树

 

基尼指数是 1912 年意大利统计与社会学家 Corrado Gini 提出的。基尼系数（Gini index、Gini Coefficient）用来衡量一个国家或地区居民收入差距的指标，值越大表示收入越悬殊。在 CART 分类树中，采用基尼系数衡量数据集的不纯度（混乱程度），基尼系数越小说明数据不纯度低，特征越显著。

 

那么分类数据集 D 的基尼系数可以表示为：

 

 

在特征A下，将数据划分成两类，一类是 ，一类是 ，那么在特征 A 下的基尼系数为：

 

 

6.1.2 CART回归树

 

计算回归数据真实目标值中所有数据的均值，每条数据真实目标值减去均值。使用差值的绝对值或者差值的平方来衡量回归数据的混乱程度。若果采用差值的平方来衡量，那么就是平方误差的总值（总方差）。

 

6.2 树的生成过程

 

函数 createTree() 的伪代码大致如下：

 

找到最佳的待切分特征：    
　　如果该节点不能再分，将该节点存为叶节点    
　　执行二元切分    
　　在右子树调用createTree()方法    
　　在左子树调用createTree()方法    

那么如何找到最佳的待切分特征和特征值呢？   

每个特征：    
　　每个特征值：    
　　　　将数据切分成两份    
　　　　计算切分的误差    
　　　　如果当前误差小于当前最小误差，那么将当前切分设定为最佳切分并更新最小误差    
返回最佳切分的特征和特征值

 

如果是分类树，那么误差指的的基尼系数，如果是回归树，误差值的是总方差。节点不能再分有两种情况：一是切分后的数据真实目标值为同一个，那么此时叶节点就是当前值；二是预剪枝切分后的样本很少或者迭代时总误差下降不满足阈值，此时用切分后的数据真实值的平均值作为叶节点。

 

6.3 树的剪枝

 

树的剪枝分为预剪枝和后剪枝，一般为了寻求模型的最佳效果可以同时使用两种剪枝技术。

预剪枝过程相对简单，在生成树的过程中，如果某个特征和特征值切分的样本小于最小样本数或迭代误差下降值小于设置的最小下降值，就停止切分。预剪枝可以降低过拟合的风险并减少决策树的训练时间，但是也会带来欠拟合的问题。

 

下面重点讲后剪枝，训练集训练一个决策树。在验证集上，对于一颗子树 ，其损失函数为：

 

 

其中， 为正则化参数， 为验证集的预测误差， 是子树 T 叶节点的数量。

 

如果将 T 的子树减掉，那么损失函数为：

 

 

如果剪枝后损失函数变小，或者损失函数相等但是叶节点的数量变少，这两种情况都满足剪枝条件，具体后剪枝过程如下：

 

基于已有的树切分验证集数据：
　　如果存在任一子集是一棵树，则在该子集递归剪枝过程
　　计算将当前两个叶节点合并后的误差
　　计算不合并的误差
　　如果合并会降低误差的话，就将叶节点合并

 

 

决策树算法小结

 

 

在样本量比较小的情况下建议使用 C4.5，大样本的情况下使用 CART。C4.5 需要对数据进行多次排序，处理成本耗时较高；CART 树是一种大样本的统计方法，小样本处理下泛化误差较大。

目前这三种算法都是一棵树中的特征来决定最后的结果，后来发展成一组树来决定最后的结果。如果这些树是并行投票，就是每个树的投票权重相同，形成了 bagging 类的算法，最有代表性的是 Random Forest；如果这些树是串行投票，每个树的投票权重不同，通过拟合残差的方式，形成了 boosting 类的算法，最有代表性的是 GBDT、XGBoost、LightGBM。

 

参考文献

 

[1] Leo Breiman, Jerome H. Friedman, Richard A. Olshen, Charles J. Stone.(1984).
[2] Classification And Regression Trees Quinlan1986_Article_InductionOfDecisionTrees
[3] C4.5: by J. Ross Quinlan. Inc., 1993. Programs for Machine Learning Morgan Kaufmann Publishers
[4]《机器学习实战》
[5] https://www.cnblogs.com/pinard/p/6053344.html
[6] 周志华西瓜书《机器学习》

目录

Homogeneous

Heterogeneous

写在最后

---

 

上一篇博文已经简单的介绍了元件库是如何创建的，并且了解了arCAD Capture CIS的一些最基本的操作。

下面这篇博文继续沿着上面的说，我们开始画分裂元件的元件库。

所谓的分裂元件，通俗地说就是同一个元件，分为几块画出来，最典型的就是FPGA，由于FPGA引脚众多，不可能在一块封装上画完，必须分为多个部分画出来。

这篇博文呢？不讲FPGA，以一个运放为例，来记录下分裂元件的原理图库制作方法。

假设画如下元件的Package，下面的这个图来自于数据手册，以后无论是什么元件或者芯片，当你画它的封装的时候，都需要参考数据手册：

从上图可以看出，A和B为两个运算放大器，分别有三个独立的管脚和两个公用的管脚，且管脚编号都已给出。

建立工程我就不说了，就沿着上篇博文建立的工程来操作。

可见，上图中有一个选项叫做：Homogeneous以及heterogeneous，什么意思呢？

---

Homogeneous

翻译起来不是太好翻译，通俗的说吧，如果分裂元件的几个部分都是同样的类型，如这篇博文我们要画的分裂元件，两部分都是运算放大器，固可以使用Homogeneous类型；

在操作上，homogeneous类型，只需画出元件的一部分，其他页自动生成。

我们通过实际操作体会一下：

如下图，已经画出了分裂元件的一部分，那该画另一部分了：

通过快捷键Ctrl + B，进入下一部分画框：

可见，默认另一部分已经存在，且上上一部分相同，知识管脚编号没有给出，需要自己给出，我们根据数据手册，调整下管脚：

管脚可以重复（上下部分的电源管脚V-以及V+可以重复给出）。

这种简单的元件，容易区分管脚，所以我们可以隐藏一下：

看下效果：

干净，整洁多了。

这里整理一下快捷键，Ctrl + N，下一部分；

Ctrl + B，上一部分。

这些其实都在View里面，我们还可以将分裂元件的几部分一同显示来看：

View ， Package ：

---

Heterogeneous

那Heterogeneous呢？

heterogeneous：各个部分的元器件不同，每一个part都需画出。

在操作中，我们先画出了一部分，另一部分不会自动画出，需要自己重新设计。

如下图我们画出其中一部分：

Ctrl + N，画出下一部分：

由于是Heterogeneous类型，所以上下部分共同的部分，可以不用画出来了。

---

预告：

这篇博文到此也就结束了，Heterogeneous类型的分裂元件，在画法上不仅不同，而且在用法上，相对于Homogeneous，也略微复杂一点，下篇博文见。

写在最后

在今年的秋招一开始，我就建立了一个微信群，在CSDN发布了一条博文，召集全国各地的同行朋友们共同加入，共同讨论秋招求职笔试，面试经验，目前已经有300多人加入，各位才华横溢，让我大开眼界。

到今天11月份，从西北地区最早结束到其他各地陆续结束，但是我们曾开玩笑说，本群继续召集下一届同行，作为先行者的我们也会对你们给予应有的帮助，欢迎加入，到你们晒工资的时候，会不会再次把我们倒挂呢？拭目以待。

由于人数较多，所以加我的时候务必备注：CSDN+地区或学校+职位（意向职位）+昵称。

我的微信号是：ljs521615
 

 

 

​《本文同步发布于“脑之说”微信公众号，欢迎搜索关注~~》

“我周围的每样东西看起来都很恐怖，周围的人们看起来不再正常，而是一个个带有黑色轮廓和发亮的眼睛的恶魔。我无法十分专注地和你交流，因为似乎所有其他即使我不想感兴趣的事情也会吸引我的注意力，当我们交谈时，我会不由自主地被隔壁房间和走廊里的声音所吸引，我控制不住我的注意力，这使得我无法注意我在对你说什么或你对我说了些什么。”一位精神分裂患者的自述。

英国画家路易斯·韦恩（1860-1939）以画猫而著称，不幸的是他晚年罹患精神分裂症，但是疾病并没有阻止他继续作画。我们来看下韦恩从正常到精神分裂不同阶段所画的猫吧。

这是患病前韦恩画的可爱的猫（图1）：

图1

（来源：https://www.schizlife.com/louis-wains-schizophrenic-cats/）

图2是随着疾病程度的不断加深，易斯·韦恩在不同时期所画的猫（从左到右，从上到下），是不是所画的猫越来越恐怖，越来越抽象了呢：

图2

（来源：https://www.schizlife.com/louis-wains-schizophrenic-cats/）

听了上述精神分裂症患者的自述，以及看了患有精神分裂症的画家韦恩不同时期所画的猫，我们似乎能够直观地感受到精神分裂症患者内心的痛苦与煎熬。那么精神分裂症到底是一种什么病呢？接下来，我们一起来了解一下这个“可怕”而又像谜一样的疾病。

什么是精神分裂症，它有哪些症状？

简单地说，精神分裂症是一种非常严重的精神疾病，其临床症状大概可以分为3类，即阳性症状、阴性症状和认知功能障碍。所谓的阳性症状主要包括幻觉和妄想。幻觉就是患者感受到了本来不存在的东西，比如说，患者会听到周围的人都在说他的坏话，这就是幻听症状；除了幻听，还有些病人会有幻视、幻触觉等。那什么是妄想呢，比如说，患者会自认为是一个非常有名大人物，如电影明星，甚至有些患者会自认为自己是上帝。

所谓的阴性症状主要表现为情感上的冷淡，对很多事没有热情和积极性。而认知功能障碍主要表现为记忆障碍、注意力障碍和执行功能障碍等。在本文开头，患者自述到“当我们交谈时，我会不由自主地被隔壁房间和走廊里的声音所吸引，我控制不住我的注意力，这使得我无法注意我在对你说什么或你对我说了些什么”，这就是注意力障碍的典型表现。

是哪位大侠给精神分裂这种疾病起了个“精神分裂症(Schizophrenia)”的名字？

就是下面这位帅哥——厄根 布洛伊勒（Eugen Bleuler, 1857–1939）。布洛伊勒是瑞士著名的精神病学家，于1911年发表专著第一次使用“精神分裂症”一词来描述精神分裂这种疾病[1]。那在此之前，专家们给精神分裂这种疾病起的什么名字呢？你还真有可能想不到，那时候专家们称这种疾病为dementia praecox，翻译成中文是早发性痴呆（现在看来，痴呆和精神分裂症是两种很不同的疾病哈）。

图3 （来源：Wiki百科）

哪些人更容易患精神分裂症？

精神分裂症是谜一样的疾病，主要是因为时至今日科学家还没有完全弄明白精神分裂的发病机制，但似乎遗传因素在精神分裂症的发生过程中占有重要作用。今天我们就来说说这个遗传因素。

研究表明，如果小明的叔叔、舅舅或姨得了精神分裂，小明患病的概率约为3%；

若小明的爷爷或奶奶患有精神分裂症，那么小明患精神分裂的概率约为4%；

如果小明的兄弟或者姐妹患有精神分裂，那么他同样患精神分裂的概率达到10%；

如果小明的异卵双胞胎兄弟/姐妹患有精神分裂，那么小明患病的概率也是接近10%；

若小明的父母有一个患病，那么小明患病率达到13%；

如果父母双方都患有精神分裂，那么小明患病率接近50%；

如果小明的同卵双胞胎兄弟/姐妹患有精神分裂，那么小明患病的概率也高达50%。

哪些地区的人更容易患精神分裂症？

根据2018年的一项最新研究[2]，2016年精神分裂症点患病率（point prevalence rate）约为0.28%，据估计全球约有2100万人患有精神分裂症（估计不止吧），而1990年精神分裂症患者的数目仅为1310万。不同地区和国家的点患病率如图4所示，从图中可以看出，中国大陆地区的精神分裂症点患病率似乎最高，达到0.42%。此外，荷兰在整个西欧地区表现出很高的患病率（达到0.36%）。图5表示不同国家和地区在1990年和2016年报道的精神分裂症流行病例（prevalence cases），东亚和南亚地区的数量最多，2016年分别达到约720万和400万，而大洋洲的最少，约2.8万人，撒哈拉以南地区患者总数约130万。

图4 （来源：文献2）

图5（来源：文献2）

在哪个年龄精神分裂症发病的概率最大？

精神分裂症的发病年龄似乎具有选择性，研究表明[3]，大部分的精神分裂症患者的发病时间都在他们十几到二十几岁之间，如图6所示。所以说，青少年时期，不仅是学习的好时候，也是预防精神分裂症的关键时期呀。

图6 （来源：文献3）

参考资料：

[1] Bleuler, E., 1911. Dementia praecox oder Gruppe der Schizophrenien. In: Aschaffenburg, G. (Ed.), Handbuch der Psychiatrie. Spezieller Teil, 4. Abteilung, 1. Hälfte Deuticke, Leipzig

[2] Charlson F J , Ferrari A J , Santomauro D F , et al. Global Epidemiology and Burden of Schizophrenia: Findings From the Global Burden of Disease Study 2016[J]. Schizophr Bull, 2018.

[3] Castle DJ and Murray RM, The epidemiology of late onset schizophrenia, Schizophrenia Bulletin, 1993, 19 (4),691-700

注：解读不易，请多多转发支持，您的每一次转发是对我们最好的支持！本文原文及附加材料，请添加赵老师微信索要（微信号：15560177218）