很多小伙伴都知道我们常用的电话线是2芯线，铜缆网线是4/8芯线。因为大部分都是个人家庭或办公等场景使用，一部电话一条电话线，一台电脑使用一条网线或者是无线网卡。
大家有没有想过一整栋办公楼或小区，甚至一个市区的电话线是什么样的？必然不可能是有多少台设备就有多少根电缆了。
电话线一般只需要2根导体，那么网线来当电话线用的话就可以当成4条电话线。如果有更多需求呢？自然就有了多组导体组成的大对数通信电缆(话缆)了。我们今天主要讨论大对数话缆中这么多组规格一样的导体线芯是怎么区分的。
大对数话缆也跟网线一样是双绞线，因此线缆线序同样通过颜色区分。大对数话缆有5中基本色：白、红、黑、黄、紫，另外还有5种副颜色作为线顺序区分：蓝、橙、绿、棕、灰(类似与网线种的双色线芯)，这样主副色线芯就可以组成25对双绞线，即：
白蓝，白橙，白绿，白棕，白灰 红蓝，红橙，红绿，红棕，红灰 黑蓝，黑橙，黑绿，黑棕，黑灰，紫蓝，紫橙，紫绿，紫棕，紫灰 黄蓝，黄橙，黄绿，黄棕，黄灰
大对数电缆(Multipairs Cable)中的大对数即多对数的意思，就是指很多一对一对的电缆组成一小捆，再由很多小捆组成一大捆(更大对数的电缆则再由一大捆一大捆组成一根更大的电缆)。
由此大对数话缆的说明我们就能想到它是怎么构成的了：由基本色和副色组成的25对双绞线作为一个基本单元，然后多个基本单元由不同色标的色谱扎带缠绕起来，以便区分，这么及时数百对的大对数话缆线芯也不会搞错了。
色谱带颜色为：蓝白、橙白、绿白、棕白、灰白、蓝红、橙红、绿红。这样我们就可以通过色谱标示的方法把数百根线芯进行唯一标示 了，这样，就是再多线也不会乱。
大对数话缆一般通过打配线架，然后连接设备，大对数话缆打线跟网线打线类似，只是大对数话缆因为线芯较多，用专门的打线工具可以一次压接多组线：

我总是告诉学生，采用自然对数来转换变量的三个原因。记录变量的原因将决定您是要记录独立变量还是因变量或两者。为了清楚起见，我正在谈论采用自然对数。
首先，如其他海报所指出的那样，提高模型拟合度。例如，如果您的残差不是正态分布的，那么采用偏斜变量的对数可以通过更改比例并使变量更“呈正态”分布来改善拟合。例如，收入被截断为零，并且经常表现出正偏斜。如果变量具有负偏斜，则可以先取变量，然后再取对数。我在这里特别考虑的是作为连续变量输入的李克特量表。虽然这通常适用于因变量，但您有时会遇到因自变量引起的残差(例如，异方差)问题，有时可以通过取该变量的对数来进行校正。例如，当运行一个模型来解释一组讲师的讲师评估并与班级进行协变量时，变量“班级规模”(即讲课的学生人数)的异常值会导致异方差，因为讲师评估中的方差较小，而较大队列比较小的队列。记录学生变量将有所帮助，尽管在此示例中，计算稳健标准误差或使用加权最小二乘可能会使解释更容易。
在模型中记录一个或多个变量的第二个原因是为了解释。我称此为便利原因。如果同时记录因变量(Y)和自变量(X)，则回归系数()将具有弹性，解释将如下所示：X增加1％将导致ceteris paribus％ Y的增加(平均)。仅记录回归“方程式”的一侧将导致如下所述的其他解释：βββ ββ
Y和X-X的单位增加将导致增加/减少ββ
对数Y和对数X-X增加1％将导致％增加/减少Yββ
对数Y和X-X增加一个单位将导致％增加/减少β∗100β∗100
Y和Log X-X增加1％将导致增加/减少β/100β/100
最后，这样做可能有理论上的原因。例如，我们要估计的一些模型是可乘的，因此是非线性的。采用对数可以通过线性回归估计这些模型。很好的例子包括经济学中的Cobb-Douglas生产函数和教育中的Mincer方程。Cobb-Douglas生产函数解释了如何将输入转换为输出：
Y=ALαKβY=ALαKβ
哪里
YY是某个实体(例如公司，农场等)的总生产或产出。
AA是总要素生产率(不是由投入(例如，技术变化或天气)引起的输出变化)
LL是劳动投入
KK是资本投入
βαα＆是输出弹性。ββ
取这个的对数可以使函数易于使用OLS线性回归估算，如下所示：
log(Y)=log(A)+αlog(L)+βlog(K)log⁡(Y)=log⁡(A)+αlog⁡(L)+βlog⁡(K)

	

0x00 前言 
在上一篇文章介绍了逻辑回归的模型，并详细讲了其推导过程。为了加深印象，在这篇文章中从对数几率的角度再次探索逻辑回归的推导过程，看看逻辑回归为什么要使用sigmoid函数作为假设。
逻辑回归损失函数的推导，也是面试时经常被问到的一个点，我们也从两个角度去学习其损失函数的推导过程。然后再计算损失函数的导数。
0x01 从对数几率看逻辑回归 
1.1 推导过程
一句话总结逻辑回归：
逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。
逻辑回归是一个非线性模型，但是是其背后是以线性回归为理论支撑的。
提出一个与线性模型长相类似但不同的新公式：假设特征X所对应的y值是在指数上变化，那么就可以将结果y值取对数，作为其线性模型逼近的目标。也就是所谓的“对数线性回归”：
在“对数线性回归”的公式中，可以改写为 。实际上是在求输入空间X到输出空间y的非线性函数映射。对数函数的作用是将线性回归模型的预测值与真实标记联系起来。
因此可以得到一个一般意义上的单调可微的“联系函数”：。其本质就是给原来线性变换加上一个非线性变换(或者说映射)，使得模拟的函数有非线性的属性，但本质上调参还是线性的，主体是内部线性的调参。
那么对于解决分类问题的逻辑回归来说，我们需要找到一个“联系函数”，将线性回归模型的预测值与真实标记联系起来。
将“概率”转换为“分类”的工具是“阶梯函数”：
但是这个阶梯函数不连续，不能作为“联系函数”g，因此使用对数几率函数来在一定程度上近似阶梯函数，将线性回归模型的预测值转化为分类所对应的概率。
如果另y为正例，1-y为负例，所谓的“几率”就是二者的比值。几率反映了样本x为正例的相对可能性。
“对数几率”就是对几率取对数，对数几率实际上就是之前提到的sigmoid函数，将线性模型转化为分类。
如果令 ，。带入到对数几率中。
可以看出，sigmoid实际上就是用线性回归模型的预测结果取逼近真实值的对数几率，因此逻辑回归也被称为“对数几率回归”。
1.2 面试问题
在有上述的推导之后，再看一个面试问题：
为什么要使用sigmoid函数作为假设？
现在就可以回答了：
因为线性回归模型的预测值为实数，而样本的类标记为(0,1)，我们需要将分类任务的真实标记y与线性回归模型的预测值联系起来，也就是找到广义线性模型中的联系函数。如果选择单位阶跃函数的话，它是不连续的不可微。而如果选择sigmoid函数，它是连续的，而且能够将z转化为一个接近0或1的值。
0x02 逻辑回归的损失函数 
2.1 损失函数推导过程
已经知道逻辑回归的模型：
那么，如何求出未知参数呢？
首先回顾一下线性回归。在线性回归中，做法如下：
由于已知  是估计值，于是用估计值与真值的差来度量模型的好坏。使用MSE(差值的平方和再平均)作为损失函数。然后就可以通过导数求极值的方法，找到令损失函数最小的了。
那么在逻辑回归中，解决思路也大致类似。
逻辑回归和线性回归最大的区别就是：逻辑回归解决的是分类问题，得到的y要么是1，要么是0。而我们估计出来的p是概率，通过概率决定估计出来的p到底是1还是0。因此，也可以将损失函数分成两类：
如果给定样本的真实类别y=1，则估计出来的概率p越小，损失函数越大(估计错误)
如果给定样本的真实类别y=0，则估计出来的概率p越大，损失函数越大(估计错误)
那么将用什么样的函数表示这两种情况呢，可以使用如下函数：
分析上面的公式：
当y=1时，损失函数为。特点是：越趋于0，损失(loss)越大；越趋于1，损失(loss)越小。
分析如下： 是一个单调递减函数，且概率p的值域只能是[0,1]之间，因此只有函数的上半部分。我们看到当概率p取0(即预估的分类结果y=0)时，loss值是趋近于正无穷的，表明我们分错了(实际分类结果是1)。
当y=0时，损失函数为。特点是：越趋于1，损失(loss)越大；越趋于0，损失(loss)越小。
分析如下： 是一个单调递减函数，且概率p的值域只能是[0,1]之间，因此只有函数的上半部分。我们看到当概率p取1(即预估的分类结果y=1)时，loss值是趋近于正无穷的，表明我们分错了(实际分类结果是0)。
由于模型是个二分类问题，分类结果y非0即1，因此我们可以使用一个巧妙的方法，通过控制系数的方式，将上面的两个式子合并成一个：
以上是对于单个样本的误差值，那么求整个集合内的损失可以取平均值：
然后，我们将  替换成sigmoid函数，得到逻辑回归的损失函数如下：
2.2 另一种推导方式
我们已经知道了逻辑损失函数的推导过程，但是就像在数学课上老师在黑板中写下的解题过程一样，我们费解的是“这个思路究竟是怎么来的”？
逻辑回归的损失函数当然不是凭空出现的，而是根据逻辑回归本身式子中系数的最大似然估计推导而来的。
最大似然估计就是通过已知结果去反推最大概率导致该结果的参数。极大似然估计是概率论在统计学中的应用，它提供了一种给定观察数据来评估模型参数的方法，即 “模型已定，参数未知”，通过若干次试验，观察其结果，利用实验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
逻辑回归是一种监督式学习，是有训练标签的，就是有已知结果的，从这个已知结果入手，去推导能获得最大概率的结果参数，只要我们得出了这个参数，那我们的模型就自然可以很准确的预测未知的数据了。
令逻辑回归的模型为，则可以将其视为类1的后验概率，所以有：
以上两个式子，可以改写为一般形式：
因此根据最大似然估计，可以得到：
为了简化计算，取对数将得到：
我们希望极大似然越大越好，就是说，对于给定样本数量m，希望越小越好，得到逻辑回归的损失函数如下：
所以说逻辑回归的损失函数不是定义出来的，而是根据最大似然估计推导出来的。
下面的目标就是：找到一组参数，使得损失函数达到最小值。
这个损失函数是没有标准方程解的，因此在实际的优化中，我们往往直接使用梯度下降法来不断逼近最优解。
0x03 损失函数的梯度 
对于损失函数：
使用梯度下降法，就要求出梯度，对每一个向量中每一个参数，都求出对应的导数：
对sigmoid函数进行求导(链式求导法则)：
然后对外层的log函数进行求导：
然后进行整理：
下面就可以对损失函数前半部分的表达式： 对进行求导了。带入上面的结果，得到：
同样地，可以对损失函数的后半部分做求导，跟上面类似。
最终求的损失函数对的导数如下，即逻辑回归的损失函数经过梯度下降法对一个参数进行求导，得到结果如下：
其中就是逻辑回归模型的预测值。
在求得对一个参数的导数之后，则可以对所有特征维度上对损失函数进行求导，得到向量化后的结果如下：
0xFF总结 
逻辑回归的原理以及损失函数的推导过程都是非常重要的知识点。大家可以从不同角度去学习其中的本质。
说了这么多的理论，下一篇可以手动实现逻辑回归算法了。

由于最近要经常用到XGBOOST的包，不免对相关的GBDT的原理又重新学习了一遍，
发现其中在考虑损失函数的时候，是以对数log进行度量的，囿于误差平方和函数的印象
那么为什么是对数呢？可能是下面的原因：
【通俗的解释】
对数损失是用于最大似然估计的。
一组参数在一堆数据下的似然值，等于每一条数据的概率之积。
而损失函数一般是每条数据的损失之和，为了把积变为和，就取了对数。
再加个负号是为了让最大似然值和最小损失对应起来。
【专业的解释】
链接：http://www.zhihu.com/question/27126057
注：似乎很有道理，大家如果觉得不对，欢迎留言讨论。
转载于:https://www.cnblogs.com/haobang008/p/5921157.html