接上篇《初等数学复习之方程和方程组》，二倍角公式，听着耳熟，但已经忘干净了。
 
基本初等函数：常值函数、指数函数、三角函数、幂函数、反函数、对数函数 （记忆为 常   指三  幂反对）
 
常值函数，这个就不说了，基本上就是平行于x轴或y轴的直线。
 
 
 
指数函数：底数是常量，指数是变量
 
形如　 底数
 
性质：都通过（0，1）这一点，并且所有指数函数值都是大于0的。
 
　　当时，函数单调增加；

 　　        当时，函数单调减少；
 
不用记，只要脑补一下，类似的图形就可以了
 
 
 特殊的指数写法：
 
；；
 
指数的运算法则：
 
     
 
　
 
　
 
  
 
 
 
三角函数：
 
正弦函数：
 
 
　　性质：
 　　1.正弦函数的有界性，绝对值小于等于1
 　　2.正弦函数具有周期性，最小正周期为2π
 　　3.正弦函数关于原点对称，是奇函数（关于原点对称）
 
余弦函数；
 
 
性质：前两个与正弦函数一样
 
3.余弦函数关于y轴对称，是偶函数（关于y轴对称）
 
正弦与余弦定义域都是全体实数。
 
正切函数：tanθ=sinθ/cosθ
 
 
　　1.正切函数是无界的（如π/2左边是趋于正无穷，在右边是趋于负无穷）
 　　2.正切函数具有周期性，最小正周期为π
 　　3.正切函数是奇函数
 
 
这里要明白，不等于的含义，这些不等于的点都是取不到的，举个例子。可以从图形上看到，tanx只是无限接近于π/2，所以这个点是取不到的。
 
余切函数：
 
 
性质：与正切一样。它的定义域是除kπ以外的点。
 
 
 
 
 
三角函数的恒等式（三角公式）与积分公式一样，多看看
 
 
　　同角三角函数基本关系式
　　（1）倒数关系：
　　
　　（2）商的关系
 　　切化弦公式
 
　　（3）平方关系
 　　  （三角恒等式） 
 
两角和的正弦和余弦公式
　　
　　
　　
　　
 
两角差的正弦和余弦公式
　　
 　　
 
　
　　
 
　倍角公式
　　
 
        
 
降幂公式，很重要。
　　          
 
积化和差公式
 
          　    
 
　                    
 
注：与和差化积对应，一般记一种就可以，如何推导的呢？？？？看下面的口决中后面的部分就可以了，如：a=(a+b)/2+(a-b)/2   b=(a+b)/2-(a-b)/2,个人觉得记下面的好算，有用。
 
 
 
 
特殊角的三角函数值：
 
 
 
 
幂函数：底数是变量，指数是常量
 
形如的函数为幂函数。
 
性质： 
 
为正整数时，幂函数的定义域是
 
为负整数时，幂函数的定义域是：除0以外的所有实数
 
对任意实数，曲线都通过平面上的点（1，1）
 
从图形到性质：重点：
  
 
遇到应该分步进行，不能想当然的写成是.
 
第一步：先求根号x的分式表示，
 
第二步，再将其看作整体，求的分式表示，.
 
 
 
反三角函数：
 
arcsinx含义：给定一个正弦值就是反求角度。这个角范围是[-π/2 ,π/2]。sin(arcsinx)=x;//最后这一点的理解，x是代表一个正弦值。x∈[-1,1]。
 
arccosx含义：给定一个余弦值就是反求角度。这个角范围是[0 ,π]。cos(arccosx)=x;//x∈[-1,1]。
 
arctanx：其他同理，角范围是[-π/2 ,π/2]。正切值范围x∈R
 
arccotx: 其他同理，角范围是[0 ,π]，余切值范围x∈R
 
对数函数：指数函数的反函数。
 
 
表示 a的多少次方=x,实际就是求多少次方。对数函数的定义域是（0，+∞），都通过（1，0）点。
 
y=lgx：表示的是以10为底的对数
 
y=lnx：表示的是以e为底的对数。
 
 
 
　对数函数有下列性质：设a，b，c，x，y为任意正数，（a≠1，c≠1），α为任意实数，
 　　
 　　（1）；（c≠1）换底公式
　　（2）；
 
　　（3）；
 　　（4）
　　（5）
 
幂指函数：底数与指数都是变量
 
形如
 
化简：lny=ln=g(x) lnf(x)
 
y=e^(g(x)lnf(x);//主要掌握这种变形的方法

----------------------------------------
 author: hjjdebug
 date:   2016年 01月 18日 星期一 21:36:50 CST
 article: 初等数学概论
 ----------------------------------------
 记得高中的哲学书上说的， 真理是相对的,没有永恒，绝对的真理。
 而我们这里讨论的数学，却是永恒绝对的真理。 放之四海而皆准的，所以你值得花时间去研究它，掌握它。
 数域的发展，从自然数经负数，分数到有理数,有理数经无理数到实数，实数经虚数到复数的过程。
 在复数范围，仍然满足加法交换率，乘法交换率，乘法对加法的结合率公式。

 虚数的引入，是为了满足n次方程应该有n个根问题。解决什么数的平方等于-1的问题。
 在我们真实的三维空间里，平面几何，立体几何，物体长度是没有虚数这个概念的。
 关于虚数的用途，在适当的时候再给出。通常所指的数，还是先局限于实数容易理解。

 ----------------------------------------
 代数:
 ----------------------------------------
 数学研究的命题是什么？
 它首先研究的是数，
 一个实数，在数轴上占据一个位置，两个数，就可以比较大小。可以相加，相减，相乘，
 相除，一个数作为另一个数的指数，以另一个数为底以自己为真数求对数。
 把自己做为一个角度(弧度)求三角函数或者其逆运算。 这就是初等数学的研究范畴。

 加法交换率，乘法交换率，我从来都没有怀疑过，它特别的简单，而且我们就是这么算数的。
 它反映的是数的运算，是与先后无关的，是与时间无关的，与地点无关的。
 但乘法对加法的交换率，我就很担心。a(b+c) 为什么等于ab+ac.
 这个问题，小学时就学过它，我问过我们的数学老师，他的答复是，大了你就懂了。
 想一想，这个回答是很不负责任的， 那是不是他就不懂呢？ 如果他不懂，那这个回答就算是负责任的了。
 我一直这么用它，但却没有深懂，事隔这么多年,我从网上整理归纳了这个权威说法：

 乘法对加法的分配率。
 方法1：  乘法对加法的分配率是一个定理，由自然数乘法对加法的分配率来推论。
 peano 公理下的证明, 数域扩张。从自然数说起
 在Peano公理下,把2定义为1的唯一后继,并规定加法为n + 1 = n的后继.
 数学到peano时期才找到这种方法来严格地描述自然数及其性质.
 自然数满足科学归纳法。
 在自然数下a(b+c)=ab+ac是自然的，这是由乘法的定义和加法的交换率所确定的
 而自然数的分配律则完全依赖于自然数加、乘法的归纳定义.
 由自然数扩张到有理数，交换率，结合率，分配率被保留了下来，因为有理数乘以一个大数都可以变成整数。
 有理数向实数扩张，那么无理数运算还能满足这个规律吗？ 能！因为任何一个无理数都被夹在两个相距任意小的两个有理数之间。
 所以我们推论，整个实数域数据运算都满足于交换律，结合律,分配律。

 方法2： 定义乘法对加法的分配率为公理。
 反过来,我们也可以用另一种方式定义自然数：
 把交换律，结合律，分配律定义为实数的性质，认为是公理。而自然数只是实数的子集。
 先定义实数是满足一系列性质（其中就包括乘法分配律）的集合,再定义自然数是实数中以0（或者以1）开头的,满足归纳法性质的子集合.
 这时自然数的分配律就完全由实数决定,而实数的分配律——如上面所说,就是我们定义实数时直接规定的,也就是说它是个公理.
 类似地,什么整数、有理数以及复数,它们满足分配律都依赖于实数的分配律,
 而它们归根结底是由实数的定义（公理）保证的.
 顺便提一句,上面指出的两种方法正是数学中引入严格的实数概念的两种基本方式.
 这是我第一次理直气壮的拿起了所有实数都满足加乘交换律这个武器，为我做演绎推理奠定了基础。
 原来我们就生活在实数这个大的环境下。

 代数公式是数学运算的一种表现形式。
 阿拉伯的10个数字，是数的一种表示方式。
 初等代数公式比较简单一些，但(a+b)的n次方的展开式(二项式定理)就比较抽像起来。
 它涉及到组合概念

 算数平均数大于等于几何平均数的证明,数学归纳法,用到了二项式定理.


 ----------------------------------------
 平面几何
 ----------------------------------------
 现在看看我们真实空间.
 几何是数学的一个研究对象。
 几何是数学的一个具体表现形式，是一个数学应用。
 解析几何把几何和数学联系了起来，但几何开始是独立发展的。
 欧几里德几何学给了我们严谨的思维方式。公理化的推导法则。
 点，线，面, 三角形，圆是欧几里德几何的要素。
 三角形是基础，由此可以延伸出多边形，圆是另一个完美的图形。
 在数量上，由勾股定理统治着, 勾股定理的延伸是余弦定理.
 三角形中有余弦定理，引入了角度，有正弦定理，引入了外接圆。
 三角形有稳定性，有全等定理。
 三角形有5心，内，外，垂，重，旁心。
 内心定理易证明，角平分线性质。
 外心定理易证明，垂直平分线性质。
 旁心定理易证明，角平分线性质。
 其实这些性质，用全等三角形也是一目了然的。
 垂心定理，嗯，有点难度。方法是，先作出三个高线来，再证明它们交于一点。
 
利用4点共圆，可以找到角度关系,发现三条高线是垂足三角形的三个角平分线，故交于一点。
 
不用垂足三角形内心,直接用4点共圆角度关系也可以证明,顶点连二高线交点是第三边高线.
 
 
 
重心定理，需要计算一下，根据中位线定理，可以证明任意两条中线相交，交于2／3位置处，
 故三个交点是重合的，只能是交于一点。
 勾股定理统治者平面几何，相似三角形， 中位线也有数量关系。

 勾股定理是第一个霸道定理，它断言，勾方加股方一定等于弦方。 这里数的概念开始升级!
 勾股定理已经有很多种方法证明了，用正方形面积相等有一种或几种证法。
 
其实数学定理就是霸道定理,它断言三角形内角和都是180度, 它断言平行线必分割线段成比例.
 
那都是因为有了一定的条件,必定推出一定的结果. 就是说因为是有约束的,所以就有结论.它们2者是一起的.

 ----------------------------------------
 三角
 ----------------------------------------
 现在撇开数量，只研究角度关系，由此延伸出一门学问，叫三角公式。
 三角公式有一个最基本的和差化积公式， 它断言两个角度之差的余弦等于
 两个角度余弦之积加上两个角度正弦之积。 由此可以推论，0度角余弦等于1.
 这是我见到的第二个霸道的公式了。

 角度公式，它不管角度大小，不问余弦或正弦是有理数还是无理数，它已经断言，
 数值肯定是相等的，你可以用这种方法，去计算这个值。尽管这个值，根本就没有办法
 表达成一个具体的小数。它也不需要你去真的计算。
 此时算数已经不重要了，它不需要你的真实计算了，它已经断言了。
 自从有了无理数，数学就不需要你去计算了，因为你算不出一个具体的数了。只能用
 一个符号表示它，看，这个数是根号2，那个数是根号3，根号3这个数比根号2那个数是大的。1个1.7多，1个1.4多,
 我们把根号3推算到1千位，把根号2推算到1千位，已经没有什么意义了。

 角度和差公式可以由笛卡尔坐标系（解析几何)证明，
 其它都是推导。
 由此推导出角度和差公式，倍角半角公式。积化和差公式。

 三角形大角对大边的证明。
 既然是大角，就可以做一个辅助线跟小角相等，与对边相交。
 这样等腰三角形两边相等，而短边看是是三角形两边之和大于第三边。得证！

  

 
初等数学O 集合论基础 第一节 集合及其基本运算、de Moivre公式

 
写在前面
 
初等数学这个系列是为高中升理工科的学生以及低年级新生准备的衔接内容，主要的目的是对进入大学前12年学过的数学知识（初等数学只涉及代数方面的）做一个系统性的抽象与公理化，使阅读者能够摆脱高中所习惯的比较具体的思维方式中拜托出来，逐步适应更加系统化、公理化的数学叙述模式，或者说，高等数学的叙述模式。当然，对竞赛感兴趣或者对更严谨的叙述方式感兴趣的高中生也可以阅读这个系列。
 
初等数学这个系列文章的逻辑顺序是第O部分介绍集合论基础、然后按照自然数、整数、有理数、实数、复数的顺序介绍进入大学前12年学过的“数”，但这个系列会从公理化的角度对这些数系进行严谨地定义。介绍完数之后会介绍一些高中阶段学过地基本结构，主要是多项式、数列、函数、不等式这四种。目标是希望在阅读完这个系列的文章后，读者可以更容易理解高等数学、线性代数、离散数学等理工科基础数学。
 
 
这一讲我们简单回顾一下集合及其基本运算。集合就是由一个或多个确定的元素所构成的整体，这些元素满足确定性、互异性、无序性。下面列出这个系列文章将使用的元素与集合、集合与集合的关系、逻辑关系符号：
 
$\in$：属于
$\notin$：不属于
$\subseteq$：包含于
$$：前者是后者的真子集
$=$：相等
$\forall$：任意
$\exists$：存在
$\exists !$：存在唯一
$\Rightarrow$：前者推出后者
$\iff$：前者与后者等价
 
评注0.1 大写字母表示集合，小写字母表示元素
 
证明$A\subseteq B$的方法是说明$\forall a\in A$, $a\in B$ (子集的定义)
证明$A=B$的方法是说明$A\subseteq B$以及$B\subseteq A$
 
 
接下来我们介绍一些集合的基本运算及其性质，这个系列的文章使用的交并补的符号如下：对$A,B$两个集合
 
$A\cup B$：$A$与$B$的并集
$A\cap B$：$A$与$B$的交集
$A^C$：$A$的补集
 
对一系列集合，如例1中的$A_1,A_2,\cdots ,A_n$
 
${\bigcup }_{i=1}^n{A}_i$：$A_1,A_2,\cdots ,A_n$的并集
${\bigcap }_{i=1}^n{A}_i$：$A_1,A_2,\cdots ,A_n$的交集
 
交并补是大家非常熟悉的，这里就不赘述了。我们来介绍一些高中阶段见得不多的集合运算。
 
定义0.1 差集 记$A\setminus B$表示$A$减去$B$的差集，它满足
 
     
      
       
        
         A
        
        
         ∖
        
        
         B
        
        
         =
        
        
         {
        
        
         a
        
        
         :
        
        
         a
        
        
         ∈
        
        
         A
        
        
         ,
        
        
         a
        
        
         ∉
        
        
         B
        
        
         }
        
       
       
        A \setminus B = \{a:a \in A,a \notin B\}
       
      
     A∖B={a:a∈A,a∈/​B}
 
这里的冒号后面写集合中的元素应该满足的条件。如果用$X$表示全集，显然
 $$A^C=X\setminus A$$
 
定义0.2 无交并 记$A\bigsqcup B$表示$A$与$B$的无交并，它就是$A$与$B$的并集，只是$A$与$B$没有交集。
 
定义0.3 对称差 记$A\Delta B$表示$A$与$B$的对称差，它满足
 $$A\Delta B=(A\setminus B)\bigsqcup (B\setminus A)=(A\cup B)\setminus (A\cap B)$$
 
我们可以用下面的Venn图展示一下这几种集合运算：
 
 红色圆是$A$，蓝色圆是$B$，重叠部分（浅紫色）就是$A\cap B$，有色区域就是$A\cup B$，只有红色的部分就是$A\setminus B$，只有蓝色的部分就是$B\setminus A$，只有一种颜色的部分就是$A\Delta B$。
 
例0.1 证明下面的命题
 
     
      
       
        
         ∀
        
        
         i
        
        
         ∈
        
        
         {
        
        
         1
        
        
         ,
        
        
         ⋯
         
        
         ,
        
        
         n
        
        
         }
        
        
         ,
        
        
         
          A
         
         
          i
         
        
        
         ⊆
        
        
         B
        
        
         ⇒
        
        
         
          ⋃
         
         
          
           i
          
          
           =
          
          
           1
          
         
         
          n
         
        
        
         
          A
         
         
          i
         
        
        
         ⊆
        
        
         B
        
       
       
        \forall i \in \{1,\cdots,n\},A_i \subseteq B \Rightarrow \bigcup_{i=1}^n A_i \subseteq B
       
      
     ∀i∈{1,⋯,n},Ai​⊆B⇒i=1⋃n​Ai​⊆B
 
这个命题的逆命题成立吗？
 
证
 我们先分析一下，这个命题的逆命题显然是成立的，因为
    
     
      
       
        ∀
       
       
        i
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
      
      
       \forall i \in \{1,\cdots,n\}
      
     
    ∀i∈{1,⋯,n}, $A_i\subseteq {\bigcup }_{i=1}^n{A}_i$，所以
    
     
      
       
        
         ⋃
        
        
         
          i
         
         
          =
         
         
          1
         
        
        
         n
        
       
       
        
         A
        
        
         i
        
       
       
        ⊆
       
       
        B
       
       
        ⇒
       
       
        ∀
       
       
        i
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
       
        ,
       
       
        
         A
        
        
         i
        
       
       
        ⊆
       
       
        B
       
      
      
       \bigcup_{i=1}^n A_i \subseteq B \Rightarrow\forall i \in \{1,\cdots,n\},A_i \subseteq B
      
     
    ⋃i=1n​Ai​⊆B⇒∀i∈{1,⋯,n},Ai​⊆B。接下来我们证明一下原命题，
 
$\forall a\in {\bigcup }_{i=1}^n{A}_i$，
    
     
      
       
        ∃
       
       
        j
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
      
      
       \exists j \in\{1,\cdots,n\}
      
     
    ∃j∈{1,⋯,n}，$a\in A_j$，因为
    
     
      
       
        ∀
       
       
        i
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
       
        ,
       
       
        
         A
        
        
         i
        
       
       
        ⊆
       
       
        B
       
      
      
       \forall i \in \{1,\cdots,n\},A_i \subseteq B
      
     
    ∀i∈{1,⋯,n},Ai​⊆B，所以$a\in B$。这样我们就证明了${\bigcup }_{i=1}^n{A}_i\subseteq B$。
 
总结 读者需要了解的是数学教材撰写的逻辑是从基本结构导出一些使用的结论，并例子说明这些结论如何解决问题；第一个阶段相当于证明题，第二个阶段相当于计算题。例0.1就是很典型的证明题，这个题目中的基本结构有两个，包含于以及并集，要证明的结论也是一个集合是另一个集合的子集，所以这个证明评述0.1第一条的框架，说明${\bigcup }_{i=1}^n{A}_i$中的任一元素也在$B$中即可，这是一个经典的三段式演绎推理的框架，大前提是
    
     
      
       
        ∀
       
       
        i
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
       
        ,
       
       
        
         A
        
        
         i
        
       
       
        ⊆
       
       
        B
       
      
      
       \forall i \in \{1,\cdots,n\},A_i \subseteq B
      
     
    ∀i∈{1,⋯,n},Ai​⊆B，即每一个$A_i$都是$B$的子集（，因此每一个$A_i$中的任一元素都属于$B$），小前提是
    
     
      
       
        ∃
       
       
        j
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        n
       
       
        }
       
      
      
       \exists j \in\{1,\cdots,n\}
      
     
    ∃j∈{1,⋯,n}，$a\in A_j$，也就是${\bigcup }_{i=1}^n{A}_i$中的元素一定在某一个$A_i$中，这就可以推出$a$属于$B$。其中大前提是假设，小前提是并集这个基本结构的结果。
 
从这个例子总结出的关于演绎推理证明问题的思路如下：先找到结论涉及的基本结构，根据结论涉及的基本结构确定证明的框架，然后用条件涉及的基本结构及其相关结果完成这个证明框架。
 
 
集合运算的简单性质，我们不加证明地给出下面的性质
 
$A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$
$A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$
$A\setminus B=A\cap B^C$
$(A\cap B{)}^C=A^C\cup B^C$
$(A\cup B{)}^C=A^C\cap B^C$
 
读者可以尝试画出Venn图自行验证这五个等式。
 
例0.2 证明下面的等式
 $$A\setminus (B\setminus C)=(A\setminus B)\cup (A\cap C)$$
 
证
 $$\begin{gathered} A\setminus (B\setminus C)=A\setminus (B\cap C^C)=A\cap (B\cap C^C{)}^C \\ =A\cap (B^C\cup C)=(A\cap B^C)\cup (A\cap C)=(A\setminus B)\cup (A\cap C) \end{gathered}$$
 
 
接下来我们介绍一个非常有用的结论，de Moivre公式，它就是上面简单性质4、5的推广。
 
定理0.1 de Moivre公式(有限个集合交与并的补集)
 
假设
    
     
      
       
        {
       
       
        
         A
        
        
         i
        
       
       
        
         }
        
        
         
          i
         
         
          =
         
         
          1
         
        
        
         n
        
       
       
        =
       
       
        {
       
       
        
         A
        
        
         1
        
       
       
        ,
       
       
        
         A
        
        
         2
        
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        
         A
        
        
         n
        
       
       
        }
       
      
      
       \{A_i\}_{i=1}^n=\{A_1,A_2,\cdots,A_n\}
      
     
    {Ai​}i=1n​={A1​,A2​,⋯,An​}表示一系列有限个集合，它们交与并的补集满足下面的性质：
 
$({\bigcup }_{i=1}^n{A}_i{)}^C={\bigcap }_{i=1}^n{A}_i^C$
$({\bigcap }_{i=1}^n{A}_i{)}^C={\bigcup }_{i=1}^n{A}_i^C$
 
证明
 后续我们会介绍这个公式对无限个集合也成立，但现在我们先证明这个最简单的情况，思路就是将$n$个集合的交或并通过换元化归为两个集合的交与并，然后用集合运算的简单性质。
 
i）记$B_k={\bigcup }_{i=k}^n{A}_i,k\ge 2$,
 $$B_k^C=(\bigcup _{i=k}^n{A}_i{)}^C=(A_k\cup B_{k+1}{)}^C=A_k^C\cap B_{k+1}^C$$
 
这样我们就得到了$B_k$的递推关系，下面我们重复使用这个递推关系
 $$\begin{gathered} (\bigcup _{i=1}^n{A}_i{)}^C=(A_1\cup B_2{)}^C=A_1^C\cap B_2^C \\ =A_1^C\cap A_2^C\cap B_3^C=\cdots =A_1^C\cap A_2^C\cap \cdots A_k^C=\bigcap _{i=1}^n{A}_i^C \end{gathered}$$
 
ii）记$D_k={\bigcap }_{i=k}^n{A}_i,k\ge 2$
 $$D_k^C=(\bigcap _{i=k}^n{A}_i{)}^C=(A_k\cap D_{k+1}{)}^C=A_k^C\cup D_{k+1}^C$$
 
重复使用这个递推关系
 $$\begin{gathered} (\bigcap _{i=1}^n{A}_i{)}^C=(A_1\cap D_2{)}^C=A_1^C\cup D_2^C \\ =A_1^C\cup A_2^C\cup D_3^C=\cdots =A_1^C\cup A_2^C\cup \cdots A_k^C=\bigcup _{i=1}^n{A}_i^C \end{gathered}$$
 
证毕
 
这个公式是非常有用的，未来在组合学、分析、概率论等课程中大家会频繁使用到它。
 
 
定义0.4 集列 类比数列，称一系列集合为集列，记为
    
     
      
       
        {
       
       
        
         A
        
        
         i
        
       
       
        
         }
        
        
         
          i
         
         
          =
         
         
          1
         
        
        
         n
        
       
       
        =
       
       
        {
       
       
        
         A
        
        
         1
        
       
       
        ,
       
       
        
         A
        
        
         2
        
       
       
        ,
       
       
        ⋯
        
       
        ,
       
       
        
         A
        
        
         n
        
       
       
        }
       
       
        ,
       
       
        n
       
       
        ∈
       
       
        N
       
      
      
       \{A_i\}_{i=1}^n=\{A_1,A_2,\cdots,A_n\}, n \in \mathbb{N}
      
     
    {Ai​}i=1n​={A1​,A2​,⋯,An​},n∈N。
 
定义0.5 集列的单调性 与数列类似，我们也可以定义集列的单调性
 
集列递增记为$A_n\uparrow$，表示$A_i\subseteq A_{i+1},1\le i\le n-1$
集列递减记为$A_n\downarrow$，表示$A_i\supseteq A_{i+1},1\le i\le n-1$
 
例0.3 在实分析中，我们经常要基于一个递增的集列构造一个不交的集列，假设
    
     
      
       
        {
       
       
        
         A
        
        
         i
        
       
       
        
         }
        
        
         
          i
         
         
          =
         
         
          1
         
        
        
         n
        
       
      
      
       \{A_i\}_{i=1}^n
      
     
    {Ai​}i=1n​是一个递增的集列，定义
 $$B_1=A_1,B_k=A_k\setminus A_{k-1},\forall k\ge 2$$
 
验证$B_k\cap B_l=\varphi ,\forall k\ne l$以及${\bigcup }_{k=1}^n{B}_k={\bigcup }_{i=1}^n{A}_i$。
 
证明
 i）不妨假设$k<l$，因为$A_n\uparrow$，$A_k\subseteq A_{l-1}$，
 $$B_k=A_k\setminus A_{k-1}\subseteq A_k\subseteq A_{l-1}$$
 
因此$B_k\cap B_l=\varphi ,\forall k\ne l$。
 
ii）直接计算
 $$\begin{gathered} \bigcup _{k=1}^n{B}_k=A_1\cup \bigcup _{k=2}^n(A_k\setminus A_{k-1})=A_1\cup (A_2\setminus A_1)\cup \cdots \\ =A_2\cup (A_3\setminus A_2)\cdots =A_3\cup (A_4\setminus A_3)\cdots =A_n \end{gathered}$$
 
因为$A_n\uparrow$, $\forall i\le n$, $A_i\subseteq A_n$
 $$\bigcup _{i=1}^n{A}_i=A_n$$
 
所以
 $$\bigcup _{k=1}^n{B}_k=\bigcup _{i=1}^n{A}_i$$

作者：龙心尘 && 寒小阳
 时间：2015年10月。
 出处：
 http://blog.csdn.net/longxinchen_ml/article/details/49284391。
 http://blog.csdn.net/han_xiaoyang/article/details/49332321。
 声明：版权所有，转载请注明出处，谢谢。
 
一、 引言
 
前一篇文章《机器学习系列(1)_逻辑回归初步》发表后意犹未尽，感觉关于逻辑回归的很多神奇特性还没来得及深入展开，于是我们新加了这篇《机器学习系列(2)__用初等数学视角解读逻辑回归》。
 
 
 
为了降低理解难度，本文试图用最基础的初等数学来解读逻辑回归，少用公式，多用图形来直观解释推导公式的现实意义，希望使读者能够对逻辑回归有更直观的理解。
 
 
二、 逻辑回归问题的通俗几何描述
 
逻辑回归处理的是分类问题。我们可以用通俗的几何语言重新表述它：
 空间中有两群点，一群是圆点“〇”，一群是叉点“X”。我们希望从空间中选出一个分离边界，将这两群点分开。
 
 
 
 
注：分离边界的维数与空间的维数相关。如果是二维平面，分离边界就是一条线（一维）。如果是三维空间，分离边界就是一个空间中的面（二维）。如果是一维直线，分离边界就是直线上的某一点。不同维数的空间的理解下文将有专门的论述。
 
 
为了简化处理和方便表述，我们做以下4个约定：
 
 
 
我们先考虑在二维平面下的情况。
 
 
而且，我们假设这两类是线性可分的：即可以找到一条最佳的直线，将两类点分开。
用离散变量y表示点的类别，y只有两个可能的取值。y=1表示是叉点“X”，y=0表示是是圆点“〇”。
点的横纵坐标用表示。
 
于是，现在的问题就变成了：怎么依靠现有这些点的坐标和标签（y），找出分界线的方程。
 
三、 如何用解析几何的知识找到逻辑回归问题的分界线？
 
我们用逆推法的思路：
 假设我们已经找到了这一条线，再寻找这条线的性质是什么。根据这些性质，再来反推这条线的方程。
这条线有什么性质呢？
 首先，它能把两类点分开来。——好吧，这是废话。(￣▽￣)”
 然后，两类点在这条线的法向量p上的投影的值的正负号不一样，一类点的投影全是正数，另一类点的投影值全是负数！
 
首先，这个性质是非常好，可以用来区分点的不同的类别。
而且，我们对法向量进行规范:只考虑延长线通过原点的那个法向量p。这样的话，只要求出法向量p，就可以唯一确认这条分界线，这个分类问题就解决了。
 
 
 
还有什么方法能将法向量p的性质处理地更好呢？
 因为计算各个点到法向量p投影，需要先知道p的起点的位置，而起点的位置确定起来很麻烦，我们就干脆将法向量平移使其起点落在坐标系的原点，成为新向量p’。因此，所有点到p’的投影也就变化了一个常量。
 
 
 假设这个常量为，p’向量的横纵坐标为。空间中任何一个点到p’的投影就是，再加上前面的常量值就是：
 看到上面的式子有没有感到很熟悉？这不就是逻辑回归函数中括号里面的部分吗？
 令 就可以根据z的正负号来判断点x的类别了。
 
四、 从概率角度理解z的含义。
 
由以上步骤，我们由点x的坐标得到了一个新的特征z，那么:
 
 
 
z的现实意义是什么呢？
 
 
首先，我们知道，z可正可负可为零。而且，z的变化范围可以一直到正负无穷大。
 z如果大于0，则点x属于y=1的类别。而且z的值越大，说明它距离分界线的距离越大，更可能属于y=1类。
 那可否把z理解成点x属于y=1类的概率P(y=1|x) （下文简写成P）呢？显然不够理想，因为概率的范围是0到1的。
 但是我们可以将概率P稍稍改造一下：令Q=P/(1-P)，期望用Q作为z的现实意义。我们发现，当P的在区间[0,1]变化时，Q在[0,+∞)区间单调递增。函数图像如下（以下图像可以直接在度娘中搜“x/(1-x)”，超快）:
 
 但是Q的变化率在[0,+∞)还不够，我们是希望能在(-∞,+∞)区间变化的。而且在P=1/2的时候刚好是0。这样才有足够的解释力。
 
 
 
注：因为P=1/2说明该点属于两个类别的可能性相当，也就是说这个点恰好在分界面上，那它在法向量的投影自然就是0了。
 
 
而在P=1/2时，Q=1，距离Q=0还有一段距离。那怎么通过一个函数变换然它等于0呢？有一个天然的函数log，刚好满足这个要求。
 于是我们做变换R=log(Q)=log(P/(1-P))，期望用R作为z的现实意义。画出它的函数图像如图：
 
 这个函数在区间[0,1]中可正可负可为零，单调地在(-∞,+∞)变化，而且1/2刚好就是唯一的0值!基本完美满足我们的要求。
 回到我们本章最初的问题，
 
 
 
“我们由点x的坐标得到了一个新的特征z，那么z的具体意义是什么呢？”
 
 
由此，我们就可以将z理解成x属于y=1类的概率P经过某种变换后对应的值。也就是说，z= log(P/(1-P))。反过来就是P=。图像如下：
 
 这两个函数log(P/(1-P)) 、看起来熟不熟悉？
 
 
 
这就是传说中的logit函数和sigmoid函数!
 
 
小小补充一下：
 
在概率理论中，Q=P/(1-P)的意义叫做赔率(odds)。世界杯赌过球的同学都懂哈。赔率也叫发生比，是事件发生和不发生的概率比。
而z= log(P/(1-P))的意义就是对数赔率或者对数发生比（log-odds）。
 
于是，我们不光得到了z的现实意义，还得到了z映射到概率P的拟合方程：
 
 
 
 
 
有了概率P，我们顺便就可以拿拟合方程P=来判断点x所属的分类：
 
 
 
当P>=1/2的时候，就判断点x属于y=1的类别；当P<1/2，就判断点x属于y=0的类别。
 
 
 
五、 构造代价函数求出参数的值
 
到目前为止我们就有两个判断某点所属分类的办法，一个是判断z是否大于0，一个是判断g(z)是否大于1/2。
 然而这并没有什么X用，
 
 
 
以上的分析都是基于“假设我们已经找到了这条线”的前提得到的，但是最关键的三个参数仍未找到有效的办法求出来。
 
 
还有没有其他的性质可供我们利用来求出参数的值？
 
我们漏了一个关键的性质：这些样本点已经被标注了y=0或者y=1的类别!
我们一方面可以基于z是否大于0或者g(z) 是否大于1/2来判断一个点的类别，另一方又可以依据这些点已经被标注的类别与我们预测的类别的插值来评估我们预测的好坏。
这种衡量我们在某组参数下预估的结果和实际结果差距的函数，就是传说中的代价函数Cost Function。
当代价函数最小的时候，相应的参数就是我们希望的最优解。
 
由此可见，设计一个好的代价函数，将是我们处理好分类问题的关键。而且不同的代价函数，可能会有不同的结果。因此更需要我们将代价函数设计得解释性强，有现实针对性。
 为了衡量**“预估结果和实际结果的差距”，我们首先要确定“预估结果”和“实际结果”**是什么。
 
**“实际结果”**好确定，就是y=0还是y=1。
“预估结果”有两个备选方案，经过上面的分析，我们可以采用z或者g(z)。但是显然g(z)更好，因为g(z)的意义是概率P，刚好在[0,1]范围之间，与实际结果{0，1}很相近，而z的意思是逻辑发生比，范围是整个实数域(-∞,+∞)，不太好与y={0，1}进行比较。
 
接下来是衡量两个结果的“差距”。
 
我们首先想到的是y-hθ(x)。
但这是当y=1的时候比较好。如果y=0，则y- hθ(x)= - hθ(x)是负数，不太好比较，则采用其绝对值hθ(x)即可。综合表示如下：
 
但这个函数有个问题：求导不太方便，进而用梯度下降法就不太方便。
因为梯度下降法超出的初等数学的范围，这里就暂且略去不解释了。
于是对上面的代价函数进行了简单的处理，使之便于求导。结果如下：
 
 
代价函数确定了，接下来的问题就是机械计算的工作了。常见的方法是用梯度下降法。于是，我们的平面线形可分的问题就可以说是解决了。
 
六、 从几何变换的角度重新梳理我们刚才的推理过程。
 
回顾我们的推理过程，我们其实是在不断地将点进行几何坐标变换的过程。
 
第一步是将分布在整个二维平面的点通过线性投影映射到一维直线中，成为点x(z)
第二步是将分布在整个一维直线的点x(z)通过sigmoid函数映射到一维线段[0,1]中成为点x(g(z))。
第三步是将所有这些点的坐标通过代价函数统一计算成一个值，如果这是最小值，相应的参数就是我们所需要的理想值。
 
 ##七、 对于简单的非线性可分的问题。
 
由以上分析可知。比较关键的是第一步，我们之所以能够这样映射是因为假设我们点集是线性可分的。但是如果分离边界是一个圆呢？考虑以下情况。
 
我们仍用逆推法的思路：
 
通过观察可知，分离边界如果是一个圆比较合理。
假设我们已经找到了这个圆，再寻找这个圆的性质是什么。根据这些性质，再来反推这个圆的方程。
 
我们可以依据这个性质：
 
圆内的点到圆心的距离小于半径，圆外的点到圆心的距离大于半径
假设圆的半径为r，空间中任何一个点到原点的距离为。
令，就可以根据z的正负号来判断点x的类别了
然后令，就可以继续依靠我们之前的逻辑回归的方法来处理和解释问题了。
 
从几何变换的角度重新梳理我们刚才的推理过程。
 
第一步是将分布在整个二维平面的点通过某种方式映射到一维直线中，成为点x(z)
第二步是将分布在整个一维射线的点x(z)通过sigmoid函数映射到一维线段[0,1]中成为点x(g(z))。
第三步是将所有这些点的坐标通过代价函数统一计算成一个值v，如果这是最小值，相应的参数就是我们所需要的理想值。
 
 
八、 从特征处理的角度重新梳理我们刚才的分析过程
 
其实，做数据挖掘的过程，也可以理解成做特征处理的过程。我们典型的数据挖掘算法，也就是将一些成熟的特征处理过程给固定化的结果。
 对于逻辑回归所处理的分类问题，我们已有的特征是这些点的坐标，我们的目标就是判断这些点所属的分类y=0还是y=1。那么最理想的想法就是希望对坐标进行某种函数运算，得到一个（或者一些）新的特征z，基于这个特征z是否大于0来判断该样本所属的分类。
 对我们上一节非线性可分问题的推理过程进行进一步抽象，我们的思路其实是：
 
第一步，将点的坐标通过某种函数运算，得到一个新的类似逻辑发生比的特征，
第二步是将特征z通过sigmoid函数得到新的特征。
第三步是将所有这些点的特征q通过代价函数统一计算成一个值，如果这是最小值，相应的参数®就是我们所需要的理想值。
 
 
九、 对于复杂的非线性可分的问题
 
由以上分析可知。比较关键的是第一步，如何设计转换函数。我们现在开始考虑分离边界是一个极端不规则的曲线的情况。
 
 我们仍用逆推法的思路：
 
通过观察等先验的知识（或者完全不观察乱猜），我们可以假设分离边界是某种6次曲线（这个曲线方程可以提前假设得非常复杂，对应着各种不同的情况）。
第一步：将点的坐标通过某种函数运算，得到一个新的特征。并假设z是某种程度的逻辑发生比，通过其是否大于0来判断样本所属分类。
第二步：将特征z通过sigmoid函数映射到新的特征
第三步：将所有这些样本的特征q通过逻辑回归的代价函数统一计算成一个值，如果这是最小值，相应的参数就是我们所需要的理想值。相应的，分离边界其实就是方程=0，也就是逻辑发生比为0的情况嘛。
 
十、 多维逻辑回归的问题
 
以上考虑的问题都是基于在二维平面内进行分类的情况。其实，对于高维度情况的分类也类似。
 高维空间的样本，其区别也只是特征坐标更多，比如四维空间的点x的坐标为。但直接运用上文特征处理的视角来分析，不过是对坐标进行参数更多的函数运算得到新的特征。并假设z是某种程度的逻辑发生比，通过其是否大于0来判断样本所属分类。
 而且，如果是高维线性可分的情况，则可以有更近直观的理解。
 
如果是三维空间，分离边界就是一个空间中的一个二维平面。两类点在这个二维平面的法向量p上的投影的值的正负号不一样，一类点的投影全是正数，另一类点的投影值全是负数。
 
如果是高维空间，分离边界就是这个空间中的一个超平面。两类点在这个超平面的法向量p上的投影的值的正负号不一样，一类点的投影全是正数，另一类点的投影值全是负数。
特殊的，如果是一维直线空间，分离边界就是直线上的某一点p。一类点在点p的正方向上，另一类点在点p的负方向上。这些点在直线上的坐标可以天然理解成类似逻辑发生比的情况。可见一维直线空间的分类问题是其他所有高维空间投影到法向量后的结果，是所有逻辑回归问题的基础。
 
 
十一、 多分类逻辑回归的问题
 
以上考虑的问题都是二分类的问题，基本就是做判断题。但是对于多分类的问题，也就是做选择题，怎么用逻辑回归处理呢？
 
 其基本思路也是二分类，做判断题。
 比如你要做一个三选一的问题，有ABC三个选项。首先找到A与BUC（”U”是并集符号）的分离边界。然后再找B与AUC的分离边界，C与AUB的分离边界。
 
 这样就能分别得到属于A、B、C三类的概率，综合比较，就能得出概率最大的那一类了。
 
 ##十二、 总结
 
本文的分析思路——逆推法
 
画图，观察数据，看出（猜出）规律，假设规律存在，用数学表达该规律，求出相应数学表达式。
 该思路比较典型，是数据挖掘过程中的常见思路。
 
两个视角：几何变换的视角与特征处理的视角。
 
小结：
 
几何变换的视角：高维空间映射到一维空间 → 一维空间映射到[0,1]区间 → [0,1]区间映射到具体的值，求最优化解
特征处理的视角：特征运算函数求特征单值z → sigmoid函数求概率 → 代价函数求代价评估值，求最优化解
 
首先要说明的是，在逻辑回归的问题中，这两个视角是并行的，而不是包含关系。它们是同一个数学过程的两个方面。
 
比如，我们后来处理复杂的非线性可分问题的时候，看似只用的是特征处理的思路。其实，对于复杂的非线性分离边界，也可以映射到高维空间进行线性可分的处理。在SVM中，有时候某些核函数所做的映射与之非常类似。这将在我们接下来的SVM系列文章中有更加详细的说明。
 
在具体的分析过程中，运用哪种视角都可以，各有优点。
 
比如，作者个人比较倾向几何变换的视角来理解，这方便记忆整个逻辑回归的核心过程，画几张图就够了。相应的信息都浓缩在图像里面，异常清晰。
于此同时，特征处理的视角方便你思考你手上掌握的特征是什么，怎么处理这些特征。这其实的数据挖掘的核心视角。因为随着理论知识和工作经验的积累，越到后面越会发现，**当我们已经拿到无偏差、倾向性的数据集，并且做过数据清洗之后，**特征处理的过程是整个数据挖掘的核心过程：怎么收集这些特征，怎么识别这些特征，挑选哪些特征，舍去哪些特征，如何评估不同的特征……这些过程都是对你算法结果有决定性影响的极其精妙的精妙部分。这是一个庞大的特征工程，里面的内容非常庞大，我们将在后续的系列文章中专门讨论。
总的来说，几何变换视角更加直观具体，特征处理视角更加抽象宏观，在实际分析过程中，掌握着两种视角的内在关系和转换规律，综合分析，将使得你对整个数据挖掘过程有更加丰富和深刻的认识。
为了将这两种视角更集中地加以对比，我们专门制作了下面的图表，方便读者查阅。