本博客适合高中学生入门编程知识学习，从高中的数学概念转换到其python实现，提高自身对编程的学习兴趣。

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# 在jupyter notebook显示图片

1、函数定义

我们可以将函数(functions)想象成一台机器f ，每当我们向机器提供输入x，这台机器便会产生输出y。

这台机器所能接受的所有输入x的集合称为定义域(domain)，其所有可能输出y的集合称为值域(range)。函数的定义域和值域有着非常重要的意义，如果我们知道一个函数的定义域，便不会将不合适的输入丢给函数；知道函数的值域，便能判断一个值是否可能是这个函数所输出的。

多项式

# 多项式
# 初中：一元一次函数 y = k*x+b
def f1(x):
    y = 2*x+3  # k=2, b=3
    return y

x = 100
print(f1(100))

203

三次多项式：

$$f(x)=x^3-5x^2+9$$

# 三次多项式
def f3(x):
    return x**3 - 5*x**2 + 9  # *：乘号 **：求次方

# 画图
x = np.linspace(-100, 100, num = 1000)
y = f3(x)
plt.plot(x,y)

结果如下：

# 5次多项式
def f5(x):
    return 5*x**5+4*x**3+x**3 - 5*x**2 + 9  # *：乘号 **：求次方

y = f5(x)
plt.plot(x,y)

指数函数与对数函数

两个常用的常数：

欧拉常数e
$$e=2.718281828459045$$
圆周率pi
$$\pi =3.141592653589793$$

# 欧拉常数e
print(np.e)  # e=2.71828
# pi
print(np.pi)  # pi=3.1415926

# 指数函数
def exp(x):
    y = np.e**x  # np.e 就是欧拉常数
    return y  # y>0

y = exp(x)
plt.plot(x,y)

结果如下：

print(exp(0))

1.0

print(exp(-10000))

0.0

$e^x$的本质：
$$e^x=x^0/0!+x^1/1!+x^2/2!+x^3/3!+...+x^n/n!$$

对数函数是指数函数的反函数
如果 $y=e^x$
那么 $x=ln(y)$, y>0

x = np.linspace(0.0001,100,1000,endpoint = False)
y1 = np.log2(x)  # 以2为底
y2 = np.log(x)   # 以e为底
y3 = np.log10(x)  # 以10为底
plt.plot(x,y1,'red',x,y2,'yellow',x,y3,'blue')

正弦函数

正弦函数:
$$y=sin(x)$$
以及它的变形
$$y=Asin(\omega x+\theta )$$

x = np.linspace(-10, 10, num = 1000)
y = np.sin(x)
plt.plot(x,y)

结果如下：

余弦函数:
$$y=cos(x)=sin(x+\pi /2)$$
以及它的变形
$$y=Acos(\omega x+\theta )$$

y1 = np.sin(x)   # sin(x)
y2 = np.cos(x)  # cos(x)
plt.plot(x,y1,'red',x,y2,'blue')

下图中红色为sin(x)，蓝色为cos(x)：

2、复合函数

函数$f(x)$和$g(x)$的复合$fg(x)$:，可以理解为首先将输入$x$给函数$g(x)$获得输出y1后将其进而输入给函数$f(x)$，最终获得结果$y$。例如：

$$f(x)=1/x$$

$$g(x)=e^{-x}+1$$

$$fg(x)=f(g(x))=1/(1+e^{-x})$$
这个复合函数实际上是$sigmoid(x)$
链式法则是微积分中的求导法则，用于求一个复合函数的导数
采用复合函数表示十分复杂的函数，有利于我们进行求导运算！
同时，在编程过程中，采用复合函数，将一个复杂的问题分解为若干个阶段的函数，有利于编程调试，容易发现逻辑错误！

def f(x):
    y = 1/x
    return y

def g(x):
    y = np.exp(-x)+1
    return y

# 这是一个复合函数
def sigmoid(x):
    return f(g(x))

x = 1
print(sigmoid(x))

0.7310585786300049

x = np.linspace(-10, 10, num = 10000)
y = sigmoid(x)
plt.plot(x,y)

另一个常用的复合函数：$softplus(x)$

$$f(x)=log(x)$$

$$g(x)=1+e^x$$

$$fg(x)=f(g(x))=log(1+e^x)$$

def f(x):
    y = np.log(x)
    return y

def g(x):
    y = np.exp(x)+1
    return y

# 这是一个复合函数
def softplus(x):
    return f(g(x))

x = 1
print(softplus(x))

1.3132616875182228

x = np.linspace(-10, 10, num = 10000)
y = softplus(x)
plt.plot(x,y)

【作者简介】陈艺荣，男，目前在华南理工大学电子与信息学院广东省人体数据科学工程技术研究中心攻读博士，担任IEEE Access、IEEE Photonics Journal的审稿人。两次获得美国大学生数学建模竞赛(MCM)一等奖，获得2017年全国大学生数学建模竞赛(广东赛区)一等奖、2018年广东省大学生电子设计竞赛一等奖等科技竞赛奖项，主持一项2017-2019年国家级大学生创新训练项目获得优秀结题，参与两项广东大学生科技创新培育专项资金、一项2018-2019年国家级大学生创新训练项目获得良好结题，发表SCI论文4篇，授权实用新型专利8项，受理发明专利13项。
我的主页
我的Github
我的CSDN博客
我的Linkedin

非负加权求和

1.如果函数$f$是凸函数且$a\ge 0$,则函数$af$也为凸函数。如果函数$f1$和$f2$都是凸函数，则它们的和$f1+f2$也是凸函数。

将非负伸缩以及求和运算结合起来，函数$f=w_1{f}_1+\cdots +w_m{f}_m$是凸函数。

这个性质可以扩展至无限项的求和以及积分的情形。例如，如果固定任意$y\in \mathcal{A}$,函数$f(x,y)$关于$x$是凸函数，且对任意$y\in \mathcal{A}$,有$w(y)\ge 0$,则
函数$g$：$g(x)={\int }_{\mathcal{A}}w(y)f(x,y)dy$关于$x$是凸函数。

复合仿射映射

假设函数$f:R"\to R,A\in R_{n\times m}$以及$b\in R^n$,定义$g:R^m\to R$为$g(x)=f(Ax+b)$,
其中 dom ⁡ g = { x ∣ A x + b ∈ dom ⁡ f } \operatorname{dom} g=\{x | A x+b \in \operatorname{dom} f\} domg={x∣Ax+b∈domf}.若函数$f$是凸函数，则函数$g$是凸函数。

逐点最大和逐点上确界

如果函数$f1$和$f2$均为凸函数，则二者的逐点最大函数$f$： f ( x ) = max ⁡ { f 1 ( x ) , f 2 ( x ) } f(x)=\max \left\{f_{1}(x), f_{2}(x)\right\} f(x)=max{f1​(x),f2​(x)}，其定义域为$\mathrm{dom}f=\mathrm{dom}{f}_1\cap \mathrm{dom}{f}_2$，仍然是凸函数。

例题1：以权为变量的最小二乘费用函数。
令$a_1,\cdots ,a_n\in {\mathbf{R}}^m$,在加权最小二乘问题中，
我们对所有的$x\in R^m$极小化目标函数${\sum }_{i=1}^n{w}_i{\left(a_i^{T}x-b_i\right)}^2$。 我们称$w_i$为权，并允许负的
$w_i$(则目标函数有可能无下界)。
我们定义(最优)加权最小二乘费用函数为
$g(w)={\inf }_x{\sum }_{i=1}^n{w}_i{\left(a_i^{T}x-b_i\right)}^2$,
其定义域为
$\mathrm{dom}g=\left\{w|{\inf }_x{\sum }_{i=1}^n{w}_i{\left(a_i^{T}x-b_i\right)}^2>-\infty \right\}$，
因为函数$g$是一族关于$w$的线性函数的下确界(对应于不同的$x\in R^n$),它是$w$的凹函数。

例题2：对称矩阵的最大特征值。
定义函数$f(X)={\lambda }_{\max }(X)$,其定义域为$domf=S^m$,它是凸函数。为了说明这一点， 我们将$f$表述为
$f(X)=\sup \left\{y^{T}Xy|\Vert y{\Vert }_2=1\right\}$,
即针对不同的$y\in R^n$关于$X$的一族线性函数(即$y^{T}Xy$)的逐点上确界。

例题3：矩阵范数。
考虑函数$f(X)=\Vert X{\Vert }_2$,其定义域为$domf=R^{p\times q}$,其中$\Vert \cdot {\Vert }_2$表示谱范数或者最大奇异值。函数$f$可以表述为
$f(X)=\sup \left\{u^{T}Xv|\Vert u{\Vert }_2=1,\Vert v{\Vert }_2=1\right\}$，
由于它是$X$的一族线性函数的逐点上确界，所以是凸函数。

复合函数保凸或保凹

给定函数$h:{\mathbf{R}}^k\to \mathbf{R}$以及$g:{\mathbf{R}}^n\to {\mathbf{R}}^k$,定义复合函数$f=h\circ g:{\mathbf{R}}^n\to \mathbf{R}$为
f ( x ) = h ( g ( x ) ) , dom ⁡ f = { x ∈ dom ⁡ g ∣ g ( x ) ∈ dom ⁡ h } f(x)=h(g(x)), \quad \operatorname{dom} f=\{x \in \operatorname{dom} g | g(x) \in \operatorname{dom} h\} f(x)=h(g(x)),domf={x∈domg∣g(x)∈domh}，
我们考虑当函数$f$保凸或者保凹时，函数$h$和$g$必须满足的条件。

1.标量复合

当$\mathbf{k}=1$时，即$h:\mathbf{R}\to \mathbf{R},g:{\mathbf{R}}^n\to \mathbf{R}$，仅考虑当$\mathbf{n}=1$的情况。
为了找出复合规律，假设函数$h$和$g$是二次可微的，并且$\mathrm{dom}g=\mathrm{dom}h=R$，在此假设下，函数$f$是凸的等价于$f^{\prime \prime }\ge 0$.
复合函数$f=h\circ g$的二阶导为：$f^{\prime \prime }(x)=h^{\prime \prime }(g(x))g^{\prime }(x{)}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$，

由此式子，可得到：

如果$h$是凸函数且非减（$h^{\prime \prime }⩾0$且$h^{\prime }⩾0$）, $g$是凸函数（$g^{\prime \prime }⩾0$）,则$f$是凸函数（$f^{\prime \prime }\ge 0$）;
如果$h$是凸函数且非增, $g$是凹函数,则$f$是凸函数;
如果$h$是凹函数且非减, $g$是凹函数,则$f$是凹函数;
如果$h$是凹函数且非增, $g$是凸函数,则$f$是凹函数。
上述在函数$h$和$g$是二次可微，并且$\mathrm{dom}g=\mathrm{dom}h=\mathbf{R}$时成立。（1）

对于更一般的情况，如$\mathbf{n}>1$,不再假设函数$h$和$g$可微或者$\mathrm{dom}g={\mathbf{R}}^n,\mathrm{dom}h=\mathbf{R}$,仍有：

如果$h$是凸函数且$\tilde{h}$非减, $g$是凸函数,则$f$是凸函数;
如果$h$是凸函数且$\tilde{h}$非增, $g$是凹函数,则$f$是凸函数;
如果$h$是凹函数且$\tilde{h}$非减, $g$是凹函数,则$f$是凹函数;
如果$h$是凹函数且$\tilde{h}$非增, $g$是凸函数,则$f$是凹函数。（2）
其中，$\tilde{h}$表示函数$h$的扩展值延伸,若点不在$domh$内,对其赋值$\infty$(若$h$是凸函数)或者$-\infty$(若$h$是凹函数。)
（2）和（1）的不同是我们要求扩展值延伸$\tilde{h}$在整个$R$上非增或者非减。
$\tilde{h}$非减意味着对于任意$x,y\in \mathbf{R},x<y$，有$\tilde{h}(x)⩽\tilde{h}(y)$。

举个小例子来理解以下：
函数$h(x)=x^{1/2}$，定义域为$\mathrm{dom}h={\mathbf{R}}_{+}$，显然为凹函数，若$\tilde{h}$不在$domh$内，则为$-\infty$，取$x=-1,y=1$,则$h(x)=-\infty ,h(y)=1,h(x)<h(y)$,所以$\tilde{h}$非减（非减就是增加的意思呀）

几个简单的复合结论(直接带上述（1）的结论就可以）

●如果$g$是凸函数则$e^{g(x)}$是凸函数。
依据：如果$h$是凸函数且非减, $g$是凸函数,则$f$是凸函数。

●如果$g$是凹函数且大于零，则$logg(x)$是凹函数。
依据：如果$h$是凹函数且非减, $g$是凹函数,则$f$是凹函数.

●如果$g$是凹函数且大于零，则$1/g(x)$是凸函数。
依据：如果$h$是凸函数且非增, $g$是凹函数,则$f$是凸函数.

●如果$g$是凸函数且不小于零，$p\ge 1$,则$g(x{)}^p$是凸函数。

●如果$g$是凸函数，则$-log(-g(x))$在 { x ∣ g ( x ) < 0 } \{x | g(x)<0\} {x∣g(x)<0}上是凸函数。

矢量复合

考虑$k\ge 1$的情况，此时更复杂一些。设$f(x)=h(g(x))=h\left(g_1(x),\cdots ,g_k(x)\right)$，
其中，$h:{\mathbf{R}}^k\to \mathbf{R},g_i:{\mathbf{R}}^n\to \mathbf{R}$，为了一般性，假设$\mathbf{n}=1$，先对函数求二阶导为：
$f^{\prime \prime }(x)=g^{\prime }(x{)}^T{\nabla }^{2}h(g(x))g^{\prime }(x)+\nabla h(g(x){)}^T{g}^{\prime \prime }(x)$，

可以得到：

如果$h$是凸函数且在每维分量上$h$非减，$g_i$是凸函数,则$f$是凸函数;
如果$h$是凸函数且在每维分量上$h$非增，$g_i$是凹函数,则$f$是凸函数;
如果$h$是凹函数且在每维分量上$h$非减，$g_i$是凹函数,则$f$是凹函数。

和标量的情形类似，对于$n>1$,类似的复合结论仍然成立,不仅$h$需要满足单调性条件，其扩展值延伸$\tilde{h}$同样必须满足。

几个矢量复合的例子

●令$h(z)=z_{[1]}+\cdots +z_{[r]}$，即对$z\in R^k$的前$r$大分量进行求和.则$h$是凸函数且在每一维分量上非减。假设$g_1,\cdots ,g_k$是$R^n$上的凸函数，则复合函数$f=h\circ g$,即最大$r$个$g_i$函数的逐点和，是凸函数。

●函数$h(z)=\log \left({\sum }_{i=1}^k{\mathrm{e}}^{z_i}\right)$是凸函数且在每一维分量上非减，因此只要$g_i$是凸函数，$\log \left({\sum }_{i=1}^k{\mathrm{e}}^{z_i}\right)$就是凸函数。

●对$0<p\le 1$,定义在${\mathbf{R}}_{+}^k$上的函数$h(z)={\left({\sum }_{i=1}^k{z}_i^p\right)}^{1/p}$是凹的，且其扩展值延伸在每维分量上非减,则若$g_i$是凹函数且非负, $h(z)={\left({\sum }_{i=1}^k{g}_i(x{)}^p\right)}^{1/p}$是凹函数。

●设$p⩾1,g_1,\cdots ,g_k$是凸函数且非负。则函数${\left({\sum }_{i=1}^k{g}_i(x{)}^p\right)}^{1/p}$是凸函数。
证明：考虑函数$h:{\mathbf{R}}^k\to \mathbf{R}$， h ( z ) = ( ∑ i = 1 k max ⁡ { z i , 0 } p ) 1 / p h(z)=\left(\sum_{i=1}^{k} \max \left\{z_{i}, 0\right\}^{p}\right)^{1 / p} h(z)=(∑i=1k​max{zi​,0}p)1/p，
其中$\mathrm{dom}h={\mathbf{R}}^k$,因此$h=\tilde{h}$.由函数$h$是凸函数且非减可知$h(g(x))$关于$x$是凸函数。对$z\ge 0$,我们有$h(z)={\left({\sum }_{i=1}^k{z}_i^p\right)}^{1/p}$，所以${\left({\sum }_{i=1}^k{g}_i(x{)}^p\right)}^{1/p}$是凸函数。

●几何平均函数$h(z)={\left({\prod }_{i=1}^k{z}_i\right)}^{1/k}$ ，定义域为$ \mathbf{R}_{+}^{k}$ ,它是凹函数，且其扩展值延伸在每维分量上非减。因此若$g_1,\cdots ,g_k$是非负凹函数，它们的几何平均${\left({\prod }_{i=1}^k{g}_i\right)}^{1/k}$也是非负凹函数。

首先，对于简单的凸函数的相加，凸函数求最大值，都是能够保证函数的凸性的，相比而言，复合函数就较为复杂了。

给定函数$f:R^k\to R$以及$g:R^n\to R^k$，我们定义复合函数$f=h\cdot g:R^n\to R$为：
f ( x ) = h ( g ( x ) ) , d o m f = { x ∈ d o m g ∣ g ( x ) ∈ d o m h } f(x)=h(g(x)), dom f=\{x\in dom g|g(x)\in dom h\} f(x)=h(g(x)),domf={x∈domg∣g(x)∈domh}
我们考虑当复合函数保持凸性或者凹性时，两个函数分别应该满足什么样的条件。

$$\text{标量}$$
对标量而言，上述方程我们直接求二阶导进行判定即可，复合函数的二阶倒数为

$$f^{\prime \prime }(x)=h^{\prime \prime }(g(x))g^{\prime }(x{)}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$$
如果这个值恒大与0，那么函数就满足凸函数的性质，那么我们有以下结论：

$$\text{Genaral Case}$$

注意上述结论成立的条件：$g,h$都是二次可微的，而且他们的定义域都是$R$。事实上，对于更一般的情况，$n>1$，不再局限于一维空间，也不再假设$g,h$可微或者$domg\in R^n,domh\in R$，一些相似的复合规则仍然成立。

这里需要用到函数的拓展，将函数的定义域拓展到整个$R^n$空间显然会使得我们的分析更加简单。$\tilde{h}$即$h$函数的拓展，如果点$g(x)$不在定义域中，而且$h$是凸函数，那么对其赋值为$\infty$（保持$h$的凸性）。反之如果$h$是凹函数，那么对其赋值为$-\infty$。可以看到，这里和上面唯一的不同就在于，我们对$h$函数进行了扩展，使其在整个空间内非增或者非减。
$$\text{函数扩展的注意事项}$$
需要注意的是，函数的扩展非常重要，我们需要$\tilde{h}$在整个空间内有单调性，而不只是在定义域内

考虑如下函数：

显然在定义域内$h$是不增不降的，既是凸函数也是凹函数，如果我们根据上述条件，只考虑$\tilde{h}$在定义域内的单调性的话，显然复合函数即可以使用第一条性质也可以使用第二条性质，但是实际上，这个函数既不是凸函数，也不是凹函数，因为他连定义域都不是凸的：

而且当我们对他进行函数扩展时可以发现无论是进行凸扩展还是凹扩展，他的$\tilde{h}$始终是不具有单调性的，因此该函数既没有凸性，也没有凹性。Again，$\tilde{h}$必须在整个空间内具有单调性。

$$\text{Simple Example}$$

• 函数$h(x)=\log x$，定义域为$domh=R_{++}$，其在$x\le 0$处扩展为$-\infty$，可以得到$\tilde{h}$非减，且$h(x)$为凹函数。
• 函数$h(x)=x^{1/2}$，定义域为$domh=R_{+}$，其在$x<0$处扩展为$-\infty$，可以得到$\tilde{h}$非减，且$h(x)$为凹函数。
• 函数$h(x)=x^{3/2}$，定义域为$domh=R_{+}$，如果其在$x<0$处扩展为$\infty$，可以得到$h(x)$为凹函数，但是不满足$\tilde{h}$非减的条件，
• 函数$h(x)=x^{3/2}$，定义域为$domh=R_{+}$，如果其在$x<0$处扩展为$0$，可以得到$h(x)$为凹函数，而且满足$\tilde{h}$非减的条件，

$$\text{简单的复合结论}$$