一：Lipschitz连续

定义：对于在实数集的子集的函数，若存在常数，使得，则称函数符合利普希茨条件。

性质1：若函数在定义域内满足Lipschitz连续，则有

                                                                                                                             (1-1)                  

二：梯度下降算法收敛性分析

在求解优化问题时，我们常用梯度下降算法对目标函数进行寻优，求得优化问题的最优解或近似最优解。而在面对不同性质的目标函数时，如凸函数、强凸函数和非凸函数，梯度下降算法的收敛性会发生何种变化，都是值得去思考的一个问题。

在此，我们首先讨论第一种情况，在优化问题的目标函数为强凸函数，且满足Lipschitz连续，采用梯度下降算法进行求解的算法收敛性分析如下：

若目标函数为强凸函数，且在定义域内Lipschitz连续。则有：

  Lipschitz连续性质:                                                                                             (2-1)

强凸函数性质                                                                                                       (2-2）

显然，结合公式(2-1)与公式(2-2)，我们可得：

                                                                                                  (2-3)

此外，采用梯度下降的更新公式为，我们令代入公式(2-1)可得：

                                                                                                                                     (2-4)

且当时，不等式右侧取极值，步长取为的上届值的倒数，即精确搜索法（采用回溯搜索法，步长）代入公式(2-4)可得：

                                                                                                                                  (2-5)

对于公式(2-2)，我们考虑公式右侧关于的二次函数，当时取极值，并进一步的变形可得：

                                                                                                                                                      (2-6)

令，代入可得：

                                                                                                                                     (2-7)

结合公式(2-5)与公式(2-7)可得：

                                                                                            (2-8)

对于不等式(2-8)右侧，我们同时减去最优值，同等变形可得：

                                                                                                                   (2-9)

对不等式(2-8)左侧变形可得：

                                                                                 (2-10)

讲公式(2-10)代入公式(2-9)可得：

                                                                                                                                  (2-11)

我们可以发现第k+1次与第k次更新与最优值的差值成等比关系，假设经过次迭代，则有：

                                                                                                                                   (2-12)
显然，当时，，因此算法能够收敛。此外，当时，有：

                                                                                                                                                                         (2-13)

即此时的迭代次数.

此外，梯度下降的收敛性质是由目标函数决定的。当目标函数为强凸函数时，收敛速度为线性的。若是为凸函数和非凸函数，梯度下降的收敛性将变差。此外可以通过对步长的设置来加快算法的收敛。