2019-07-21 15:52:53 weixin_43848117 阅读数 14

回归算法的应用

应用

1.梯度下降(Gradient Descent)

1.1什么是梯度下降

梯度下降算法(随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD))都需要对于每一个参数都用相同的学习率进行更新。
但是在实际应用中,各个参数的重要性肯定是不一样的,所以我们对于不同的参数要动态的采取不同的学习率,让目标函数更快的收敛。

1.1.1自适应学习率(Adaptive Learning Rates)

自适应学习率

1.1.2 Adagrad算法

AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方,用全局学习率除以这个数,作为学习率的动态更新。
算法介绍
进行不同参数的比较,取二阶导数。
二阶导数

1.2 随机梯度下降(SGD)

随机梯度下降,Stochastic Gradient Descent,可以加快训练速度。
其原理为:
算法原理
算法比较:
算法比较

1.3 特征缩放(feature scaling)

特征缩放作为特征工程中的一部分,其意义为:
特征缩放的意义

1.3.1 常用方法—标准化

标准化

1.4 梯度下降的限制

限制

2019-07-30 17:36:08 weixin_43848117 阅读数 33

BP(Back Propagation)网络

梯度下降无法在神经网络中大量参数的情况下进行寻优。如何在上百万维的数据下,有效的计算出来,就需要BP网络。
梯度下降

链式法则(chain rule)

链式

原理

举例
先考虑某一个神经元:
举例1举例 2
举例3
举例4
举例5
举例6
举例7
链式法则的应用:
case1
举例8
举例9
BP网络就是向后往前算偏微分
举例11
举例12

总结

总结

2017-12-06 14:00:35 Julialove102123 阅读数 2424

系列学习笔记:

张志华译:深度学习 吴恩达:深度学习 李宏毅:深度学习
  • 前言
  • 一:应用数学与机器学习基础
  • 二:深层网络:现代实践
  • 三:深度学习研究
  • 神经网络和深度学习
  • 改善深层神经网络以及优化
  • 结构化机器学习项目
  • 卷积神经网络
  • 序列模型
  • 深度学习的基础结构
  • 计算图和反向传播
  • 深度学习语言建模
  • 空间转换层
  • Highway网络和Grid LSTM
  • Resursive Network
  • RNN条件生成和注意力模型
  • Pointer Network
  • Batch Normalization
  • Capsule Network
  • 超参数挑优
  • GAN
  • RL和GAN生成句子
  • Imitation Learning
  • 生成模型评估
  • GAN的集成
  • 基于能量的GAN
  • GAN生成video
  • A3C
  • Gated RNN和序列化生成


深度学习核心内容:


2019-08-01 09:55:28 weixin_43848117 阅读数 51

1.什么是异常检测(Anomaly Detection)

让机器知道你不知道。注,用上标表示一个完整的东西,用下标表示完整东西的一部分。其实现对异常的检测,异常不代表就是不好的东西,只是找和训练资料不同的东西。

1.1 介绍及应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 介绍

是否就是二分类呢?答案是否定的,这是因为1、对于异常数据的收集远没有收集正常数据那么简单;2、对于异常的现象有些场景中并不能群举出。这就造成异常检测不是简单的二分类问题。
在这里插入图片描述

1.3 分类

分类

1.3.1有Label

Case1: With Classifier
例1
例2
使用多分类并加以信心分数(Confidence score)
例3
例4
例5
例6
例7
模型评估:
评估
可能出现的问题:
猫狗识别过程中会出现
1、和猫狗特征一点都不要的动物
2、比猫狗特征更像猫狗的动物
图
图2

1.3.1没有有Label

Case2: Without Labels
例子1
在这里插入图片描述
现在有大量的x但是没有y。
在这里插入图片描述
在这里插入图片描述
likelihood
高斯
例子1
例子3
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

没有更多推荐了,返回首页