2018-10-29 11:29:44 wcx1293296315 阅读数 561
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39722 人正在学习 去看看 唐宇迪

(这是写给自己看的,大佬请忽略)     

深度学习和其他机器学习算法最大的不同在于如何找到特征,而特征的抽取过程就是一个抽象的全过程。以往机器学习算法的特征抽取都是对一类问题有解,比如K-means等聚类。深度学习抽象模拟了人类神经元传递和连接方式,理论上可以解决多种分类问题和预测问题,甚至研究未知领域。

(深度学习优化 第十章 深度强化学习)

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。众所周知,在人工智能领域,感知、认知和决策的能力都是衡量智能的指标。深度学习(深度神经网络)是使得感知能力得到进一步提升与巨大突破的核心技术,同时,强化学习的学习机制是不断的与环境进行交互,以试错的方式得到最优策略,是使得决策能力持续收益的关键技术。   

深度Q网络是谷歌DeepMind于2013年提出的一个深度强化学习算法,它将深度Q网络应用在计算机网游戏上,和人类一样,使用视觉信息作为输入。符号Q表示在某一状态下执行某一操作时所获取的分数或质量。深度Q网络种,仅使用值网络表示评估模块,其核心思想是:基于值网络,遍历某一状态下各种动作的价值,然后选择价值最大的一个动作输出。由于深度卷积神经网络在图像处理有着天然的优势,将其与强化学习中的Q学习相结合处理图像数据的感知决策任务是目前主流方向之一。

目前,依托大量训练数据集而成功的深度学习技术已在计算机视觉和语音处理领域取得诸多突破性成果。依赖先验知识挖掘或统计物理特性的特征工程(包括特征提取与体征选择)将被基于深度学习技术下的特征学习所替代。特征学习与特征工程分别是用于深度学习和机器学习下挖掘数据中所蕴涵的某种语义或特征特性的俩中方法。通常Q学习技术依赖于人工特征的选取,智能体学习的好坏严重取决于特征选取的质量。深度Q学习的动机是基于卷积神经网络的特征学习,将Q学习中的人工特征提取技术替换为深度学习下的特征学习。

应用举例(AlphaGo)

计算机围棋被认为是人工智能领域的一大挑战,本质是搜索b^{d}个落子情况序列,其中b为搜索的宽度(当前局面在哪里落子),d为搜索的深度(接下来若干步之后的对弈局面),以期利用状态动作值函数来评估当前棋局和落子的最佳位置。象棋具有有限且可执行的搜索空间,围棋的计算复杂度约为250^{150},按照现有的计算能力采用暴力搜索方式是不能解决问题的。近年来,随着深度学习的不断发展和完善,基于强化学习和蒙特卡洛树搜索策略的AlphaGo达到人类顶尖棋手水准。其核心思想是通过卷积神经网络来构建的估值网络和策略网络分别对搜索的深度和宽度进行约减,使得搜索效率大幅度提升,胜率估算也更加精确。

总结:强化学习的本质为马尔可夫决策过程,宇机器学习中监督学习不一样,强化学习不给定输入所对应的标注,而是给一个回报函数,即决定在某种状态下执行某种动作的收益。强化学习的性能的优劣取决于人工特征提取技术,深度学习的优势恰好可以弥补这一短板。

2019-02-10 00:10:29 weixin_40548136 阅读数 363
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39722 人正在学习 去看看 唐宇迪

1.论文

loss

The Lovasz Hinge: A Novel Convex Surrogate for Submodular Losses
The Lovasz-Softmax loss: A tractable surrogate for the optimization of the ´ intersection-over-union

对象检测

R-CNN论文翻译Rich feature hierarchies for accurate object detection and semantic segmentation
Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks(附代码)

2.深度学习

深度学习入门(一)感知机与激活函数
深度学习(二)损失函数与梯度
深度学习入门(三)构建简单的两层神经网络
深度学习入门(四)梯度更新算法的选择(附执行代码)
吴恩达课程学习笔记–第二课 第一周:深度学习的实践层面
吴恩达深度学习 第二课 第三周:超参数调试、Batch正则化和程序框架
吴恩达深度学习 第三门课 结构化机器学习项目(笔记)
吴恩达深度学习 第三门课 残差网络 谷歌Inception模型 迁移学习
吴恩达深度学习 第三门课 第三周 目标检测
吴恩达深度学习 第四课 第四周 人脸识别和神经风格转换
吴恩达深度学习 第五门课 第一周 序列模型(sequence models)
吴恩达深度学习 第五课 第二周 自然语言处理与词嵌入
吴恩达深度学习 第五课 第三周 序列模型和注意力机制

深度学习练习题

吴恩达深度学习练习 第五课第一周 Building a Recurrent Neural Network 基于numpy
吴恩达深度学习练习 第五课第二周 注意力机制机器翻译 基于Keras
吴恩达深度学习 第五课第三周 课后练习 Trigger word detection

3.机器学习

1.机器学习实战(1) k-近邻算法(kNN)和决策树
2.机器学习实战(2) 基于概率论的分类方法:朴素贝叶斯 python3
3.机器学习实战(3) Logistic回归 逻辑回归 基于python3
4.待更新
5.机器学习实战(5) AdaBoost元算法 基于python3
6.机器学习实战(6) 预测数值型数据:回归
7.机器学习实战(7) 树回归
8.机器学习实战(8) 利用K-means聚类算法对未标注数据分组
9.机器学习实战(9) 使用Apriori算法进行关联分析
10.机器学习实战(10) FP-growth 基于python3
11.机器学习实战(11) 利用PCA来简化数据 基于python3
12.机器学习实战(12) 利用SVD简化数据 基于python3

未完待续…

2018-11-28 19:55:00 univeryinli 阅读数 391
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39722 人正在学习 去看看 唐宇迪

我参考的是这个博客,感觉这个博客写得比较好:k80 深度学习环境搭建

一、英伟达驱动安装

1、英伟达驱动下载:https://www.nvidia.cn/Download/driverResults.aspx/135493/cn

2、由于是驱动的冲突,那么自然是要杀掉和显卡结合不是那么紧密的草根板驱动nouveau了,加入黑名单是我们要做的第一件事,这样启动以后就不会默认使用草根驱动;

cd /etc/modprobe.d/
# 文件夹下创建
touch blacklist-nouveau.conf
vim blacklist-nouveau.conf
blacklist-nouveau.conf 中加入黑名单
blacklist nouveau
options nouveau modeset=0
# 更新的blacklist
update initramfs -u命令得到
# 重启系统,强力保证blacklist生效
reboot
# 查看是否vouveau真的被禁止掉了,如果没有任何内容出现,那么草根驱动被禁止掉了
lsmod | grep nouveau

下载NVIDIA官方的K80显卡驱动,一般驱动都是通过deb包进行安装,但是安装后会加入OpenGL的驱动,所以必须得使用.run的文件,.run文件下载地址:https://www.nvidia.cn/Download/driverResults.aspx/135493/cn

如果不用.run方式的话,那么就会进入Linux的无限循环界面。

./XXX-NVIDIA.run --no-opengl-files

(重要的事情说三遍,这里面的-和字母之间没有空格、这里面的-和字母之间没有空格、这里面的‘-’和字母之间没有空格)

出现蓝色的背景界面,如果出现了(X server is running的现象,要注意用户态输入sudo service lightdm stop关闭桌面管理器 ),然后accept协议,接着出现the distribution provided pre-install scripts failed的提示,忽视它,然后继续安装下去,一路OK然后reboot系统,最终得到完整的gnome桌面系统。

sudo service lightdm stop

检验是否安装成功,在命令行界面下输入 nvidia-smi检验是否安装成功

nvidia-smi

二、安装源管理软件包Anaconda

下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.sh

三、Cuda安装:

1、下载CUDA

https://developer.nvidia.com/cuda-downloads 

2、安装cuda

sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb
sudo apt update
sudo apt -y install cuda

3、将CUDA路径添加至环境变量在终端输入

sudo gedit /etc/profile

在profile文件中添加:

export CUDA_HOME=/usr/local/cuda-8.0

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

source /etc/profile即可

source /etc/profile

4、验证安装成功:

nvcc -V

会得到相应的nvcc编译器相应的信息,那么CUDA配置成功了。(记得重启系统)

5、如果要进行cuda性能测试,可以进行:

cd /usr/local/cuda/samples

sudo make -j8

编译完成后,可以进samples/bin/.../.../...的底层目录,运行各类实例。

四、安装tensorflow

1、官方连接:https://www.tensorflow.org/install/install_linux

2、参考官方文档的pip源部分:

 3、pip安装的时候千万注意:

sudo pip3 install –upgrade 后面的接的gpu版本的连接,在官网文档最后面,python务必与对应的tensorflow版本对应。 

安装完后也要注意依赖库版本的修复,因为开源代码,版本库版本特别多,所以如果有版本不兼容,那么一定要进行修复,如何修复自行百度。

4、tensorflow验证:

# Python

import tensorflow as tf

hello = tf.constant('Hello, TensorFlow!')

sess = tf.Session()

print(sess.run(hello))

五、安装keras:

1、安装keras:

sudo pip install -U --pre keras

2、安装完毕后,输入python,然后输入:

 import tensorflow

 import keras

3、Kerasmnist数据集测试

下载Keras开发包

git clone https://github.com/fchollet/keras.git

cd keras/examples/

python mnist_mlp.py

程序无错进行,至此,keras安装完成。

2017-07-01 14:53:16 applecore123456 阅读数 3876
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39722 人正在学习 去看看 唐宇迪

深度学习与TensorFlow简介

深度学习简介

深度学习的由来

  • 人工智能(Artificial Intelligence)
    • 包括专家系统、机器学习等
  • 机器学习(Machine Learning)
    • 有监督学习(Supervised Learning)
      • 逻辑回归、SVM、神经网络 ……
      • 深度学习(图像识别、文字理解等)
    • 无监督学习(Unsupervised Learning)
      • 聚类K-means、降维PCA ……
  • 机器学习算法的本质
    • 计算样本输入与目标输出之间的关联性
    • 如:邮件正文中有图片 or 链接 –> 是否为垃圾邮件
  • 问题和局限性
    • 依赖于特征提取和特征表示,强烈依赖人类的先验知识
    • 特征工程费时费力,迁移能力弱

神经网络

  • 通过简单非线性函数的组合,可以拟合任意复杂的函数
  • 边的权重决定节点的组合方式,不同的组合方式得到不同的模型逻辑
  • 模型训练:BackPropagation算法
    • 通过输入训练数据不断矫正函数逻辑,使得模型的输出符合数据分布
    • 代价函数:衡量函数输出与预期之间的差距
  • playground.tensorflow.org
    text|center

深度学习(Deep Learning or Feature Learning)

  • 在神经网络基础上发展而来的表示学习方法,一种对特征的表示
  • 主要是用深度神经网络(Deep Neural Network)作为学习模型
    • 卷积神经网络(CNN)
    • 循环神经网路(RNN)
    • 生成对抗网络(GAN)
    • 深度增强学习(DRL)
  • 核心思想:构建分层的表示学习结构,使用一系列非线性变换操作,把原始数据中提取到的简单特征进行组合,得到更高层、更抽象的特征表示。例如文本理解,在浅层学习字词,中层学习句子,高层学习段落。
  • 深度的优势
    • 从原始数据中自动学习特征与特征的表示,只依赖非常少量的人工先验知识
    • 便于特征迁移,适用于更复杂的实际问题

深度学习的“深”

  • 怎么才算“深度”?
    • 多层全连接神经网络?计算量大、过拟合……
    • 串联的非线性变换的层数 or 不同的计算概念
    • 关键:是否存在多级特征提取结构
  • 为什么要“深度”?
    • 更多层的非线性变换嵌套
    • 在神经元(参数)数量相同的情况下,深层网络结构具有更大的容量,具有更庞大的表示空间
    • 多层折叠

人工智能系统的基本流程

深度学习的发展趋势

  • 数据集越来越大
    • 1998年MNIST手写数字图片数据集:11MB, 7W+张28x28像素黑白图片
    • CIFAR-10图像识别数据集:160MB,6W张32x32像素彩色图片
    • 2012年ImageNet图像识别竞赛数据集:>155GB,1400W+张大尺寸彩色图片
  • 算法模型越来越复杂
    • 2012年第一代深度学习图像识别模型 AlexNet:8层神经元
    • 2014年ImageNet竞赛冠军模型 VGG19:19层神经元
    • 2015年ImageNet竞赛冠军模型 ResNet:100~1000层神经元
  • 深度学习应用的四要素
    • 海量的训练数据
    • 灵活适用的模型
    • 足够的运算能力(GPU)
    • 足够对抗维度灾难(Curse of Dimensionality)的先验经验

TensorFlow简介

  • Google第二代深度学习系统
  • 2015年11月开源,2017年2月发布1.0.0版本
    • Github 6w star
  • 架构师 Jeff Dean
    • 领导实现 MapReduce、BigTable、Spanner
  • TF官网简介:TensorFlow 是一个基于数据流图(Data Flow Graph)的数值计算开源软件库,其灵活的架构设计可以让用户以单机或分布式的方式将计算部署在台式机、服务器,甚至是手机上。

TensorFlow的设计目标

  • 具有灵活的表达能力,能够快速实现各种算法模型
  • 高执行性能,具备分布式扩展性(GPU集群训练)
  • 跨平台可移植性
  • 实验可复现性
  • 支持快速产品化,模型可随时部署

TensorFlow的核心概念

  • 计算图(Dataflow Graph)

    • 用有向图表示计算过程
    • 边:Tensor(N维数组)
    • 节点:算子Operations(数学计算)
    • 示例:
      Markdown
  • Tensor

    • 高维数组,维数描述为阶,数值(scalar)是0阶梯,向量(vector)是1阶,矩阵(matrix)是2阶,以此类推
    • 支持多种数据类型
  • Operations

    • 主要是由Eigen矩阵计算库完成
    • 支持多种运算
      Markdown
  • Variable

    • 用于存储模型的权值
    • 每次正向计算完成之后,根据BP算法调整权值,代入下一轮计算
      Markdown
  • Session

    • 构建计算图
    • 多设备或分布式的节点布置
    • Session.run()触发
    • 编程结构
      Markdown

TensorFlow的系统架构及源码结构

  • 分布式架构
    Markdown
  • 数据并行分布式

    • 数据并行是最主要的分布式方式
    • 将训练数据分成多个 partition,每个 replica 只负责一个 partition,每个partition包括多个batch
    • 在每个replica中计算多个batch的loss和BP,得到权值更新Delta,但此时权值并未被更新
    • 权值更新Delta被上传到中心化的 Parameter Server 上,由 Parameter Server 统一更新(计算多个batch的delta均值)并分发(在replica中更新权值)
    • 值得注意的是 Parameter Server 并不是 Master,仅负责参数分发,不负责统一调度
      Markdown
  • 代码结构
    Markdown


参考资料:
1. 《深度学习原理与TensorFlow实践》电子工业出版社

2017-08-07 13:33:27 qq_23947237 阅读数 556
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39722 人正在学习 去看看 唐宇迪

暑期深度学习实训笔记


本笔记包含深度学习的整体框架的summary:

  • 机器学习的大概流程
  • 得分函数
  • 损失函数
  • 寻参K近邻与交叉验证
  • 梯度下降
  • 神经网络的基本流程

目录

(一) 机器学习的大概流程

  • 数据收集数据,加定标签
  • 训练训练分类器,完成分类任务
  • 测评测试、评估当前分类器效果

(二) 得分函数

f(xw)=f(x,w) = 每个类别的得分值。

  • x:输入
  • w:参数

score function such as f(xw)=wx+bf(x,w)=w*x+b

  • 输入高维向量经过得分函数得到一个对应于每个类别的得分数值,分数越高则代表属于该类别的概率越大。

  • 一组得分值可经过e指数放大差别,再归一化得到一个[0,1]的概率值;也可以通过s型神经元σ函数映射到[0,1]。

(三) 损失函数

得分函数的分类效果好坏需要有损失函数来评估调整。得分函数分类得分的结果是由score function的 w 参数决定的,输入的 x 通过合理的 w 得到的得分才能更接近于正确的分类。

Loss function的值越大代表分类效果越差,越小越好,为0是理想状态。在softmax分类器中概率越接近于0,loss值越大;概率接近于1,loss值越小。

loss


  • softmax函数:一组得分值可经过e指数放大差别,再归一化得到一组[0,1]的概率值。

soft max


(四) 寻参的K近邻与交叉验证

(一) K近邻(KNN)分类算法,简单的机器学习算法之一。

knn

(1) k值参数不同,分类结果不同。若K=3,由于红点所占比例为2/3,绿点将被赋予红色类,若K=5,由于蓝点比例为3/5,因此绿点被赋予蓝色类。

(2) 给定一个训练数据集:对新的输入实例,在数据集中找到与该实例最邻近的k个实例,若这k个实例中大多数属于某个类,则把输入实例分为这个类。

(3) 算法中,当训练集、距离度量、k值和分类决策规则确定后,对于任何一个新的输入实例,它所属的类唯一确定。例如图像处理对动物的分类中,取L1度量,得到度量值取前10个(k=10),根据10个当中的标签类别比例,来得出分类结果。

交叉

(二) 数据可分为traintest,数据量并不大很宝贵。充分利用数据可采用交叉验证

(1) 将数据分为train、validation、test。做法为:假设5重交叉验证,将训练集分为5份,选择其中4份作为train,另一份作为val,train经过5次同时也val经过5次,将5次的平均作为该参数下的val结果。

**t {1/2/3/4} --------- v {5}**
**t {1/2/3/5} --------- v {4}**
**t {1/2/4/5} --------- v {3}**
**t {1/3/4/5} --------- v {2}**
**t {2/3/4/5} --------- v {1}**

(2) 然后对于不同的参数,重复这样的训练。选择准确率最高的参数作为最后的参数。在训练过程中不test,最终才test。

(五) 梯度下降

  • 优化loss function,达到最优。
  • 跟随梯度去寻找山坡的最低点,梯度是山坡的一个最陡峭的方向,我们沿着这个最陡峭的方向可以最快的走到山坡的最低点。
  • 沿着梯度的反方向去走,这就是梯度下降。由于梯度方向是使得LOSS值增加幅度最大的方向,所以为了LOSS能减少就要朝着梯度下降的方向去寻找最小点。
  • 多次迭代梯度下降更新参数以致收敛,一次沿着这个梯度下降的方向走多远叫做学习率。学习率对最优化问题起着决定性的作用,因为如果学习率太大有可能有跳过最低点才寻到的不是最小值,而学习率太小又会使得网络收敛太慢。

(六) 神经网络的基本流程

神经网络

  • 1、前向传播

  • 得分 → lossloss → 正则化惩罚 → LOSSLOSS

  • 正则化就是对权重参数进行惩罚,目的就是找到一组更平滑的参数项。正则化项的结果就是对于不同权重参数 WW 进行不同力度的惩罚惩罚也就是增加其 LOSSLOSS。正则化对于整个分类模型来说非常重要,可以很有效的抑制了过拟合现象。

  • LOSSLOSS:即损失函数的最终版公式。LOSSLOSS由两部分组成的,一部分是得分函数对应的 lossloss;另一部分是正则化惩罚项值

公式

  • 参考网址:http://blog.csdn.net/tangyudi/article/details/52090167

  • 正则化,防止过拟合。λ在这里我们称做正则化参数。若λ变大说明目标函数的作用变小,正则化项的作用变大,对参数的限制能力加强,这会使得参数的变化不那么剧烈,减少代价函数对特定参数的敏感性。参数代入正则化后的代价函数,代价值比未正则化时少了。例如2个维度的参数是10和1000,相差990,都乘以1/2变成5和500,相差495。

  • 2、反向传播

  • 对于X,Y,Z若干个输入来说分别对于LOSS值做了多大的贡献,链式求导法则

  • 加法门 : 均分

  • 乘法门 : 互换

  • MAX门 : 取最大

  • 3、更新参数

1.非线性的函数:激活函数。**σ函数在某些位置斜率接近于0,在反向传播链式求导过程中梯度为0,难以更新。**因此,用MAX函数代替。

drop

2.drop-out防止过拟合。Dropout的出现很好的可以解决这个问题,每次做完dropout,相当于从原始的网络中找到一个更瘦的网络,让某些指定的神经元不参与计算和更新。让某个神经元的激活值以一定的概率p,让其停止工作。 test用全部神经元,训练只用部分。不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重需要保留仅仅只是暂时不更新而已,因为下次样本输入时它可能又要工作了。
3.权重初始化不可以全部设置为0,因为这样会导致各项参数会沿着相同的方向更新。

(七) 结尾

深度学习的基础为神经网络,基本上它的框架理清了。
2017.8.7

深度学习学习笔记

阅读数 214

没有更多推荐了,返回首页