2019-02-28 22:57:23 channelyoung 阅读数 952
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40480 人正在学习 去看看 唐宇迪

深度学习硬件配置好开始环境安装了,系统是选择tensorflow官网要求范围的当前稳定版Ubuntu Desktop 18.04.2 LTS,剩余软件版本选择基本都是最新版。

进行安装深度学习软件前先安装必要的工具

sudo apt-get install vim openssh-server vsftpd freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
 软件 版本
系统 Ubuntu Desktop 18.04.2 LTS
1. 显卡驱动 418.43
python 3.6.7
2. CUDA 10.0
3. CUDNN 7.5.0.56
4. TensorFlow 1.13.1
5. NCCL 2.4.2
6. TensorRT 5.0.2.6

 

1. 显卡驱动

官网下载选择GeForce——GeForce RTX 20 Series——GeForce RTX 2080 Ti——Linux 64-bit——English  (US)——SEARCH,本地下载到文件NVIDIA-Linux-x86_64-418.43.run。

nouveau是Linux自带的第三方开源显卡驱动,安装nvidia驱动前禁用nouveau,

查看是否有nouveau启动,如果命令

lsmod | grep -i nouveau 

返回了结果显示意味着nouveau启动了,禁用nouveau驱动:

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

在文件中添加

blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist rivatv
blacklist nvidiafb

options nouveau modeset=0

执行更新上面配置

sudo update-initramfs -u

重启系统确认是否仍在执行

lsmod | grep -i nouveau 

如果之前已安装了旧版本显卡驱动,卸载老版本

sudo /usr/bin/nvidia-uninstall

执行安装命令

sudo sh NVIDIA-Linux-x86_64-418.43.run -no-opengl-files -no-x-checks -no-nouveau-check

检查驱动是否安装

nvidia-smi

显示如下信息那就成功了。

查看驱动版本

cat /proc/driver/nvidia/version

 

2. CUDA

官网下载选择CUDA Toolkit 10.0——Linux——x86_64——Ubuntu——18.04——runfile (local),本地下载到文件cuda_10.0.130_410.48_linux.run。

没官方对应的Ubuntu版本,需要查一下页面上Ubuntu版本的gcc、g++版本。

在本地安装对应版本的gcc、g++


sudo apt install gcc-5 g++-5

调整gcc、g++的默认版本

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50 
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 50 

如果之前已安装了旧版本CUDA,卸载老版本

sudo /usr/local/cuda-9.0/bin/uninstall_cuda_9.0.pl

卸载之后,会发现 /usr/local/cuda-9.0目录下仍然有文件存在,这是cudnn文件,所以还需要将cuda-9.0文件删除干净:

sudo rm -rf /usr/local/cuda-9.0

执行安装命令

sudo sh cuda_10.0.130_410.48_linux.run

accept——n(不安装驱动)——y(默认地址)

设置系统环境变量

sudo vim /etc/profile

在文件末尾添加

export CUDA_HOME=/usr/local/cuda-10.0
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH

执行更新上面配置

source /etc/profile

检查CUDA是否安装

nvcc --version

显示如下信息那就成功了

cd $CUDA_HOME/samples/1_Utilities/deviceQuery
sudo make clean 
sudo make
./deviceQuery
 
cd ../bandwidthTest
sudo make clean 
sudo make
./bandwidthTest

Result = PASS代表验证成功。

 

3. CUDNN

官网下载选择I Agree To the Terms of the cuDNN Software License Agreement——Download cuDNN v7.5.0 (Feb 21, 2019), for CUDA 10.0——cuDNN Runtime Library for Ubuntu18.04 (Deb)——cuDNN Developer Library for Ubuntu18.04 (Deb)——cuDNN Code Samples and User Guide for Ubuntu18.04 (Deb),本地下载到文件libcudnn7_7.5.0.56-1+cuda10.0_amd64.deb、libcudnn7-dev_7.5.0.56-1+cuda10.0_amd64.deb、libcudnn7-doc_7.5.0.56-1+cuda10.0_amd64.deb。

执行安装命令

sudo dpkg -i libcudnn7_7.5.0.56-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.5.0.56-1+cuda10.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.5.0.56-1+cuda10.0_amd64.deb

检查CUDNN是否安装

cd /usr/src/cudnn_samples_v7/mnistCUDNN
sudo make clean
sudo make
./mnistCUDNN

显示如下信息那就成功了

 

4. TensorFlow

官网下载选择版本

执行安装命令

pip3 install --upgrade tensorflow-gpu==1.13.1

检查TensorFlow是否安装

python代码

import tensorflow as tf
# Creates a graph.
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

显示如下信息那就成功了

 

5. NCCL

官网下载选择I Agree To the Terms of the Software License Agreement——Download NCCL v2.4.2, for CUDA 10.0, Jan 29,2019——Local installer for Ubuntu 18.04,本地下载到文件nccl-repo-ubuntu1804-2.4.2-ga-cuda10.0_1-1_amd64.deb。

执行安装命令

sudo dpkg -i nccl-repo-ubuntu1804-2.4.2-ga-cuda10.0_1-1_amd64.deb

检查NCCL是否安装

         官网下载测试源码

cd nccl-tests-master
make CUDA_HOME=/usr/local/cuda-10.0 NCCL_HOME=/usr
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 2

显示如下信息那就成功了

 

6. TensorRT

官网下载选择I Agree To the Terms of the NVIDIA TensorRT License Agreement——Download NCCL v2.4.2, for CUDA 10.0, Jan 29,2019——TensorRT 5.0.2.6 GA for Ubuntu 1804 and CUDA 10.0 DEB local repo packages,本地下载到文件nv-tensorrt-repo-ubuntu1804-cuda10.0-trt5.0.2.6-ga-20181009_1-1_amd64.deb。

执行安装命令

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda10.0-trt5.0.2.6-ga-20181009_1-1_amd64.deb

 

 

 

 

2017-02-04 20:51:36 JasonZhangOO 阅读数 11421
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40480 人正在学习 去看看 唐宇迪

去年下半年看了相关目标检测的论文,一些传统的算法,一些CVPR,TPAMI,ECCV,ICCV,,NIPS,比较前沿的进展,主要都是基于深度学习卷积神经网络方面的,包括RCNN,SPP-NET,Fast-RCNN,Faster-RCNN,以及YOLO,SSD,然后明天准备正式开始搞学术了,争取早点把论文发出来。

趁着放假回家的时间,做点前期准备工作,深度学习方面的框架有caffe,torch,mxnet,kerse,还有最近比较大热的TensorFlow,感觉tf会持续popular,所以准备搭建一个玩玩,但是相关比较新的目标检测框架都是首先基于caffe开发的,caffe对于图像方面的库比较多,稳定,所以搭建一个caffe也是必不可少,好像tf也是可以调用caffe框架模型的(没用过)。

装双系统之step one:http://blog.csdn.net/jasonzhangoo/article/details/54865974

装显卡驱动之step two(很多同学都是因为这步而放弃深度学习的):http://blog.csdn.net/jasonzhangoo/article/details/54866049

Ubuntu16.04下安装caffe和TensorFlow的cpu版本之step three:http://blog.csdn.net/jasonzhangoo/article/details/54866074

Win10下安装caffe的GPU版本之step four:http://blog.csdn.net/jasonzhangoo/article/details/54866120

windows安装配置faster-rcnn之step five:http://blog.csdn.net/jasonzhangoo/article/details/54866174

 

经过这一个礼拜的折腾,下面我把我自己的相关配置经验记录下来与大家分享。最初是在VMware中安装了Ubuntu和Centos,但是发现虚拟机中是不可以用本机GPU的,后期深度学习需要借助GPU,只用CPU会十分缓慢。正好这段时间先在虚拟机上折腾学习了Linux,然后这段时间安装双系统就会得心应手。

装双系统之step one:

Available:ubuntu-16.04-desktop-amd64.iso系统镜像,u盘一个,刻录系统到u盘工具UltraISO,设置引导工具easyBCD

我原装是win10系统在c盘的ssd,另外开辟一个100g左右的空间给Ubuntu,使用u盘安装,刚开始装的Ubuntu14.04,但是可能是我的ios镜像的问题,装完之后进去没有无线驱动,没有wlan0,又要更新,然后很坑的是学校的有线网需要登录的客户端,装wine又有问题,索性直接找同学的最新的Ubuntu16.04安装,最后安装成功,没有问题。


1.当然在安装过程中这一步可以看情况,一般没有连接到网络,不用选安装第三方软件,直接点继续。

 

2.这一步非常重要,记住点其他选项,很多人把原来的Windows系统搞没了就是选的第一个吧?

3.分配盘符时,选定空闲磁盘,点击+

先设置swap交换分区新分区的类型:逻辑分区

新分区的位置:空间起始位置,

用于:交换空间,网上认为是物理内存的2倍,其实2g就已经够用,我分配了8g

 

设置boot分区,这里是用来设置启动引导的,大小:200MB(笔者暂时设置为200MB)

新分区的类型:逻辑分区

新分区的位置:空间起始位置

用于:EXT4日志文件系统

 

设置”/”根分区,很多默认的系统应用后面会安装到这里

大小:尽量大些

新分区的类型:主分区

新分区的位置:空间起始位置

用于:EXT4日志文件系统

 

设置/home分区,这里相当于存储自己的东西,有点类似win下的d,e,f盘

大小:(剩余全部空间,剩下显示多少,就多少)

新分区的类型:逻辑分区

新分区的位置:空间起始位置

用于:EXT4日志文件系统

 

很重要的一点记住选择/boot对应的盘符作为安装启动引导器的设备,务必保证一致:

 

4.安装过程一头一尾要注意,一个是记住是进入高级启动中关闭安全启动(secure boot),我才开始直接重启电脑进入bios中关闭,是有问题的(反正我是这样);在安装结束之后记得设置引导,不然每次开机还是直接进入win10系统。Tip:easybcd和UltraISO最好选比较新的版本,网上直接搜的可能有些是比较旧的版本,有些会出问题的

 

整个安装过程可以参考http://www.jianshu.com/p/2eebd6ad284d

安装完成后,连接wifi的时候切记不要像我一样连着网线,windows可以连着网线连接wifi,但是ubuntu中会默认一直连接有线网

连接网络之后一些功能需要完善,比如看视频安装adobe flash player 可以参考这个http://jingyan.baidu.com/article/2fb0ba40a7832600f2ec5f80.html

一开始进去没有回到桌面图标,每次开很多东西要回到桌面总是要把所有打开的页面最小化再到桌面,而且用win+a进入dash也没有,添加回到桌面图标参考http://wenda.so.com/q/1461239608720620

原来16.04自带vi,但是光标移动不适应,还是需要vim,安装升级vim参考http://www.linuxdiyf.com/linux/22322.html

安装pycharm需要jdk环境,参考http://www.linuxdiyf.com/linux/27851.html

ubuntu中自带python2.7.11,安装pycharm参考http://blog.csdn.net/qq_33880788/article/details/51479564


2018-03-05 14:50:12 free356 阅读数 5355
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40480 人正在学习 去看看 唐宇迪

基于深度学习的推荐系统研究

论文信息:北京邮电大学   陈达  14年硕毕论

目的:深度网络学习算法应用到推荐系统

为此工作:

1)研究分析基于内容的推荐系统和基于协同过滤的推荐系统,包括基于相似度的最近邻方法朴素贝叶斯方法潜在因素的矩阵分解方法,分析了各自的优缺点

2)研究一个典型的深度网络模型——多层受限波兹曼机(DBN

3)将深度网络与传统协同过滤方法相结合,建立一个新的深度网络混合模型,采用有限步吉布斯采样的最小化散度差算法对深度模型的似然函数求解,可以训练一个深度网络系统

4)在多个数据集上,将此方法和传统方法进行对比,证明深度网络学习方法在特征提取上具有不错能力,用在推荐系统上比协同过滤方法有更好的抗噪性和有效性。 

内容一(传统算法优缺点)

1,基于内容的推荐算法:TF-IDF,朴素贝叶斯。

2,基于协同过滤的推荐算法:根据相似用户的最近邻,潜在因素的矩阵分解。

内容二(深度网络结构):

背景知识1神经网络的神经元,sigmoid神经元

              

                                    

对于一个单层的推断结构利用梯度下降的方式学习权值:

         

上述公式中,字母依次分别代表学习速率,0,1二值,推断的概率。

背景知识2波兹曼机

波兹曼机是由随机神经元函数(sigmoid)组成的随机机器,每个节点的状态只能是“开”和“关”两种状态,用01来表示,这里的01状态的意义是代表了模型会选取哪些节点来使用,处于激活状态的节点被使用,未处于激活状态的节点未被使用。节点的激活概率由可见层和隐藏层节点的分布函数计算。其神经元分成两部分功能组一一下面一层的可见层神经元和上面一层的隐含层祌经元。在网络的训练阶段所有的可见神经元都被钳制在环境所决定的特定状态,而隐藏神经元总是自由运行的。

 

背景知识3波兹曼机统计力学与吉布斯分布

有许多自由度的物理系统,它可以驻留在大量可能状态中的任何一个。P表示状态概率,E表示状态的能量(PE一一对应),当系统和周围环境处于热平衡状态时一个基本的状态的发生概率为:

 

其中T为幵尔文绝对摄氏度,K为波兹曼常数,再根据概率之和为1可以得到在某个状态E下联合概率分布函数:

 

上述分布即符合吉布斯分布。吉布斯分布一个重要的性质:能量低的状态比能量高的状态发生概率较高。

背景知识4受限波兹曼机

普通波兹曼机简化成了受限波兹曼机,受限波兹曼机隐含层与隐含层之间无连接,可见层与可见层之间无连接,如下:

 

在可见层和隐含层加入了偏好之后的受限波兹曼机的联合能量函数为:

 

其中i,j分别为可见层和隐含层神经元的个数,a可见层偏好,b为隐含层偏好,w为可见层和隐含层的连接权值。而可见层单元根据不同的应用情景有不同的取值范围和不同的神经元函数。

整个网络在状态X下的概率用能量函数表示:

 

这里注意vh为可见层向量和隐含层状态向量,状态X下的联合概率分布为:

 

由于隐含层与隐含层之间无连接,可见层与可见层之间无连接,更重要的性质是:当给定了可见层的数据之后隐含层之间是条件独立的,给定了隐含层的数据之后可见层之间是条件独立的。

当给定可见层状态时,隐含层的某一个单元处于“激活”态概率为:

 

当给定隐含层状态时,可见层某一单元处于“激活”态概率为:

 

背景知识5多层波兹曼机

 

该图的最下层为可见层V,可见层之上的均为隐含层H,在多层情况下以三层为例,整个网络的联合能量函数为:

 

网络在状态X下的联合概率

 

在深度置信网络中利用最顶两个隐含层作为无向的关键记忆层(如图的双向箭头),将关联记忆表征的信息可以通过网络的重构反应到整个网络的参数上去,这样就可以进行“重复”学习的过程。

J表示可见层的输入数据,通常来说波兹曼机的运行状态分为两个阶段:

1,正向推断,这时整个网络在钳制环境下即在输入数据的直接影响下运行;

2,负向阶段,这个阶段中网络自由运行,隐含层不断自行推断进行状态转移,并且没有环境输入。那么深度结构波兹曼机的整个网络快速学习权值过程大致如图所示:

 

上图显示了一个快速的学习过程,向上的箭头表示利用该层钳制的数据和权值正向推断的过程,向下的箭头表示作为生成模型,模型重构出来的数据,而且网络的参数是一层一层地向上学习,也就是说当底层参数学习完毕后,将底层向上正向推断的数据作为可见层数据,再向上正向推断学习。

理解参考:https://www.cnblogs.com/jhding/p/5687696.html

内容三(深度结构模型的推荐算法):

一:深度模型

将深度波兹曼机的模型和传统最近邻的方法相结合,利用深度波兹曼机对高维数据的特征抽象表达能力和最近邻直观的而快速的打分预测能力,组成一个新的模型,对己存在的方法进行改进和提升,使其能够充分利用两个模型中出色特点避免两者中的缺点,扬长避短。

 

绿色框部分代表深度学习结构,用模型对训练数据进行输入,并利用无监督学习的方法训练深度网络,该深度模型一共有四层,包括可见层v1,隐含层h1、隐含层h2和隐含层h3,而顶层与隐含层h3形成无向的关联记忆层。

当数据通过深度结构进行深层映射后,从原来的M维(M为输入数据的维度)变成了最顶层的K维数(K为深度模型最顶层神经元的维度),这样我们认为原来高维数据通过特征探测群进行映射后,将数据内部隐含的特征映射到K维空间中。

比如,对于电影打分数据,我们将映射后的K维空间可以理解成该用户对M部电影的偏好特征,1-K个维度分别代表用户喜爱某个演员的程度、喜欢某个类型影片的程度、喜欢某个导员的程度等等,在这K个维度上我们对每个用户的数据进行聚类或者相似度比较,则相似度比较的结果往往比用原始数据进行比较的准确度要高。

二:多层模型的训练方法

要确定这个模型要知道模型的三个参数,下面就围绕着参数的求解进行分析。

参数求解用到了似然函数的对数对参数求导。由于从可知,能量E和概率P是成反比的关系,所以通过最大化P,才能使能量值E最小。最大化似然函数常用的方法是梯度上升法,梯度上升法是指对参数进行修改按照以下公式:

 

通过求关于的导数,即,然后对原值进行修改。如此迭代使似然函数P最大,从而使能量E最小。

对数似然函数对参数求导分析:

首先是对数似然函数的格式: 表示模型的输入数据。然后对里的参数分别进行求导,详细的推导过程就不写了:

 

由于上面三式的第二项中都含有 中仍然含有参数,所以它是式中求不出来的。所以,有很多人就提出了一些通过采样逼近的方法来求每一个式子中的第二项。

求解的算法:

1 Gibbs采样算法

因为在上一章节末尾讲对参数的求导中仍然存在不可求项表示可见层节点的联合概率。所以,要想得到 的值,就得要逼近它,求它的近似值。

Gibbs采样的思想是虽然不知道一个样本数据的联合概率P(x),但是知道样本中每一个数据的条件概率 (假设每一个变量都服从一种概率分布),则我可以先求出每一个数据的条件概率值,得到x的任一状态 。然后,我用条件概率公式迭代对每一个数据求条件概率。最终,迭代k次的时候,x的某一状态将收敛于x的联合概率分布P(x)

对于RBM来讲,则执行过程如图3所示:

                

3 Gibbs采样过程

求解过程是:假设给我一个训练样本v0,根据公式  h0中每个节点的条件概率,再根据公式 v1 中每个节点的条件概率,然后依次迭代,直到执行K步(K足够大),此时的概率将收敛于P(v)的概率。如下所示:

                           

 2CD-k算法

CD算法是需要k次(k=1Gibbs采样对可见层节点进行重构得到可见层节点的概率分布。其思想是:假设给模型一个样本v0,通过求所有隐藏层节点的概率值,然后每一个概率值和随机数进行比较得到每一个隐藏层节点的状态,然后通过公式求每一个可见层节点的概率值,再由求每一个隐藏层节点的概率值。最后参数梯度的计算公式变为:

 

其中,μ是学习率,datarecon分别表示训练数据的概率分布和重构后的概率分布。

通过以上方法都可以求出参数的梯度来,由每一个参数的梯度对原参数值进行修改来使模型的能量减小。

内容四(MovieLens数据集实验):

Movielens数据集:943个用户,1682部电影,100000条评分。

该数据有四列,第一列为评价序号,序号数最大为1000000,第二列代表用户的ID,第三列代表项目的ID,第四列代表用户对该项目的评价,通常来说,评价一般分为15五个等级,用户对物品的喜爱程度由小到大。

1,数据预处理

在该数据中按照百分比抽样,形成训练数据和测试数据。将数据形成一个943*1682的矩阵形式。

2,算法设计与实践

对于每一个用户的数据,分别建模,输入到模型中迭代调整权值,于是对于任意一个输入,我们需要将用户的打分数据形成softmax结构的输入,这里我们采用一个三维矩阵uatrainF(k,uraw,col)来记录softmax模型,其中K代表该列中的第Ksoftmaxurawcol分别代表原始矩阵的行和列,当数据进入模型时将uatrainF(k,uraw,col)的第二维(用户)抽取出来,输入模型算法,如下:

 

上图表示了一个可见层为softmax的两层波兹曼机模型的训练算法流程图,在初始化阶段,我们需要对模型的众多参数进行初始化,这些参数包括:权值学习速率、可见层偏好学习速率、隐含层偏好、权值代价因子、权值记忆因子、以及连接权值参数、可见层偏好、隐含层偏好,这些随机初始化的方法通常利用均匀分布随机数,或者标准正态分布随机数。进入迭代之后,进行正向推断和反向推断

对深度模型的建模工作,可利用上述两层波兹曼机的建方法,只是除了在第一层和第二层网络上与上述方法相同,第二层到顶层,隐含层神经元釆用的都是普通的{0,1}二值的神经元图的过程称为两层之间的预训练那么深度结构在相邻的两层之间都会有预训练的过程,由于我们的训练数据并没有标签数据,于是该模型不同于DBN—样存在着微调反馈这一阶段。模型算法流程图如图所示:

 

在预学习阶段,下一层隐含层的输出均作为上一层隐含层的输入。,将原来高维数据通过无监督学习在低维度重新表征出来。其中该网络的H1H2H3的维度分别为1000,500250,V1的维度即为输入矩阵的列数1628关于每一层神经元的个数的确定可参考上述链接指出,深层网络的中间层神经元较多时效果较好。接下来,对该低维数据重新进行相似度计算利用基于相似度计算的方法进行数据重构。

3实验结果评价方法

采用均方根误差(RMSE)来衡量真实评分数据和预测的评分数据的差距。

 

 

内容论文改进):

1MATLAB上运行,内存不够。

2,在Hadoop平台上的并行化。

2018-12-24 22:12:24 dqefd2e4f1 阅读数 90
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40480 人正在学习 去看看 唐宇迪

现象:最近特别紧张,买了很多有关深度学习的书,目的是希望快速上手深度学习项目,然而现在一本书也没看。

情况:对深度学习,机器学习的理论知识有了大致了解,对CNN,RNN模型的运行机制有了部分认识。

诉求:希望按照自己的想法快速建立一个深度学习系统。

困惑:不知道如何快速建立一个深度学习系统,从哪里做起。

解决:我听说Keras可以快速建立一个深度学习系统,不知道是不是真的。

推荐博文:https://gitbook.cn/books/5994670facae7150950eb8b0/(零基本用keras快速搭建深度学习系统)

如果有哪位大虾有更好的建议,请留言!!!THANK YOU VERY MUCH!

2018-04-08 15:40:25 caicai2526 阅读数 507
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40480 人正在学习 去看看 唐宇迪

转载深度学习学习系列的一些文章

1、

系统学习深度学习(一) --深度学习与神经网络关系

https://blog.csdn.net/app_12062011/article/details/54311945

2、

系统学习深度学习(二) --自编码器,DA算法,SDA,稀疏自编码器

https://blog.csdn.net/app_12062011/article/details/54312880

3、

系统学习深度学习(三) --RBM及DBN

https://blog.csdn.net/app_12062011/article/details/54313082

4、

系统学习深度学习(四) --CNN原理,推导及实现源码分析

https://blog.csdn.net/app_12062011/article/details/54374893

5、

系统学习深度学习(五) --递归神经网络原理,实现及应用

https://blog.csdn.net/app_12062011/article/details/54406225

6、

系统学习深度学习(六) --LSTM总结

https://blog.csdn.net/app_12062011/article/details/54424986

7、

系统学习深度学习(七)--主流深度学习开源框架对比

https://blog.csdn.net/app_12062011/article/details/54691945

8、

系统学习深度学习(八)--损失函数

https://blog.csdn.net/app_12062011/article/details/56276228

9、

系统学习深度学习(九)--激活函数总结

https://blog.csdn.net/app_12062011/article/details/56277622

10、

系统学习深度学习(十)--优化算法

https://blog.csdn.net/app_12062011/article/details/56280154

11、

系统学习深度学习(十一)--dropout,dropconect

https://blog.csdn.net/app_12062011/article/details/57075459

12、

系统学习深度学习(十二)--池化

https://blog.csdn.net/app_12062011/article/details/57075538

13、

系统学习深度学习(十三)--Batch Normalization

https://blog.csdn.net/app_12062011/article/details/57083447

14、

系统学习深度学习(十四)--权重初始化Xavier

https://blog.csdn.net/app_12062011/article/details/57956920

15、

系统学习深度学习(十五)--AlexNet译文

https://blog.csdn.net/app_12062011/article/details/59480658

16、

系统学习深度学习(十六)--Overfeat

https://blog.csdn.net/app_12062011/article/details/60956357

17、

系统学习深度学习(十七)--VGG模型

https://blog.csdn.net/app_12062011/article/details/60962978

18、

系统学习深度学习(十八)--NIN模型

https://blog.csdn.net/app_12062011/article/details/62041254

19、

系统学习深度学习(十九)--GoogLeNetV1,V2,V3

https://blog.csdn.net/app_12062011/article/details/62216987

20、

系统学习深度学习(二十)--ResNet,DenseNet,以及残差家族

https://blog.csdn.net/app_12062011/article/details/62221296

21、

系统学习深度学习(二十一)--GoogLeNetV4与Inception-ResNet V1,V2

https://blog.csdn.net/app_12062011/article/details/62423307

22、

系统学习深度学习(二十二)--CNN经典模型总结

https://blog.csdn.net/app_12062011/article/details/62886113

23、

系统学习深度学习(二十三)--SqueezeNet

https://blog.csdn.net/app_12062011/article/details/64122961

24、

系统学习深度学习(二十四)--WRN

https://blog.csdn.net/app_12062011/article/details/64125729

25、

系统学习深度学习(二十五)--CNN调优总结

https://blog.csdn.net/app_12062011/article/details/64439627

26、

系统学习深度学习(二十六)--R-CNN

https://blog.csdn.net/app_12062011/article/details/67632620

27、

系统学习深度学习(二十七)--SPPNet

https://blog.csdn.net/app_12062011/article/details/67633231

28、

系统学习深度学习(二十八)--Fast R-CNN

https://blog.csdn.net/app_12062011/article/details/67636174

29、

系统学习深度学习(二十九)--Faster R-CNN

https://blog.csdn.net/app_12062011/article/details/67638161

30、

系统学习深度学习(三十)--BiLSTM

https://blog.csdn.net/app_12062011/article/details/76837680

31、

系统学习深度学习(三十一)--CTC

https://blog.csdn.net/app_12062011/article/details/76886954

32、

系统学习深度学习(三十二)--YOLO v1,v2,v3

https://blog.csdn.net/app_12062011/article/details/77554288

33、

系统学习深度学习(三十三)--SSD

https://blog.csdn.net/app_12062011/article/details/77922174

34、

系统学习深度学习(三十四)--ConvNets目标检测概述

https://blog.csdn.net/app_12062011/article/details/77936715

35、

系统学习深度学习(三十五)--DenseBox

https://blog.csdn.net/app_12062011/article/details/77941343

36、

系统学习深度学习(三十六)--G-CNN

https://blog.csdn.net/app_12062011/article/details/77941452

37、

系统学习深度学习(三十七)--MultiPathNet

https://blog.csdn.net/app_12062011/article/details/77941771

38、

系统学习深度学习(三十八)--CRAFT

https://blog.csdn.net/app_12062011/article/details/77944957

39、

系统学习深度学习(三十九)--OHEM

https://blog.csdn.net/app_12062011/article/details/77945600

40、

系统学习深度学习(四十)--MS-CNN

https://blog.csdn.net/app_12062011/article/details/77945816

41、

系统学习深度学习(四十一)--PVANet

https://blog.csdn.net/app_12062011/article/details/77946989

42、

系统学习深度学习(四十二)--FPN

https://blog.csdn.net/app_12062011/article/details/77947444

43、

系统学习深度学习(四十三)--SoftNMS

https://blog.csdn.net/app_12062011/article/details/77963494

44、

系统学习深度学习(四十四)--Mask R-CNN

https://blog.csdn.net/app_12062011/article/details/77964392

45、

系统学习深度学习(四十五)--FCN

https://blog.csdn.net/app_12062011/article/details/77964511

46、

系统学习深度学习(四十六)--R-FCN

https://blog.csdn.net/app_12062011/article/details/79737363




深度学习框架汇总

阅读数 1583

没有更多推荐了,返回首页