2020-03-16 18:06:47 Sebastien23 阅读数 224
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40544 人正在学习 去看看 唐宇迪

利用远程云服务器跑深度学习模型主要有三个问题需要解决。

一是深度学习环境的搭建,二是已搭建环境的保存,三是远程数据的传输。

深度学习环境的搭建

以阿里云为例,在购买服务器创建实例时,可以在镜像市场选择购买已经配置好环境装好驱动的镜像。其优点是可以省去大量自己配置环境和安装显卡驱动的时间;而缺点在于不能自己选择深度学习框架和其它软件的版本,在后续自己安装其他软件或者函数库时可能发生兼容问题。

对于一台新购买的云服务器,深度学习环境的搭建无外乎安装Anaconda、TensorFlow或PyTorch,以及其他用于数据处理的库,例如numpy/pandas/matplotlib/sklearn/jupyter notebook,等等。另外还可根据需要安装keras,以及显卡驱动。

Tensorflow与Python/GCC/CUDA/cuDNN的版本对应关系

Tensorflow与Keras的版本对应关系

具体教程在此不一一赘述。

 

已搭建环境的保存

对于自己配置环境的云服务器,可以制作自定义镜像保存,以便在释放实例后再次创建其他实例时可以快速创建环境。在每次创建实例时选择按量付费,选择自定义镜像,做玩一次实验后对数据做好备份(保存快照或者远程传输到本地电脑),然后释放实例。如此可以将费用降到最低。

根据实例创建自定义镜像

根据自定义镜像创建实例

 

远程数据的传输

在运行深度学习模型时,为了防止长时间无操作而导致远程连接断开,可以让模型在后台运行。

source activate tensorflow_env # 激活深度学习环境
nohup jupyter notebook & # 后台运行并将数据保存到nohup.out文件中
nohup jupyter notebook --allow-root & # 如果是root用户

ps -aux | grep jupyter # 查看jupyter notebook进程号,假设是1842
kill -9 1842 # 停止后台运行

如果需要远程传输数据,可以安装putty/scp/pscp。本地Windows系统请安装pscp.exe,将其放在C:\Windows\System32\文件夹下。

# 将Windows本地的file.txt上传到远程Linux服务器
# 服务器文件路径为:用户名@服务器公网IP:文件路径
pscp E:\jupyter_notebook\workplace\file.txt root@服务器公网IP:/root/workplace

# 将远程服务器上的数据下载到本地Windows文件夹
pscp root@服务器公网IP:/root/workplace/data.npy E:\jupyter_notebook\workplace\data.npy

以上。

 

参考文章

https://blog.csdn.net/Lo_Bamboo/article/details/78601328

2017-05-19 11:29:57 fk1174 阅读数 4258
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40544 人正在学习 去看看 唐宇迪

1,AWS注册过程省略。
2,按照TensorFlow官网搭建virtualenv
不知为何找不到apt-get这里用yum

sudo yum install python-pip python-dev python-virtualenv
virtualenv --system-site-packages ~/tensorflow
source ~/tensorflow/bin/activate

然后

pip install --upgrade tensorflow

会报错: Could not find any downloads that satisfy the requirement tensorflow
No distributions at all found for tensorflow
原因是pip版本低,更新pip:

pip install --upgrade pip

运行会报错:ImportError: No module named sklearn.utils

sudo yum install build-essential python-dev python-setuptools python-numpy python-scipy libatlas-dev libatlas3gf-base

pip install --user --install-option="--prefix=" -U scikit-learn

报错:ImportError: No module named scipy

pip install --user numpy scipy matplotlib ipython jupyter pandas sympy nose

报错:unable to execute ‘gcc’: No such file or directory

yum groupinstall 'Development Tools'

再次运行程序报错:MemoryError

2019-04-28 20:52:55 qq_36665643 阅读数 1805
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40544 人正在学习 去看看 唐宇迪

深度学习如何在云服务器中搭建环境


作者:Ruci

在深度学习中,难免会碰到电脑带不起的情况。这时,可以去网上购买云服务器使用。由于本人,在一次跑程序时,跑不起来。问向了导师,导师给我了一个云服务器。我看了一脸蒙蔽,于是乎。决定专门学习一下云服务器的使用。我相信,做这一行,以后难免会用到。

1、购买云服务器
2、下载远程连接的各种软件
3、搭建开发环境

一、购买云服务器
关于买哪一个云服务器好,我是初学者,不懂太多。不做深入评价。
买云服务器的地方有很多。比如:阿里云,腾讯,谷歌都有

下面是我买的一个专门学习的云服务器
这是我买的腾讯的云服务器,配置不高,跑深度学习肯定是不行的。买来只是为了学习一下

这样就相当于ok了。记住云服务器四个信息:
1、主机名; 2、公网IP地址; 3、自己设置的密码; 4、服务器云端口号

二、下载软件
主要有两款软件:Xshell、Xftp
链接:https://pan.baidu.com/s/1lBN-kpc--i8L2Ow_7zCTOg
提取码:3fs5
下载好,安装就好

我们先打开Xshell
输入三个信息
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
就ok!

再打开Xftp
在这里插入图片描述

三、搭建编程环境
由于,做深度学习,需要很多科学计算学习包。以及深度学习框架(tensorflow)
我这里选择的是下载Anaconda

方法一:
云服务器直接安装:

下载Anaconda

wget https://repo.continuum.io/archive/Anaconda2-4.4.0-Linux-x86_64.sh

安装:

 bash Anaconda2-4.4.0-Linux-x86_64.sh

验证:终端输入

anaconda

在这里插入图片描述
在这里插入图片描述

方法二:
我们可以用自己电脑去网站下载Anaconda
然后用Xftp传进云服务器就ok了
安装和上面一样。

以后肯定需要搭建gpu环境,这里我就不搭了。。我买的这个服务器。不适合

2017-03-17 23:42:41 bjkite 阅读数 3942
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40544 人正在学习 去看看 唐宇迪

在云上玩深度学习

1. 为什么我要在云上玩深度学习?

人工智能随着Alpha-Go的轰动效应以及各大互联网巨头的高调追捧,迅速成为人们关注的焦点。本人有幸一直从事图像内容理解方面的研究和开发工作,对于计算机视觉、机器学习以及最近大热的深度学习都有一些理论基础和实践经验。虽然这些技术都非常有价值,个人也非常喜欢钻研,但是之前从来没觉得会成为今天这样的“鸡血”,能让全世界都兴奋起来。直到最近,一些搞APP前端开发、测试甚至刚刚开始学计算机编程语言的朋友都开始在问我相关的问题,准备自己体验一下训练个模型是啥感觉的时候,我真的体会到了人工智能已经让所有人躁动起来了。不管出于什么目的,大家的热情对于人工智能最终成为现实是有积极意义的。我出于帮朋友的目的,希望给他们找一条方便快捷的得到成就感的路线。
云,真是个好东西。“云+人工智能”是我最看好的模式。在这里我又要佩服阿里的眼光。云提供无处不在的运算能力,人工智能借力云计算,可以更便捷的为需要的人提供服务。
为了践行自己的观点,也为了让大家能够体验“云+人工智能”的力量,我带大家在云端玩一把深度学习。之所以称之为“玩”,是因为这次纯属入门级别,不涉及理论创新,不涉及技术革新,能把现有的东西run起来就好。
我有句话一直想说:“不要以为能够跑起几个深度学习的demo就以为自己懂了。还早着呢!”我还有一句话一直想说:“不要以为懂深度学习就了不起,它终将成为一个人人唾手可得的工具!”
走起!

2. 内容提要

  • 开通云服务器
  • 利用docker快速搭建caffe环境
  • 深度学习玩起来

3. 开通云服务器
现在云服务已经非常普及,相信很多朋友都用过。但是作为入门,我还是在这里多唠叨两句,目的是让没玩过的朋友也能尝试其中的乐趣。目前国内体验比较好的云服务当属阿里云。我们就以阿里云为例,开始我们的云端之旅。
第一步:申请阿里云账号https://www.aliyun.com —— 阿里云首页地址,可以注册新账号或者以支付宝账号登录。
第二步:登陆进阿里云官网,定制购买各种云计算资源。如下图所示:
云服务购买入口

    我购买的配置是: 
    CPU: 2核    内存: 4096 MB    (I/O优化)  5Mbps  专有网络 操作系统选择的CentOS 64位的最高版本
    包年优惠价格在3000多元。

看到后面那个GPU云服务器没?好用是好用,就是贵,一个月好几千呢。我们就不这么奢侈了,就在CPU上玩玩吧,原理是一样的,差的就是速度!速度!速度!

第三步:启动实例
启动云服务器实例很简单。购买了一台云服务器之后,点击页面左上角的“管理控制台”。进入如下页面:

控制台

可以看到你拥有的实例及其运行状态。点击左侧的“实例”,进入管理页面,如下:

这里写图片描述

这里将列出你所有实例的详细信息。有用的就是最右侧的“更多”,点击之后可以看到各种控制命令。“启动” 点一下就可以实际启动你的云服务器了。点击“远程连接”,即可进入shell控制台,进行各种操作了。其中涉及到多个密码,请按照阿里的帮助文档进行设置。让我们看一眼云服务器进去是啥样的:

网页版控制台

通过上述的远程连接进行操作虽然可以通过浏览器随时随地的管理你的云服务器,但是毕竟是网页版,功能有限。要是想用的爽,还是建议用个SecureCRT之类的,用起来就和自己家的台式机差不多了。注意,在进行连接的时候,要用你的云服务器的公网地址(在购买的时候选择有独立的公网IP),用内网地址是连不上的。

4. 利用docker快速搭建caffe环境

如上文所述,你现在就拥有了一台位于云端的个人服务器。你可以在任何可以上网并可以打开浏览器的终端上进入自己的服务器,开始各种好玩的实验。是不是很酷?更酷的还在后面!
为了实现我们玩深度学习的目标,我们需要一个深度学习框架,其实就是一套软件,构成一个设计、训练、验证、部署各种深度神经网络的集成环境。目前大家耳熟能详的应该有caffe,tensorflow等。在实际处理问题的时候,有时我们需要在不同框架下切换,例如我们急需解决一个问题的时候,现成的算法可能是用caffe搞的,而另一个等你解决的问题,现成的算法又是用tensorflow搞的。如果我们都想试试看,那在一台机器上折腾还是很烦的,要处理各种依赖、版本冲突等问题。而docker就可以帮助我们轻松实现在不同框架下的灵活切换。因为它把一切需要的东西打包到一个容器里,一个容器就是一个独立的开发环境。不同的环境可以放到不同的容器里,互不干扰,可以并行工作。忙活的就是你自己了,可以一会儿玩玩caffe,一会儿玩玩tensorflow,不亦乐乎。

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。

让我们一步一步在docker里面构建起我们的caffe框架。

4.1安装Docker
Docker官网给出了详细的安装教程:
https://docs.docker.com/engine/installation/linux/ubuntulinux/
这里有各种操作系统版本的安装教程,选择符合自己的即可。由于我安装的是CentOS,在这里就以在此环境下的Docker安装为例,让大家有所感受。Docker目前有两种版本供选择,一种叫做Docker CE,另一种叫做Docker EE。我们自己玩用Docker CE就够了,Docker EE是企业版。

第一步:安装yum-utils,主要是为了能够使用yum-config-manager,使用如下命令就行了:
$sudo yum install -y yum-utils 这里要使用root权限

第二步:
$ sudo yum-config-manager –add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

第三步:更新yum package index
$ sudo yum makecache fast

第四步:安装最新版本的docker
$sudo yum install docker-ce

4.2在docker里面玩转caffe
在caffe官网上已经提供了创建caffe镜像所需的Dockerfile,运行如下命令拉取此镜像:
$docker pull bvlc/caffe:cpu
这里拉取的是CPU版本的镜像,如果机器带GPU,则可以将cpu换成gpu,获取支持gpu的版本。拉取成功以后,按照如下步骤搭建起自己的caffe:

第一步:测试安装是否成功:
$ docker images 可以看到已经安装的镜像,要是包含 bvlc/caffe 的镜像说明安装都成功了

第二步:以交互方式运行caffe容器
$ sudo docker run -t -i bvlc/caffe:cpu /bin/bash
再次回车以后如果你看到命令行的主机名变成了如图所示的样子,说明你已经成功进入到了容器的运行环境中了。root后面的那串编码就是容器id。
这里写图片描述

在主机控制终端敲入如下命令,可以看到你正在运行的容器情况:
$sudo docker ps

再加个 -a 选项,可以看到全部的容器,包括运行的和退出的。

容器中的caffe的主路径在 /opt/caffe下。
这里写图片描述

到这里,caffe已经可以用了,你已经可以自由的飞翔了!

5. 深度学习玩起来
为了让初次接触深度学习的朋友能体验一下深度学习的魅力,以一个简单的例子作为演示。

第一步: 在caffe容器中进入到caffe的mnist数据目录,路径为 caffe/data/mnist
ls 一下你会看到一个get_mnist.sh脚本。这个脚本是自动从网上下载所需的数据文件。运行下面的命令,就开始自动下载文件了。

$sh get_mnist.sh

运行成功后,在当前目录下会出现如下几个文件:

这里写图片描述

有了这几个文件,我们就可以尝试运行一个简单的深度神经网络模型把玩一下了。

第二步:在 caffe主路径下运行如下命令:
这里写图片描述
注意要在caffe主路径下运行脚本,因为脚本由路径依赖。运行结果是在 caffe/examples/mnist/ 目录下生成了两个模型训练使用的数据目录:
这里写图片描述

第三步:在caffe主目录下运行如下命令,启动精典的LeNet在精典的MNIST数据集上的训练:
这里写图片描述

到这一步你已经实实在在的在用深度学习训练一个模型了,关于对深度学习算法的介绍已经超出了本文的范围,会撰写新的博文专门介绍。

本篇博文介绍了如何在阿里云上玩转caffe,但是到目前为止还都是在命令行界面。对于研究深度学习在图像识别领域的应用,看不到图是很痛苦的,而且要深入理解深度学习的原理,也需要对中间层进行可视化,因此必须能够在docker容器内玩转图形界面。因此,准备再撰写一篇专门解决这个问题,让初学的朋友们能够更好的学习。

预告:“在图形界面下玩转docker容器内的caffe学习与演练

2019-02-27 10:43:49 qq_35503402 阅读数 645
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40544 人正在学习 去看看 唐宇迪

学生一枚,尝试一下用阿里云的GPU服务器跑深度学习。

基本过程参照这篇博客

https://blog.csdn.net/Lo_Bamboo/article/details/78601328

记录一下其中遇到的问题

1.创建完实例查看一下配置

查看显卡信息,驱动和cuda版本:nvidia-smi

2.下载Anaconda可以在本机下载后ftp传上去,虽然是清华的源,我下的时候还是卡了的,时间就是金钱啊。

3.创建自定义镜像是需要时间的,不要着急释放实例,确定镜像状态保存完后再释放,不然从头再来,别问我怎么知道的。。。

4.远程访问按照博客中所说的配置还是连不上,折腾半天发现网址应该是http://ip:端口,不是https,服务器端开启jupyter notebook时有提示网址的,没注意。

5.看你的服务器是否支持停机不收费,我的停机不释放的话是一小时0.01元,如果短期内还要使用就省的释放再创建了。

6.conda换源设置参考https://blog.csdn.net/dream_allday/article/details/80344511

 

没有更多推荐了,返回首页