2017-05-19 11:29:57 fk1174 阅读数 4095
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39710 人正在学习 去看看 唐宇迪

1,AWS注册过程省略。
2,按照TensorFlow官网搭建virtualenv
不知为何找不到apt-get这里用yum

sudo yum install python-pip python-dev python-virtualenv
virtualenv --system-site-packages ~/tensorflow
source ~/tensorflow/bin/activate

然后

pip install --upgrade tensorflow

会报错: Could not find any downloads that satisfy the requirement tensorflow
No distributions at all found for tensorflow
原因是pip版本低,更新pip:

pip install --upgrade pip

运行会报错:ImportError: No module named sklearn.utils

sudo yum install build-essential python-dev python-setuptools python-numpy python-scipy libatlas-dev libatlas3gf-base

pip install --user --install-option="--prefix=" -U scikit-learn

报错:ImportError: No module named scipy

pip install --user numpy scipy matplotlib ipython jupyter pandas sympy nose

报错:unable to execute ‘gcc’: No such file or directory

yum groupinstall 'Development Tools'

再次运行程序报错:MemoryError

2019-04-28 20:52:55 qq_36665643 阅读数 925
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39710 人正在学习 去看看 唐宇迪

深度学习如何在云服务器中搭建环境


作者:Ruci

在深度学习中,难免会碰到电脑带不起的情况。这时,可以去网上购买云服务器使用。由于本人,在一次跑程序时,跑不起来。问向了导师,导师给我了一个云服务器。我看了一脸蒙蔽,于是乎。决定专门学习一下云服务器的使用。我相信,做这一行,以后难免会用到。

1、购买云服务器
2、下载远程连接的各种软件
3、搭建开发环境

一、购买云服务器
关于买哪一个云服务器好,我是初学者,不懂太多。不做深入评价。
买云服务器的地方有很多。比如:阿里云,腾讯,谷歌都有

下面是我买的一个专门学习的云服务器
这是我买的腾讯的云服务器,配置不高,跑深度学习肯定是不行的。买来只是为了学习一下

这样就相当于ok了。记住云服务器四个信息:
1、主机名; 2、公网IP地址; 3、自己设置的密码; 4、服务器云端口号

二、下载软件
主要有两款软件:Xshell、Xftp
链接:https://pan.baidu.com/s/1lBN-kpc--i8L2Ow_7zCTOg
提取码:3fs5
下载好,安装就好

我们先打开Xshell
输入三个信息
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
就ok!

再打开Xftp
在这里插入图片描述

三、搭建编程环境
由于,做深度学习,需要很多科学计算学习包。以及深度学习框架(tensorflow)
我这里选择的是下载Anaconda

方法一:
云服务器直接安装:

下载Anaconda

wget https://repo.continuum.io/archive/Anaconda2-4.4.0-Linux-x86_64.sh

安装:

 bash Anaconda2-4.4.0-Linux-x86_64.sh

验证:终端输入

anaconda

在这里插入图片描述
在这里插入图片描述

方法二:
我们可以用自己电脑去网站下载Anaconda
然后用Xftp传进云服务器就ok了
安装和上面一样。

以后肯定需要搭建gpu环境,这里我就不搭了。。我买的这个服务器。不适合

2017-05-23 10:38:37 fk1174 阅读数 3640
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39710 人正在学习 去看看 唐宇迪

1,第一个图片分类cifar-10代码中可以看出,(在本地跑)参数是这样传进服务器的:

python cifar_pai.py --buckets /Users/kylefan/program/cifar-10/cifar-10-batches-py --checkpointDir /Users/kylefan/program/cifar-10/checkpoint

其中–buckets对应下图的数据库目录:
这里写图片描述
也就是说函数里得有个参数是–buckets,然后在上图制定OSS中的目录。所以修改本地代码使其含有一个参数–buckets。

2,多个源文件需要压缩成tar.gz并指定主文件
压缩:(注意folder_to_compress不要使用绝对路径不然压缩包里的文件也会沿用这个目录结构)

tar -zcvf archive_name.tar.gz folder_to_compress

报错:
Traceback (most recent call last):
File “AlexNet/AlexNetArg.py”, line 152, in
tf.app.run(main=main)
File “/usr/lib/python2.7/site-packages/tensorflow/python/platform/app.py”, line 44, in run
_sys.exit(main(_sys.argv[:1] + flags_passthrough))
File “AlexNet/AlexNetArg.py”, line 80, in main
mnist = input_data.read_data_sets(dirname, one_hot=True)
File “/usr/lib/python2.7/site-packages/tensorflow/contrib/learn/python/learn/datasets/mnist.py”, line 212, in read_data_sets
with open(local_file, ‘rb’) as f:
IOError: [Errno 2] No such file or directory: ‘oss://kylefan/Alexnet/MNIST_data/train-images-idx3-ubyte.gz’
意思是OSS里没有oss://kylefan/Alexnet/MNIST_data/train-images-idx3-ubyte.gz这个文件,但是明明有。。。。待定

2019-02-27 10:43:49 qq_35503402 阅读数 296
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39710 人正在学习 去看看 唐宇迪

学生一枚,尝试一下用阿里云的GPU服务器跑深度学习。

基本过程参照这篇博客

https://blog.csdn.net/Lo_Bamboo/article/details/78601328

记录一下其中遇到的问题

1.创建完实例查看一下配置

查看显卡信息,驱动和cuda版本:nvidia-smi

2.下载Anaconda可以在本机下载后ftp传上去,虽然是清华的源,我下的时候还是卡了的,时间就是金钱啊。

3.创建自定义镜像是需要时间的,不要着急释放实例,确定镜像状态保存完后再释放,不然从头再来,别问我怎么知道的。。。

4.远程访问按照博客中所说的配置还是连不上,折腾半天发现网址应该是http://ip:端口,不是https,服务器端开启jupyter notebook时有提示网址的,没注意。

5.看你的服务器是否支持停机不收费,我的停机不释放的话是一小时0.01元,如果短期内还要使用就省的释放再创建了。

6.conda换源设置参考https://blog.csdn.net/dream_allday/article/details/80344511

 

2019-07-06 21:16:27 Mr__George 阅读数 159
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39710 人正在学习 去看看 唐宇迪

【百度云】【深度学习平台】【Python】【Jupyter Notebook】
写下这个帖子 是为了记录一下之前折腾代码实验 踩过的一些坑
给自己写个备忘 也给有遇到相同问题的读者 一个解决思路

  1. 先把我自己在百度云的深度学习平台上跑的这个步骤记录一下吧
    【坑1:将数据集从BOS传到集群上】
    数据集存储在百度云的BOS上
    代码运行平台使用的是深度学习平台创建的集群 用Jupyter Notebook进行代码编译

(1)创建集群 打开Jupyter Notebook上传代码;记下公网IP和设置的密码 用PUTTY远程登录服务器,准备将数据集从BOS上传到集群。
(2)打开PUTTY,输入公网IP,选择登录身份root,输入密码,远程登录服务器。
用命令行 wget -P (目标路径) (BOS上文件的链接) ///
举个栗子:wget -P /mnt/ https://www.nwpu.com/NWPU1_10.h5
这样就能将存在BOS的数据集传到集群上 和代码放在一起(这里我都是把数据集放在/mnt/目录下,而代码默认是放在/home/work/目录下)
(3)打开集群上的Jupyter Notebook,运行代码就完事儿了。

  1. 【坑2:用集群上的Jupyter Notebook跑代码,代码里需要从GitHub上下载预训练模型,速度极其缓慢】
    由于集群带宽很小,并且集群上并没有VPN,所以从外网下载模型速度会非常慢。所以:
    自行到GitHub上将预训练模型下载下来,上传到BOS,再用wget的方式传到集群中,放在/home/work/.keras/models/目录下即可。(网上很多都是说直接放在~/.keras/models/,但实际上应该把预训练模型放在代码的工作目录下的models文件夹中)
没有更多推荐了,返回首页