• 自己在Linux下为搭建深度学习环境,重装系统无数遍终于成功。中间遇到过各种坑,所以想在这记录下这些流程,方便自己日后查看和供大家参考。安装的内容是python3下安装gpu版本的tensorflow, caffe 1 win10安装双...

    前言

    自己在Linux下为搭建深度学习环境,重装系统无数遍终于成功。中间遇到过各种坑,所以想在这记录下这些流程,方便自己日后查看和供大家参考。安装的内容是python3下安装gpu版本的tensorflow, caffe

    1 win10安装双系统

    刚开始学习的时候,是用自己win10的笔记本安装的双系统,参考网址如下:https://blog.csdn.net/s717597589/article/details/79117112

    2 基础设置

    2.1 下载cmake, vim, pip

    sudo apt update
    sudo apt upgrade
    sudo apt install cmake
    sudo apt install cmake-gui
    sudo apt install vim
    sudo apt install python3-pip
    

    由于基于python3,所以要安装某些包则用pip3,网页中也使用pip3代替pip

    2.2 设置默认的python为python3

    udo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
    sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
    

    2.3 设置pip国内源加速

    在目录下创建文件 ~/.pip/pip.conf 内容如下:
    [global]
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple
    trusted-host = https://pypi.tuna.tsinghua.edu.cn

    3 安装tensorflow_gpu(cuda8.0, python3.5, tensorflow1.4)

    3.1 安装nvidia显卡驱动

    系统设置–>软件和更新–>附加驱动–>使用NVDIA–>应用更改–>重新启动

    3.2 安装cuda,降低gcc版本,安装cudnn

    在下网址只需完成标题的3个操作:https://blog.csdn.net/xiangyong58/article/details/71516120
    查看cuda版本:cat /usr/local/cuda/version.txt
    查看cudnn版本:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

    3.3 安装tensorflow_gpu

    pip3 install tensorflow_gpu==1.4
    

    4. 安装opencv3.4.1

    按如下网址步骤,其中部分步骤按修改的来:https://blog.csdn.net/cocoaqin/article/details/78163171
    5.在解压后的opencv文件中创建编译文件夹:

    sudo mkdir build
    cd build
    

    6.在应用中搜索cmake软件,最上面两个地址选择依次是opencv地址,build地址。选择后点击Configure进行配置,第一次配置后会出现界面出现红色,需要再点击一次即可。如左下图:
    在这里插入图片描述
    在搜索框中搜索java,去掉右边value的两个勾,接着点击Generate运行结束即可。

    1. sudo make -j8 (多线程加速)
    2. 网页中最下面的‘只需要分别输入上面图下部分的四行命令就可解决 ’下面的4行指令中nvidia-375,libEGL.so.375.39。文件需要替换成自己相同目录下的文件。

    5 安装caffe-gpu(必须先完成3.1,3.2,4)

    5.1 gcc版本恢复(仅需解决步骤中的前4张图):

    https://blog.csdn.net/chenshuibiao/article/details/78734957

    安装caffe

    下载caffe并将其解压放在home目录下,根据下面的网址进行操作:https://blog.csdn.net/g11d111/article/details/78141202
    其中第②步在之前已经安装过,所以不用理会。
    Makefile.config修改的第3点:
    除了他给的图片取消注释之外,也将该图中的78行取消注释,并将:= 后面修改为 boost_python-py35 python3.5m
    对python2进行注释:
    在这里插入图片描述
    取消对WITH_PYTHON_LAYER := 1的注释。之后按照文章继续执行到最后。

    5.3 配置caffe的python接口:

    参考网址(可忽略):https://blog.csdn.net/u010193446/article/details/53259294
    1.安装Python接口依赖库
    在caffe根目录下,有个python文件夹,文件夹里面有个requirements.txt,里面有需要的依赖库和版本信息,按照其安装即可,在安装前,需要先安装fortran编辑器(gfrotran),因为安装scipy库时需要它,命令如下:

    sudo apt-get install gfortran 
    cd ~/caffe/python 
    for req in $(cat requirements.txt); do pip3 install $req; done
    

    安装结束后,可以执行如下语句验证:sudo pip install -r requirements.txt
    可以看到,安装成功的,都会显示Requirement already satisfied,没安装成功的,会继续进行安装。
    2. 将caffe根目录下的python文件夹加入到环境变量
    先打开配置文件bashrc:sudo gedit ~/.bashrc
    在文件的最后面添加:

    export PYTHONPATH=/home/XXX/caffe/python:$PYTHONPATH (注意用户名)

    然后执行更新配置(有时更新不起作用时,可以重启电脑就会有效):sudo ldconfig

    3.编译python接口:

    cd ~/caffe/ 
    make pycaffe
    

    4. 验证python接口
    进行python环境,引入caffe包,如果没有报错则安装成功!

    python
    import caffe
    

    在这里插入图片描述
    注:因为系统或者安装机器的不同,可能会出现一些不一样的问题,出现问题,请粘贴问题自行google或百度,都是有答案的。

    展开全文
  • 很多入门深度学习的同学第一步就是需要安装Linux系统,如果你的系统需求是ubantu就接着往下看吧,接下来是保姆教程以及资源共享,帮你省下一顿外卖钱,废话不多说,正文开始。 工具准备,一个8g或更大的U盘,但是要...

    很多入门深度学习的同学第一步就是需要安装Linux系统,如果你的系统需求是ubantu就接着往下看吧,接下来是保姆教程以及资源共享,帮你省下一顿外卖钱,废话不多说,正文开始。

    工具准备,一个8g或更大的U盘,但是要确保是空U盘,因为U盘是用来存储ubantu的镜像文件的,会自动将U盘格式化,如果之前有文件的话,之后就找不到了,当然如果只是一些无用文件的话,也就无所谓了。

    首先从这个链接下载这个iso文件http://mirror.hust.edu.cn/ubuntu-releases/18.04.4/ubuntu-18.04.4-desktop-amd64.iso

    如果这个链接失效,可以私信我百度网盘链接。

    接下来下载rufus用于将镜像文件移植到U盘当中,这个软件如果找不到的话,也可以百度网盘分享给大家。

    rufus软件安装

    双击第一个Rufus-3.9,进入到这个界面

    软件界面

    点击选择,找到刚刚下载好的ubantu的镜像文件,再点击开始,会遇到下面的界面,点击是,再接着点击🆗,等待复制完成之后,点击关闭。

    3

    4

     

    5

    点击关闭之后,点击我的电脑,右击管理,点击磁盘管理,可以看到下图的分区 

    6

    对D盘进行压缩,我的Linux分配了150g,所以压缩卷那里写(150*1024)mb,大家可以根据自己的需求来压缩,系统大概需要占10g左右,建议至少划分50g给Linux系统,防止不够用。

    7

    划分好之后,找到设置界面,关闭设备加密,(搜BitLocker即可找到设备加密的设置),点击关闭,可能需要一定的时间,等到出现下面的界面之后

    9

    8

     再点击设置中的“恢复”,然后点击立即重新启动,如下图

    15

     重启之后,选择使用u盘来启动,也就是下图的第二个

    16

    选择下方的第一个 

    17

    点击ok 

    18

    选择下面图片中的第二个,“LINPUS LITE” 

    19

    然后选择安装就可以了 

    20

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • LINUX深度学习环境配置 环境:Ubuntu 16.0,python 2.7.9 1.首先安装好LUNUX 2.呼出命令行CTRL+ALT+T 3.检测是否安装python,一般LINUX默认安装python 直接在命令行输入: python 会显示python的版本号,...

    LINUX下深度学习环境配置

    环境:Ubuntu 16.0,python 2.7.9
    1.首先安装好LUNUX
    2.呼出命令行CTRL+ALT+T
    3.检测是否安装python,一般LINUX默认安装python
    直接在命令行输入:
    python
    会显示python的版本号,python2.7.9以上版本默认安装pip。可以看到我的版本号是2.7.12,否则进行步骤 4,quit()退出python环境。
    4.检测是否安装了pip(用于安装其他python库)
    命令行输入:
    pip
    如果安装好了会显示版本号等,否则根据提示安装即可。
    quit()退出python环境
    pip查询是否安装pip显示未安装
    输入 sudo apt install python - pip安装pip
    输入用户密码
    安装pip完成

    5.安装sikit 下的 pip install scikit-neuralnetwork
    输入pip install scikit-neuralnetwork
    开始doneload
    额,我一次就安装成功了,事实上scikit-neuralnetwork需要很多的其他库支持,大家根据提示安装就可以。
    在这个过程之中,安装了以下的库,如果没有自动安装大家手动安装即可,不得不说LINUX真的好用,全都自动安装了:
    6.安装nose pip install nose  (用来测试是否安装好了环境)
    7.测试安装的结果

    展开全文
  • 服务器中搭载的GPU为4块Tesla V100,想来用来跑深度学习程序,所以需要按驱动等。 1.寻找对应的驱动 去NVIDIA的驱动下载官网:https://www.nvidia.cn/Download/index.aspx?lang=cn,下载自己GPU对应的驱动。 ...

    一、驱动的安装

    服务器中搭载的GPU为4块Tesla V100,想来用来跑深度学习程序,所以需要按驱动等。

    1.寻找对应的驱动

    去NVIDIA的驱动下载官网:https://www.nvidia.cn/Download/index.aspx?lang=cn,下载自己GPU对应的驱动。

                                                 

    下载完了之后通过ssh上传到服务器上,我是在我的用户下创建了一个driver的文件夹,放在了这个文件夹下面。

    2.禁止Linux系统自带的集成驱动

    因为不禁止自带的集成驱动会出现各种问题,包括带有图形界面的循环登录等;而且也会造成无法安装NVIDIA的驱动。

    将驱动添加到黑名单blacklist.conf中,但是由于该文件的属性不允许修改。所以需要先修改文件属性

    查看属性:sudo ls -lh /etc/modprobe.d/blacklist.conf

    修改属性:sudo chmod 666 /etc/modprobe.d/blacklist.conf

    用vim编辑器打开:sudo vim /etc/modprobe.d/blacklist.conf

    使用vim在打开的文件后面添加几行:

        blacklist vga16fb
        blacklist nouveau
        blacklist rivafb
        blacklist rivatv
        blacklist nvidiafb

    并且执行:sudo update-initramfs -u

    之后,重启服务器:sudo reboot,我的重启一次大概花了2分钟。

    重启之后执行:lsmod | grep nouveau

    若没有输出信息则证明已经禁止了自带的集成显卡。

    3.开始安装驱动

    因为我的服务器是刚刚搭载的,之前没有装过NVIDIA的驱动,所以不用清除之前的残余,但一般都运行一下清除指令:

    sudo apt-get --purge remove nvidia-*

    在安装驱动的时候需要几个依赖包,比如gcc,g++,make ,所以在安装驱动之前先安装这几个依赖包,指令:

        sudo apt-get install gcc
        sudo apt-get install g++
        sudo apt-get install make

    接着就是安装驱动,包括了修改run文件的权限和安装:

        sudo chmod a+x NVIDIA-Linux-x86_64-396.82.run
        sudo ./NVIDIA-Linux-x86_64-396.82.run -no-x-check -no-nouveau-check -no-opengl-files

    在上述指令中,–no-opengl-files表示只安装驱动文件,不安装OpenGL文件,这个参数最重要。–no-x-check 安装驱动时不检查X服务。–no-nouveau-check 安装驱动时不检查nouveau(注:这个选项和1.2禁止集成的nouveau驱动组成双保险,其实一项操作就可以了)

    4.检查安装是否成功

        nvidia-smi,如果出现了显示你GPU的框图就证明安装成功了,我的是:

                    

      显示了服务器上搭载了4块 Telsa V100,驱动的版本是396.82

      也可以通过 cat /proc/driver/nvidia/version 来查看驱动的版本:

      NVRM version: NVIDIA UNIX x86_64 Kernel Module  396.82  Fri Jan 25 21:07:39 PST 2019
      GCC version:  gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.11)

    驱动这一块算是安装完成了,等着明天安装一下docker的深度学习环境 或者 直接在服务器上安装CUDA和cudnn。
     

    二、CUDA和cudnn安装

    CUDA安装:

    1.CUDA下载 

    先通过nvidia提供的CUDA与驱动版本对应的表来选择需要安装的CUDA版本,网址为:

    https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/#overview

    因为我安装的驱动是396.82.要大于这个版本的驱动,所以我选择了下载CUDA9.2

    下载地址:https://developer.nvidia.com/cuda-92-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=runfilelocal

                      

    2.CUDA指令安装

    下载完了之后,上传到服务器,利用指令安装:

    sudo sh cuda_9.2.148_396.37_linux.run 

    然后就是出现了大量的条款,直接一直Enter到百分之百就可以了,之后除了让你安装驱动那一块选择no,其他的选择yes。

    3.添加环境变量

    接下来就是添加环境变量:

    使用指令打开.bashrc: sudo vim ~/.bashrc ,接着在最后面添加三行指令:
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-9.2/lib64
    export PATH=$PATH:/usr/local/cuda-9.2/bin
    export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-9.2

    使用指令让其生效:source  ~/.bashrc。 nvcc -V 可以查看安装的版本信息,我的如下:

                                        

    CUDA算是安装成功了。

    三、安装cudnn

    1.cudnn下载

    去网址https://developer.nvidia.com/rdp/cudnn-archive下载对应的cudnn版本,我对应下载的为:

                                              

    下载完了之后直接上传到服务器上

    2.解压和复制

    对cudnn文件使用指令解压:sudo tar -zxvf  cudnn-9.2-linux-x64-v7.5.0.56.solitairetheme8 

    它会在当前的目录下创建一个cuda 的文件夹,我们需要把这个文件夹中的文件复制到/usr/local文件夹下。指令为:

    sudo cp lib/lib* /usr/local/cuda/lib64/               # 将所有lib文件复制到cuda文件中
    sudo cp include/cudnn.h /usr/local/cuda/include/      # 将头文件复制到cuda中

    整完之后cuddn也算是装完了。接着就是下载anaconda和pytorch了,可以参考之前写的一篇文章:linux服务器下命令行对anconda进行下载及其配置

     

    四.服务器在不同的CUDA和cudnn版本下的兼容

    因为服务器里面有各种用户,每个用户可能需要不同版本的CUDA和不同版本的cudnn,所以需要兼容。可以参考文章:多版本的CUDA和cudnn兼容,主要的思想是让不同用户下的CUDA链接不同的cudnn,建立链接。


    五.顺道记录一下screen分屏

    1.先Sreen -S/R test 先建立一个名为test的终端

    2.Ctrl+a后,shift+s实现上下分屏;或者Ctrl+a后,| 实现左右分屏

    3.Ctrl+a后,Tab 实现跳转到当前界面中下一个终端中,

    4.因为分屏出来的是空的屏幕,需要Ctrl+a后,c实现添加新的终端

    5.关闭当前焦点下的屏幕为Ctrl+a,X

    6.关闭该焦点下的终端为Ctrl+a,k,会提示你是不是需要关闭,键入y就好

    7.关闭当前界面下除了本身之外的全部屏幕为Ctrl+a,Q

     

    其中的操作,screen -x name :attach上目前被attach的终端;screen -d name :dettach名字为name的终端

    screen -r name :恢复dettach名字为name的终端;

    删除一个正在运行的screen进程:screen -X -S PID quit

    linux的基本shell指令:移动 rm;复制cp;删除 mv;创建文件 mkdir;查看内核 uname -r;

     

     


     

     

     

     

     

    展开全文
  • 最近一直在学习深度学习,开始用过matlab的工具箱,感觉很多功能不够,发现基于Python的工具箱很多,找了一下发现Theano是使用比较多的一个,但是比较老,模块化也不够。经过别人的推荐开始使用基于Theano的一个深度...

    最近一直在学习深度学习,开始用过matlab的工具箱,感觉很多功能不够,发现基于Python的工具箱很多,找了一下发现Theano是使用比较多的一个,但是比较老,模块化也不够。经过别人的推荐开始使用基于Theano的一个深度学习的工具包Keras

    1.Keras简介

    Keras是基于Theano的一个深度学习框架,它的设计参考了Torch,用Python语言编写,是一个高度模块化的神经网络库,支持GPU和CPU。使用文档在这:http://keras.io/,这个框架貌似是刚刚火起来的,使用上的问题可以到github提issue:https://github.com/fchollet/keras 

    2.Ubuntu下Keras的安装

    参照keras官网给出的安装方法http://keras.io/

      从这里我们可以看到要安装keras我们还必须先安装其他几个python库。
    - 安装Theano
    先安装theano是因为numpy和scipy可以在这个过程一起安装。
    参照theano在ubuntu下的安装指南http://deeplearning.net/software/theano/install_ubuntu.html#install-ubuntu
    打开终端输入命令:

    sudo apt-get install python-numpy python-scipy python-dev python-pip python-nose g++ libopenblas-dev git
    sudo pip install Theano
    

    第一条命令主要是安装Theano需要的扩展库,第二条是安装Theano。
    - 安装pyyaml
    打开终端输入命令:

    sudo pip install pyyaml
    

    可以看到还有两个可选的库,建议安装HDF5和h5py,至于cuDNN根据你自己的情况而定。
    打开终端输入命令:

    sudo apt-get install libhdf5-serial-dev
    sudo pip install h5py
    

    到这里所有的库已经安装完毕。
    - 安装Keras
    打开终端输入命令

    sudo pip install kears
    

    - 测试安装是否成功

        NumPy (~30s): python -c "import numpy; numpy.test()"
        SciPy (~1m): python -c "import scipy; scipy.test()"
        Theano (~30m): python -c "import theano; theano.test()"
    • 1
    • 2
    • 3
    • 1
    • 2
    • 3

    程序运行过程中会不断输出字符代表成功。

    3.keras 使用

    参考wepon的博客:http://blog.csdn.net/u012162613/article/details/45397033


    安装tensorflow


    wget https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.9.0-cp27-none-linux_x86_64.whl
    sudo pip install tensorflow-0.9.0-cp27-none-linux_x86_64.whl

    修改后端 tensorflow or theano

    现在我们可以来改后端了。进入keras所在目录,输入:

    ~$ cd .keras/
    ~/.keras$ vim keras.json
    • 1
    • 2

    这里写图片描述

    可以看到我们需要修改的文件内容,这里按‘c’进入修改模式,将“tensorflow”改为“theano”。


    这里写图片描述

    修改后,按“Ctrl+[”键退出修改模式,输入“:wq”保存修改并退出,这样修改后端就成功了。进入Python验证。


    展开全文
  • 今天在阿里云上申请了一个深度学习服务器,碰到了很多坑,在网上查了好多资料,大都是自己电脑可以别的电脑就不可以的那种,整合了多个博客的文章才把环境配置好,现在写一个完整的配置方案,以后用起来就方便多了,...
  • 最近越来越感觉到在win下开发简直浑身难受,各种lib需要逐个下载安装不说,到现在干脆在win下跑不起来了。无奈,只能打算转战linux平台。在搭建环境过程中碰到了各种问题,因此把碰到的一些问题及其解决方法写下来...
  • Linux环境下运行深度学习python文件学会使用Linux一些基本的命令行配置环境Python文件编辑器运行python文件Linux导入tensorflow报错生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个...
  • 使用Linux服务器,当其他用户已经安装好anaconda, torch, cuda, cudnn.torch时,新用户是否还要重复安装?后者说能否直接用已安装好的环境? 软件介绍 cuda CUDA(Compute Unified Device Architecture),是...
  • 在一台系统环境较好的 Linux 机器上可以很容易的安装 caffe,但是如果系统本身很旧,又没有 GPU 的话,安装就太麻烦了,所有都得从头做起,本文档旨在尽可能覆盖安装所要采的坑。 步骤: 一、caffe 是主要是 C/...
  • 大家好,放假在即,来整理一波在Linux上用caffe跑深度学习的流程,免得开学回来忘记。以下地址均为我自己电脑上的地址,大家要照着跑请自行修改地址哦!1.将训练和测试的图像放入examples-->images.训练图像...
  • 用 Docker 安装深度学习环境,轻量、方便!整个系统大小仅需2~3G,用完还能带着走!一人装环境,全都能用,还有 NVIDIA 官方提供的 GPU 镜像等着你哦~ 1.什么是 Docker2.关于 Docker 的几个概念3.为什么用 Docker4....
  • 问题解决~
  • 这次在给服务器配置完了深度学习环境后,也尝试了一下使用docker,因为之前没接触过docker,就稍微借鉴了几篇博客来梳理一下安装和使用的流程。 1.docker的安装 docker的安装主要是参考了博客教你如何用Docker快速...
  • 因此,我们将要介绍的深度学习,指的是构建神经网络结构,并且运用各种深度学习算法训练网络参数,进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架,使用灵活,学习方便。...
  • 由于实验室的项目需求,需要使用RBM(受限制玻尔兹曼机)、DBN(深信度网络)等深度学习的网络模型,于是学习和使用了Toronto大学提供的DeepNet深度学习框架。 DeepNet是Toronto大学的Nitish Srivastava博士开发的一...
  • 从理论上讲,深度学习只不过是一个数学模型并没有任何的智能 和经典物理一样的固定 而智能是量子物理一样的神奇,也就是说一个人调整了自己的位置 同时也改变了自己相对空间的位置 同理反论 一个深度学习模型...
  • 先前一直在捣鼓如何配置Linux深度学习环境,中间遇到各种坑,光是装Linux系统就试了3个版本,装了十几次,搭建环境时遇到的错误也千奇百怪。本文为多次搭建后总结经验而成,较系统地完成了Ubuntu安装深度学习...
  • 在win7下进行Linux虚拟机搭建参考链接:在win7下进行Linux虚拟机搭建对于Linux系统。最易于理解的版本就是著名的Ubuntu,下载和使用都是免费的,下载链接:Ubuntu下载,因为据说Ubuntu16版本会卡,所以选择的是...
  • 本文所使用的的ubuntu的环境为16.04,为了安装的顺利,请先安装opencv,详见:Linux安装OpenCV 3.01. 安装依赖项建议不要一次安装这么多,以免出错可以排除错误:sudo apt-get install git sudo apt-get install ...
1 2 3 4 5 ... 20
收藏数 54,736
精华内容 21,894