精华内容
下载资源
问答
  • 使用gpu跑代码
    千次阅读
    2020-08-27 15:28:51
    1. 配置tensorflow-gpu环境
    2. 代码里选择指定gpu【可选】
    import os
    os.environ['CUDA_VISIBLE_DEVICES'] = '0'      # 使用 GPU 0
    os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'    # 使用 GPU 0,1
    
    1. 终端设置可见gpu【可选】
    CUDA_VISIBLE_DEVICES=1   python  your_file.py
    # 可用的形式如下:
    # CUDA_VISIBLE_DEVICES=1           Only device 1 will be seen
    # CUDA_VISIBLE_DEVICES=0,1         Devices 0 and 1 will be visible
    # CUDA_VISIBLE_DEVICES="0,1"       Same as above, quotation marks are optional
    # CUDA_VISIBLE_DEVICES=0,2,3       Devices 0, 2, 3 will be visible; device 1 is masked
    
    # CUDA_VISIBLE_DEVICES=""          No GPU will be visible
    
    1. 查看机器上GPU情况
    nvidia-smi
    # 显示机器上gpu的情况
    nvidia-smi -l
    # 定时更新显示机器上gpu的情况
    

    【参考】
    tensorflow指定GPU运算
    Tensorflow指定GPU的指定和显存设置

    更多相关内容
  • 第一次通过服务器远程跑代码

    千次阅读 2021-12-24 10:50:19
    三、跑代码 (由于这是师姐常用的远程终端,所以环境什么的已经搭好了,我激活就行) 1、激活环境 conda activate xxx 2、进入工程文件所在的文件夹目录 常用命令: pwd显示当前路径 cd ..返回上一级目录 cd home/...

    在师姐保姆级教导下进行一次尝试。

    由于师姐特别nice,而我特别小白,所以其实这篇更像我的一次日志记录,而非经验贴,给不了同为小白的朋友们什么帮助。

    一、下载安装MobaXterm

    MobaXterm free Xserver and tabbed SSH client for Windows

    二、连接服务器

    点击session -> ssh,填remote host、specify username、port(因为师姐是直接发给我的,填进去就好,我还不知道如何获取可用服务器信息)。

    填好确认后,在左侧user sessions中出现了目标服务器,双击连接,输入密码(ubuntu命令窗输入密码时屏幕一直黑的,不会显示输入了什么以及输入了几位,我一开始还以为键盘坏了...)。

    连接成功后,左侧可以进行从本电脑到远程终端的文件传输,右侧是黑乎乎的terminal。

    三、跑代码

    (由于这是师姐常用的远程终端,所以环境什么的已经搭好了,我激活就行)

    1、激活环境

    conda activate xxx

    2、进入工程文件所在的文件夹目录

    常用命令:

    pwd显示当前路径

    cd ..返回上一级目录

    cd home/psp/打开了psp文件夹

    3、确认工程中各个.py文件无误

    4、打开与服务器新的连接,检测显卡情况

    watch nvidia-smi

    5、用命令运行代码文件

    我的命令:指定要用的显卡+要跑的文件+要用的参数

    CUDA_VISIBLE_DEVICES=0,1 python scripts/train.py --exp_dir=results/train_attn --batch_size=4 --test_batch_size=4

     然后就是不断报错,打开文件找到报错的行数,按照错误类型找问题到底在哪儿,然后再跑再改再跑...

    6、把进程放进后台跑(一些Linux命令)

    Ⅰ、放进后台操作:

    nohup python -u train.py > train.log 2>&1 &

    #师姐给的注释:

    (1)nohup 不挂起的意思。
    (2)-u 代表程序不启用缓存,也就是把输出直接放到log中,没这个参数的话,log文件的生成会有延迟。
    (3)> train.log 将输出日志保存到这个log中。
    (4)2>1 2与>结合代表错误重定向,而1则代表错误重定向到一个文件1,而不代表标准输出;
    2>&1 &与1结合就代表标准输出了,就变成错误重定向到标准输出。(这个我没看懂)
    (5) 最后一个& ,代表该命令在后台执行。

    结合我们这次的命令,最终写作:

    CUDA_VISIBLE_DEVICES=0,1 nohup python -u scripts/train.py --exp_dir=results/train_attn --batch_size=4 --test_batch_size=4 > train.log 2>&1 &

    Ⅱ、强制关闭进程(kill):

    kill -9 28148

    #28148是我正在跑的进程的PID,PID可以在显卡watch窗口找到。

    Ⅲ、进程查看

    ps -aux | grep "main.py"  

    (1)a:显示所有程序。

    (2)u:以用户为主的格式来显示。

    (3)x:显示所有程序,不以终端机来区分。

    num jobs查看nohup命令下运行的所有后台进程。

    Ⅳ、查看train.log的日志

    tail -f train.log

    日志:

    7、在本地监听服务器上的tensorboard

    (1)将服务器的某个端口转发到本地的8888端口。

    ssh -L 8888:localhost:6665 服务器端用户名@ip地址

    (2)服务器运行tensorboard,指定日志文件存放目录,在指定端口打开(默认端口6006)。

    先cd到logs文件夹所在的大目录下,运行以下代码:

    tensorboard --logdir=logs --port 6665

    (3)在浏览器打开http://localhost:8888/实现监听。

    展开全文
  • 在服务器上跑代码

    千次阅读 2020-11-23 16:14:07
    1. 一般现在本机上跑代码,看是否有错误 以我电脑是ubuntu系统为例,我现在本地跑小demo,没问题了再上传到服务器去训练。因为本地有问题的话好修改,到服务器上修改代码比较麻烦。 一般先访问到文件所在文件夹再...

    1. 一般现在本机上跑代码,看是否有错误

    以我电脑是ubuntu系统为例,我现在本地跑小demo,没问题了再上传到服务器去训练。因为本地有问题的话好修改,到服务器上修改代码比较麻烦。

    一般先访问到文件所在文件夹再运行即可
    例如 main.py 在home/yzy文件夹下

    cd yzy
    python main.py
    

    然后根据报错检查问题,如果是语法问题也可以事先用pycharm查看代码修改

    2. 将本地代码或者项目上传到服务器中

    (在本地终端操作)

    scp -r /home/melody/PycharmProjects/Salicon_pytorch-master yang@125.216.241.203:/home/yang/projects
    

    其他操作:https://www.cnblogs.com/by-1075324834/p/5045096.html

    3. 激活服务器环境

    (在服务器操作)

    source ~/.bashrc
    source activate python36
    

    4. 查看服务器GPU使用情况并指定GPU运行代码

    nvidia-smi
    
    CUDA_VISIBLE_DEVICES=0 python setup.py
    

    5. 其他Linux系统指令

    https://blog.csdn.net/yueyueniaolzp/article/details/81133122
    mkdir

    mkdir -p filename #新建名为filename的文件夹
    

    cp类
    https://www.cnblogs.com/xd502djj/archive/2011/11/25/2263562.html

    cd -r filename1 filename2 directory #复制文件到目录下
    

    rm

    rm filename #可以删除文件夹或者目录
    
    展开全文
  • 实现Linux服务器配置深度学习环境并跑代码完整步骤 目录 实现Linux服务器配置深度学习环境并跑代码完整步骤 安装pytorch 第一步 安装anaconda创建虚拟环境 1、下载安装包 2、安装 3、更新环境变量 4、创建虚拟环境 5...

    实现Linux服务器配置深度学习环境并跑代码完整步骤

    安装pytorch

    cuda版本10.1,python3.7

    第一步 安装anaconda创建虚拟环境

    参考在服务器上搭建自己的python环境

    1、下载安装包

    使用清华镜像文件下载

    wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh
    

    2、安装

    bash Anaconda3-2021.05-Linux-x86_64.sh
    

    3、更新环境变量

    source ~/.bashrc
    

    前面就变成了(base)

    4、创建虚拟环境

    conda create -n tf37 python=3.7
    

    这样就创建了名为tf37的python3.7的环境

    5、使用虚拟环境

    激活创建的虚拟环境:

    conda activate tf37
    

    就把环境由base变为了tf37。
    返回base环境:

    conda deactivate
    

    查看当前所有环境:

    conda env list
    

    删除环境:

    conda env remove -n tf37
    

    第二步 查看cuda版本安装对应的pytorch

    1、查看cuda版本

    nvcc -V
    

    在这里插入图片描述

    nvidia-smi
    

    在这里插入图片描述
    这里用两种方式看到有两个不同版本的cuda,但是第一个10.1版本的才是正确的。

    2、根据cuda版本去官网找对应的pytorch。

    由于最新版本的pytorch不支持10.1版本的cuda,因此去找老版本pytorch以前版本
    在这里插入图片描述
    找到后,复制安装代码:

    conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
    

    3、添加镜像源下载

    由于官网下载比较慢
    添加清华镜像源:

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    

    查看添加镜像源:

    conda config --set show_channel_urls yes | cat ~/.condarc
    

    显示:
    在这里插入图片描述
    添加成功!

    注意:采用清华镜像源下载要删掉安装语句里的 -c pytorch,否则采用官网源下载。
    在这里插入图片描述

    4、测试是否安装成功

    进入python环境

    import torch
    torch.cuda.is_available()
    

    输出true即为成功,false不成功(可能是因为pytorch和cuda版本不匹配)
    在这里插入图片描述

    安装OpenCV

    pip install opencv-python
    

    在这里插入图片描述
    安装成功!

    Pycharm远程连接服务器跑代码

    参考Pycharm远程连接服务器并运行代码

    1、设置connection

    在这里插入图片描述
    在这里插入图片描述

    2、设置Mappings

    在这里插入图片描述

    3、实现代码Ctrl+s自动上传

    在这里插入图片描述
    在这里插入图片描述

    4、设置python编译器

    在这里插入图片描述
    在这里插入图片描述
    出现提示后点move
    在这里插入图片描述在这里插入图片描述
    点finish即可!
    这样代码就会在服务器上运行。

    提示缺少XXmodule,安装依赖包

    直接在interpreter里安装即可。

    在这里插入图片描述


    2022.3.16


    展开全文
  • 在GPU上跑代码

    千次阅读 2020-12-23 13:52:40
    网上查的是,首先查看自己的GPU nvidia-smi 然后在python文件中指定GPU: import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" ...但是我试了一下一段比较费时间的程序,怎么没显示GPU在运行。
  • 本人最近在使用Tensorflow跑代码的时候遇到一些问题,由于需要,本人装了两个版本的python和tensorflow,tensorflow一个是装的2.6,另一个是使用anconda下的虚拟环境中的tensorflow1.15,平时配置的CUDA和cuDNN是...
  • 服务器跑代码,Python,深度学习代码

    万次阅读 多人点赞 2019-04-20 21:21:18
    做深度学习有一段时间了,看了一些论文,了一些代码,挖了不少坑,也填了不少坑。在这里先总结一下在服务器上深度学习代码时常用的一些操作吧。 如何连上远程服务器 连上服务器 首先,当然得是要用自己的PC...
  • 服务器使用GPU跑代码

    千次阅读 2020-02-28 12:43:19
    查看使用显卡的用户 nvidia-smi 运行脚本前加CUDA_VISIBLE_DEVICES=显卡id,就可以指定显卡 运行代码python"/DATA/sunzehui/test.py
  • 代码跑之模仿黑客帝国页面html 模仿html标签(run)起来的 使用h5新标签组件 标签一片一片的起来
  • 先看github的readme文档,了解基本环境,比如python版本,用的网络框架(一般是tensorflow或pytorch)等等信息 1、ubuntu环境: 不同的方法往往需要不同的环境,比如有的要tensorflow1.3版本,有的需要tensorflow2.0...
  • pycharm用GPU跑代码(tensorflow版)

    千次阅读 2021-09-01 12:18:43
    pycharm用GPU跑代码(tensorflow版) import os import tensorflow as tf config = tf.compat.v1.ConfigProto(gpu_options=tf.compat.v1.GPUOptions(allow_growth=True)) sess = tf.compat.v1.Session(config=config...
  • 之前小新pro13安装好了黑苹果系统,也搞定了OC引导,体验挺好的,就是每次开机都会跑代码,不怎么美观。以为去掉跑代码很困难,结果简单得想笑,哈哈!分享一下给大家。 步骤1 打开OpenCoreConfiguator软件,如下图...
  • 如何连接服务器跑代码

    万次阅读 2019-03-19 16:30:52
    ① 下载mobaxterm ,下载地址https://moba.en.softonic.com/ ② 选择第二个personal版 ③新建session
  • 代码里加上这个 os.environ['CUDA_VISIBLE_DEVICES'] = '0' os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' 然后这样运行CUDA_VISIBLE_DEVICES=0python3main.py
  • 【Linux】在服务器上跑代码步骤

    千次阅读 2019-10-09 10:27:17
    用vscode打开服务器的代码 ①按fn+f1 ②找到flora[SSH:10.24.82.75] ...连接上了以后在vscode上改代码就同步到服务器上了,这个就可以调试了 在终端连接服务器 ...③进入到自己要代码的文件夹下 <1&g...
  • 使用screen实现 关掉本地计算机远程服务器继续跑代码为什么建议使用screen?新建screen 为什么建议使用screen? 我这一周都在跑一个深度学习模型的代码,本地电脑一直处在工作状态。心痛我的电脑得不到休息还浪费电...
  • 如何判断自己是在使用cpu还是gpu跑代码 在Linux系统下,可以通过在终端中输入一句命令来查看自己跑的代码是在用CPU还是GPU: nvidia-smi 举例: 上图可以看出,GPU利用率为5%,当前代码是在使用cpu。 上图可以...
  • 用服务器跑代码用到的工具

    千次阅读 2019-08-14 14:25:47
    FileZilla:传输文件极其方便 sudo apt-get install filezilla 注:装在自己电脑上 ...Tmux:服务器终端跑代码,可分窗口,还不会因为长时间没操作就断开连接停止代码 sudo apt-get install tmux ...
  • 关于使用服务器跑代码常用命令

    千次阅读 2018-05-27 12:12:56
    最近在服务器上跑代码,各种bug烦的一比,经实验室师兄传授,教给我几条常用运维命令。总结出来,供大家分享:----建立会话,使得主机关闭,服务器上面的进程并没有关闭 tmux new -s foo # 新建名称为 foo 的会话 ...
  • 连接服务器 ssh username@服务器ip 创建删除文件(夹)  ...用服务器跑单个文件时可以在本地输入命令,但是多个文件时只能先上传到服务器,再运行 ssh username@ip python  
  • 今天来教大家如何利用OCC配置器关闭OC引导的跑代码(啰嗦)模式别忘记给我个赞????,鼓励一下哦~1 教程开始1.首先打开OpenCore Configurator配置工具,挂载分区。OpenCore Configurator配置工具(也可在公众号内下载)...
  • 提供Tesla K80这块高级的GPU加速功能,但是也存在一个问题。 因为Colaboratory是完全云端的,所以,每次如果想让他访问...授权绑定代码如下: !apt-get install -y -qq software-properties-common python-softwa...
  • linux screen 命令 (1)连接服务器,在服务器终端安装screen apt install screen (2)创建screen窗口,test为窗口名。就可以在这里运行你的命令了 此时该窗口的状态变为 Attached ...(3)查看已建的screen窗口...
  • 用GPU跑代码,观察GPU情况

    千次阅读 2019-02-25 09:43:49
    在Python代码中指定GPU import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置定量的GPU使用量 config = tf.ConfigProto() config.gpu_options....
  • 本地用windows安装pycharm的企业版,然后把代码用服务器的anaconda创建的虚拟环境以及硬件。 那么教程是两个部分,第一个部分是pycharm和远程连接,服务器啊,密码啊,文件夹什么的。第二个部分是配置远程环境。 ...
  • 在用Spyder跑代码时,出现了如下情况: 解决方案: 对Spyder进行更新,在命令行输入: conda update spyder 然后等待更新完即可,再用Spyder跑代码时则不会出现以上的情况,亲测有效。 转载于:...
  • 本地用windows安装pycharm的企业版,然后把代码用服务器的anaconda创建的虚拟环境以及硬件。 那么教程是两个部分,第一个部分是pycharm和远程连接,服务器啊,密码啊,文件夹什么的。第二个部分是配置远程环境。 ...
  • SiamMask 跑代码从入门到放弃

    千次阅读 热门讨论 2020-06-14 14:10:43
    代码链接:Git(论文给定的) 关于SiamMask的论文,代码实现,讲解,随便一谷歌就有很多资料。我只记录我运行代码遇到的问题,流程按照git上的Contents Environment Setup This code has been tested on Ubuntu ...
  • Linux服务器远程python代码总结

    千次阅读 2022-03-25 22:40:32
    打开terminal后,有2种方法可以远程跑代码 方法1 后台运行 :nohup python -u xxx.py > xxx.log 2>&1 & 查看运行:ps -ef|grep 进程号 不知道进程号的可以用:ps -ef|grep python 查看日志文件 :tail -f...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 573,150
精华内容 229,260
关键字:

跑代码

友情链接: caiji.rar