在师姐保姆级教导下进行一次尝试。

由于师姐特别nice，而我特别小白，所以其实这篇更像我的一次日志记录，而非经验贴，给不了同为小白的朋友们什么帮助。

一、下载安装MobaXterm

MobaXterm free Xserver and tabbed SSH client for Windows

二、连接服务器

点击session -> ssh，填remote host、specify username、port（因为师姐是直接发给我的，填进去就好，我还不知道如何获取可用服务器信息）。

填好确认后，在左侧user sessions中出现了目标服务器，双击连接，输入密码（ubuntu命令窗输入密码时屏幕一直黑的，不会显示输入了什么以及输入了几位，我一开始还以为键盘坏了...）。

连接成功后，左侧可以进行从本电脑到远程终端的文件传输，右侧是黑乎乎的terminal。

三、跑代码

（由于这是师姐常用的远程终端，所以环境什么的已经搭好了，我激活就行）

1、激活环境

conda activate xxx

2、进入工程文件所在的文件夹目录

常用命令：

pwd显示当前路径

cd ..返回上一级目录

cd home/psp/打开了psp文件夹

3、确认工程中各个.py文件无误

4、打开与服务器新的连接，检测显卡情况

watch nvidia-smi

5、用命令运行代码文件

我的命令：指定要用的显卡+要跑的文件+要用的参数

CUDA_VISIBLE_DEVICES=0,1 python scripts/train.py --exp_dir=results/train_attn --batch_size=4 --test_batch_size=4

 然后就是不断报错，打开文件找到报错的行数，按照错误类型找问题到底在哪儿，然后再跑再改再跑...

6、把进程放进后台跑（一些Linux命令）

Ⅰ、放进后台操作：

nohup python -u train.py > train.log 2>&1 &

#师姐给的注释：

（1）nohup 不挂起的意思。
（2）-u 代表程序不启用缓存，也就是把输出直接放到log中，没这个参数的话，log文件的生成会有延迟。
（3）> train.log 将输出日志保存到这个log中。
（4）2>1 2与>结合代表错误重定向，而1则代表错误重定向到一个文件1，而不代表标准输出；
2>&1 &与1结合就代表标准输出了，就变成错误重定向到标准输出。（这个我没看懂）
（5） 最后一个& ，代表该命令在后台执行。

结合我们这次的命令，最终写作：

CUDA_VISIBLE_DEVICES=0,1 nohup python -u scripts/train.py --exp_dir=results/train_attn --batch_size=4 --test_batch_size=4 > train.log 2>&1 &

Ⅱ、强制关闭进程（kill）：

kill -9 28148

#28148是我正在跑的进程的PID，PID可以在显卡watch窗口找到。

Ⅲ、进程查看

ps -aux | grep "main.py"  

（1）a:显示所有程序。

（2）u:以用户为主的格式来显示。

（3）x:显示所有程序，不以终端机来区分。

num jobs查看nohup命令下运行的所有后台进程。

Ⅳ、查看train.log的日志

tail -f train.log

日志：

7、在本地监听服务器上的tensorboard

（1）将服务器的某个端口转发到本地的8888端口。

ssh -L 8888:localhost:6665 服务器端用户名@ip地址

（2）服务器运行tensorboard，指定日志文件存放目录，在指定端口打开（默认端口6006）。

先cd到logs文件夹所在的大目录下，运行以下代码：

tensorboard --logdir=logs --port 6665

（3）在浏览器打开http://localhost:8888/实现监听。

1. 一般现在本机上跑代码，看是否有错误

以我电脑是ubuntu系统为例，我现在本地跑小demo，没问题了再上传到服务器去训练。因为本地有问题的话好修改，到服务器上修改代码比较麻烦。

一般先访问到文件所在文件夹再运行即可
例如 main.py 在home/yzy文件夹下

cd yzy
python main.py

然后根据报错检查问题，如果是语法问题也可以事先用pycharm查看代码修改

2. 将本地代码或者项目上传到服务器中

（在本地终端操作）

scp -r /home/melody/PycharmProjects/Salicon_pytorch-master yang@125.216.241.203:/home/yang/projects

其他操作:https://www.cnblogs.com/by-1075324834/p/5045096.html

3. 激活服务器环境

（在服务器操作）

source ~/.bashrc
source activate python36

4. 查看服务器GPU使用情况并指定GPU运行代码

nvidia-smi

CUDA_VISIBLE_DEVICES=0 python setup.py

5. 其他Linux系统指令

https://blog.csdn.net/yueyueniaolzp/article/details/81133122
mkdir

mkdir -p filename #新建名为filename的文件夹

cp类
https://www.cnblogs.com/xd502djj/archive/2011/11/25/2263562.html

cd -r filename1 filename2 directory #复制文件到目录下

rm

rm filename #可以删除文件夹或者目录

实现Linux服务器配置深度学习环境并跑代码完整步骤

安装pytorch

cuda版本10.1，python3.7

第一步 安装anaconda创建虚拟环境

参考在服务器上搭建自己的python环境

1、下载安装包

使用清华镜像文件下载

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh

2、安装

bash Anaconda3-2021.05-Linux-x86_64.sh

3、更新环境变量

source ~/.bashrc

前面就变成了（base）

4、创建虚拟环境

conda create -n tf37 python=3.7

这样就创建了名为tf37的python3.7的环境

5、使用虚拟环境

激活创建的虚拟环境：

conda activate tf37

就把环境由base变为了tf37。
返回base环境：

conda deactivate

查看当前所有环境：

conda env list

删除环境：

conda env remove -n tf37

第二步 查看cuda版本安装对应的pytorch

1、查看cuda版本

nvcc -V

nvidia-smi

这里用两种方式看到有两个不同版本的cuda，但是第一个10.1版本的才是正确的。

2、根据cuda版本去官网找对应的pytorch。

由于最新版本的pytorch不支持10.1版本的cuda，因此去找老版本pytorch以前版本

找到后，复制安装代码：

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch

3、添加镜像源下载

由于官网下载比较慢
添加清华镜像源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

查看添加镜像源:

conda config --set show_channel_urls yes | cat ~/.condarc

显示：

添加成功！

注意：采用清华镜像源下载要删掉安装语句里的 -c pytorch，否则采用官网源下载。

4、测试是否安装成功

进入python环境

import torch
torch.cuda.is_available()

输出true即为成功，false不成功（可能是因为pytorch和cuda版本不匹配）

安装OpenCV

pip install opencv-python

安装成功！

Pycharm远程连接服务器跑代码

参考Pycharm远程连接服务器并运行代码

1、设置connection

2、设置Mappings

3、实现代码Ctrl+s自动上传

4、设置python编译器

出现提示后点move

点finish即可！
这样代码就会在服务器上运行。

提示缺少XXmodule，安装依赖包

直接在interpreter里安装即可。

2022.3.16