运行一个程序突然崩了，但是显存并没有释放。

用

nvidia-smi

查看显存占用情况时，



可以看到，显存已经所剩无几，但是并没有进程显示占用。

使用命令

fuser -v /dev/nvidia*

查看，



我一般使用

sudo kill -9 PID(替换进程号)

将/dev/nvidia0的几个进程kill掉就可以了。

在查看一下显存。



已经释放了。

 

用tensorflow做实验，有时候会由于某种原因，在关闭程序后，GPU的显存仍处于被占用的状态，而用nvidia-smi查不到对应的进程pid. 

这时释放显存的方法：

sudo fuser /dev/nvidia*


   该命令会显示所有占用nvidia设备的进程pid，将这些pid逐个kill掉：

     kill -9 pid

在跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用，这时候可以使用如下命令查看到top或者ps中看不到的进程，之后再kill掉：
fuser -v /dev/nvidia*

接着杀掉显示出的进程（有多个）：
kill -9 12345
kill -9 12345m

批量清理显卡中残留进程：
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

清理指定GPU显卡中残留进程，如GPU 2：
sudo fuser -v /dev/nvidia2 |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

参考：

1 Linux显存占用无进程清理方法（附批量清理命令）https://www.cnblogs.com/ocean1100/p/9126032.html

2 【原创】如何解决python进程被kill掉后GPU显存不释放的问题https://blog.csdn.net/jzrita/article/details/80719297

lsof /dev/nvidia* 

kill相应pid 

http://stackoverflow.com/questions/4354257/stop-all-cuda-processes-in-linux-without-restarting-the-computer

在跑TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用，这时候可以使用如下命令查看到top或者ps中看不到的进程，之后再kill掉:
fuser -v /dev/nvidia*

批量清理显卡中残留进程：
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sh