帮同事配caffe环境，编译通过后只能跑cpu，用gpu会报错。
Check failed: error == cudaSuccess (35 vs. 0)  CUDA driver version is insufficient for CUDA runtime version*** Check failure stack trace: ***
然后用nvidia-smi，也是报错
晚上说这个是驱动问题，需要重新安装nvidia驱动，至于如何安装驱动，教程晚上一大把
随便丢个教程：https://blog.csdn.net/u010592301/article/details/90452281
教程里都会让你在NVIDIA官网里输入显卡型号，下载对应的驱动。
又在网上查了如何查看显卡型号版本
网上说通过lspci | grep -i nvidia命令可以看到，但是我看到的是
04:00.0 VGA compatible controller: NVIDIA Corporation Device 1b06 (rev a1)
04:00.1 Audio device: NVIDIA Corporation Device 10ef (rev a1)
05:00.0 VGA compatible controller: NVIDIA Corporation Device 1b06 (rev a1)
05:00.1 Audio device: NVIDIA Corporation Device 10ef (rev a1)
完全看不出来是什么型号。
查了好久，也有人跟我一样的疑惑，在一个网友的回复中找到了答案。
这里总结一下ubuntu上查看网卡型号的方法。
-----------------------------------------------------------------------------------------------------------------------------------
1.lspci | grep -i nvidia
2.
由于驱动问题无法显示显卡的具体型号，在下面的网址输入1b06，可以看到显卡型号是
GeForce GTX 1080 Ti
http://pci-ids.ucw.cz/mods/PC/10de?action=help?help=pci

帮同事配caffe环境，编译通过后只能跑cpu，用gpu会报错。

Check failed: error == cudaSuccess (35 vs. 0)  CUDA driver version is insufficient for CUDA runtime version*** Check failure stack trace: ***

然后用nvidia-smi，也是报错



晚上说这个是驱动问题，需要重新安装nvidia驱动，至于如何安装驱动，教程晚上一大把

随便丢个教程：https://blog.csdn.net/u010592301/article/details/90452281

教程里都会让你在NVIDIA官网里输入显卡型号，下载对应的驱动。



又在网上查了如何查看显卡型号版本

网上说通过lspci | grep -i nvidia命令可以看到，但是我看到的是

04:00.0 VGA compatible controller: NVIDIA Corporation Device 1b06 (rev a1)

04:00.1 Audio device: NVIDIA Corporation Device 10ef (rev a1)

05:00.0 VGA compatible controller: NVIDIA Corporation Device 1b06 (rev a1)

05:00.1 Audio device: NVIDIA Corporation Device 10ef (rev a1)

完全看不出来是什么型号。

查了好久，也有人跟我一样的疑惑，在一个网友的回复中找到了答案。

这里总结一下ubuntu上查看网卡型号的方法。

-----------------------------------------------------------------------------------------------------------------------------------

1.lspci | grep -i nvidia



2.

由于驱动问题无法显示显卡的具体型号，在下面的网址输入1b06，可以看到显卡型号是

GeForce GTX 1080 Ti

http://pci-ids.ucw.cz/mods/PC/10de?action=help?help=pci



 

 

在维护多显卡服务器的过程中，发现了一个奇怪的现象，就是某一块显卡的显存全被占满，但是使用率为0，而且使用nvidia-smi指令也看不到任何占用程序。经过询问发现，有个用户的程序有bug，每次用显卡加速后，都会异常退出，并且会留下僵尸进程占用该显卡。为了解决该问题，查资料后找到办法（需要管理员权限）：

sudo fuser -v /dev/nvidia* 

查看每个显卡的占用进程，这些进程是top和nvidia-smi指令不显示的。



如图所示，服务器被异常占用的显卡是1号卡，僵尸进程是由于Python程序异常退出导致的，那我就将1号卡对应的python进程kill掉就行了：

sudo kill -9  32188
sudo kill -9  32209

然后再输入watch nvidia-smi查看显卡占用情况，果然就正常了。

查看机器上GPU情况

命令： nvidia-smi

功能：显示机器上gpu的情况



其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。

方法一：在终端执行程序时指定GPU  

CUDA_VISIBLE_DEVICES=1   python  your_file.py

这样在跑你的网络之前，告诉程序只能看到1号GPU，其他的GPU它不可见

可用的形式如下：

CUDA_VISIBLE_DEVICES=1           Only device 1 will be seen

CUDA_VISIBLE_DEVICES=0,1         Devices 0 and 1 will be visible

CUDA_VISIBLE_DEVICES="0,1"       Same as above, quotation marks are optional

CUDA_VISIBLE_DEVICES=0,2,3       Devices 0, 2, 3 will be visible; device 1 is masked

CUDA_VISIBLE_DEVICES=""          No GPU will be visible

方法二：在Python代码中指定GPU

import os

os.environ["CUDA_VISIBLE_DEVICES"] = "0"