精华内容
下载资源
问答
  • 有很多朋友表示自己很想做机器学习、跑数据集,但是显卡跟不上,这里就要给大家介绍一个福利:就是谷歌的免费GPU,跟我操作吧~ 1、首先要有谷歌账号,注册登陆谷歌云盘,网址如下:https://drive.google.com/ 2、在...

    有很多朋友表示自己很想做机器学习、跑数据集,但是显卡跟不上,这里就要给大家介绍一个福利:就是谷歌的免费GPU,跟我操作吧~
    1、首先要有谷歌账号,注册登陆谷歌云盘,网址如下:
    https://drive.google.com/
    2、在我的云端硬盘里面创建文件夹,如图为我创建好的:

    3、进入文件夹,右键新建文件,找到关联更多应用,搜索Colaboratory,将其添加。

     

     

    4、创建完成后就可以生成一个jupyter记事本,点击“修改”中的“笔记本设置”,可以选择使用CPU、GPU、TPU

    5、我选择了GPU之后会连接到虚拟服务器,然后会有文件夹可以上传数据,数据一般在content文件夹中
    ,是不是美滋滋

     

     

    展开全文
  • 一文带你看懂显卡显卡驱动,CUDA,CUDNN(内含举例)显卡显卡驱动CUDACUDNN举一个生动形象的例子 显卡 显卡是硬件设备。(花钱购买的) (注:显卡不是GPU,显卡的核心组件包含显卡内存(简称显存)和GPU(Graphics ...

    一文带你看懂显卡,显卡驱动,CUDA,CUDNN(内含举例)

    显卡

    显卡是硬件设备。(花钱购买的)
    (注:显卡不是GPU,显卡的核心组件包含显卡内存(简称显存)和GPU(Graphics Processing Unit,图像处理器),GPU含有DRAM,Control,Cache,ALU)
    (注:显存和DRAM不是一个东西,显存存储GPU将要处理的信息,DRAM存放GPU要执行的指令集,和GPU直接进行数据的交换。)

    显卡驱动

    显卡驱动是一个软件应用,是使得操作系统可以识别你的显卡的一个软件,将用户的一些“人话”转化为GPU可以识别的“指令”,驱动程序向下直接和显卡接触。
    我们想要操作显卡,就必须安装对应的显卡驱动。

    CUDA

    • 一个显卡可以用来玩游戏,可以用来跑机器学习。
    • 要玩游戏,要在显卡驱动上修改一些配置。
    • 如果要跑深度学习,就需要安装CUDA,(相当于添加库的功能,我们通过CUDA)
      CUDA是一个Nvidia显卡的一个并行计算框架,显卡想要并行计算,必须有一个并行计算框架(要被该显卡的的显卡驱动所支持),
      而且必须当而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。
      (注:CUDA和显卡的驱动有一定对应的关系。需要安装版本相匹配的CUDA)

    在这里插入图片描述
    我们可以看到写着支持CUDA。

    CUDNN

    CUDNN(CUDA Deep Neural Network library)
    CUDNN是CUDA的一个包。是专门用来处理深层神经网络的一个GPU加速库。(卷积操作需要用到),CUDNN是不需要安装的,只需要下载后将其放入CUDA的指定路径就可以调用了。

    举一个生动形象的例子

    就拿我们运行一台机器来说。我们人是操作工,对机器,我们有2个操作。

    我们将显卡比喻成螺丝,我们手拧螺丝没有办法拧螺丝,所以我们需要螺丝刀,显卡驱动就是这里的螺丝刀,
    有了螺丝刀和螺丝,作为操作员,我们需要有一个工作室来进行操作,这个工作室就是CUDA(框架),工作室里面有很多的隔间(调用的库)
    我们现在就可以完成拧螺丝的操作了,但是如果我们需要一些特殊的操作(卷积操作),那么我们就需要进入到工作室里面的特定的隔间(CUDNN)来进行操作。

    将例子理解透彻之后,相信你就可以理解显卡,显卡驱动,CUDA,CUDNN的对应关系啦!接下来就开始投入机器学习的怀抱吧~

    展开全文
  • 我进行机器学习训练模型的时候,原来频率为1350M,但是不知道怎么回事莫名其妙的变成了1001M,找了半天没有找到原因 后来通过观察GPU显存,发现GPU的显存超过了专用的GPU内存,于是我通过关闭了一个页面和一些无用...

    我进行机器学习训练模型的时候,原来频率为1350M,但是不知道怎么回事莫名其妙的变成了1001M,找了半天没有找到原因

    后来通过观察GPU显存,发现GPU的显存超过了专用的GPU内存,于是我通过关闭了一个页面和一些无用的页面,达到了降低显存占用的问题,使GPU内存(不是专用的GPU内存) 降低到GPU内存以内,频率自动上来了

     

     

    展开全文
  • Pycharm代码docker容器运行调试 | 机器学习系列

    万次阅读 多人点赞 2021-09-29 21:36:07
    常规的本地化运行机器学习代码,安装Anaconda+cuda显卡驱动支持,许多文章都有介绍,不在此多做赘述了。本文主要是为了解决在工作环境中,本机电脑没有显卡,需要将程序运行在带显卡的远程服务器上。 本文会介绍...

    目录

    介绍

    版本

    部署

    安装驱动

    安装docker

    创建基础容器

    安装Anaconda

    关于Anaconda的使用

    Docker容器SSH服务启动

    Pycharm连接Docker容器

    验证 

    运行验证

    代码更新如何上传或者下载远端容器产物

     验证容器内的产物是否生成

    总结


    介绍

    常规的本地化运行机器学习代码,安装Anaconda+cuda显卡驱动支持,许多文章都有介绍,不在此多做赘述了。本文主要是为了解决在工作环境中,本机电脑没有显卡,需要将程序运行在带显卡的远程服务器上。

    本文会介绍如何部署使用显卡的docker容器、如何使用pycharm连接docker容器运行机器学习代码。

    版本

    Pycharm: 2020.1.3

    docker: 19.03.12

    python: 3.6.13

    demo算法: BackgroundMattingV2

    部署

    下面我会按照详细的流程,对主要过程进行说明,对于一些基础组件的安装简述。

    安装驱动

    我们来到这台带显卡(机器学习你懂的,NVIDIA显卡是必须的)的服务器,检查一下显卡是否安装。

    [root@data2 home]# nvidia-smi
    Wed Sep 29 22:56:47 2021
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 440.100      Driver Version: 440.100      CUDA Version: 10.2     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  GeForce GTX 108...  Off  | 00000000:13:00.0 Off |                  N/A |
    | 23%   24C    P8     8W / 250W |   1543MiB / 11178MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    |   1  GeForce GTX 108...  Off  | 00000000:1B:00.0 Off |                  N/A |
    | 28%   46C    P2    70W / 250W |   1865MiB / 11178MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |    0      8895      C   python                                      1529MiB |
    |    1      8881      C   python                                      1849MiB |
    +-----------------------------------------------------------------------------+

    如果显示命令不存在,需要安装对应版本的显卡驱动。

    可以参考链接:https://blog.csdn.net/maqian5/article/details/109777701

    装好了之后先别管她,后面会用到。

    安装docker

    安装好docker,这里不多赘述了,上链接:https://blog.csdn.net/u014069688/article/details/100532774

    安装好之后可以使用docker ps检查一下。

    创建基础容器

    因为基础容器我们需要使用anaconda实现虚拟环境,就不用python的基础镜像了,直接使用Ubuntu18的系统镜像作为基础镜像。

    [root@data2 home]# docker pull ubuntu:18.04
    18.04: Pulling from library/ubuntu
    e4ca327ec0e7: Pull complete
    Digest: sha256:9bc830af2bef73276515a29aa896eedfa7bdf4bdbc5c1063b4c457a4bbb8cd79
    Status: Downloaded newer image for ubuntu:18.04
    docker.io/library/ubuntu:18.04

    启动创建容器。

    命令:

    docker run --name=aliang -itd --gpus all --restart=always --shm-size 16G --net=host ubuntu:18.04 bash

     执行结果:

    [root@data2 home]# docker run --name=aliang -itd --gpus all --restart=always --shm-size 16G --net=host ubuntu:18.04 bash
    6c0b30fd0c258adeb76bc2baf817aaaf2064f1f0d96b0054d7e6a187ae0e5725
    [root@data2 home]# docker exec -it aliang bash
    root@data2:/# ls
    bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var

     命令说明:

    1、--name=aliang: 给容器命名

    2、--gpus all: 所有gpu都可使用,不建议这么设置,有点浪费,下面会有另一个例子

    3、--shm-size 16G:显存参数,给不给问题不大

    4、--net=host:容器使用,懒人做法,容器内和宿主机共享网络,下面另一个例子会有更好的方式。

    更好的方式:

    1、查看显卡编号

    [root@data2 home]# nvidia-smi -L

    选择一块卡,复制UUID后面的序列号

    2、使用命令

    docker run --name=aliang -itd --restart=always --shm-size 16G --gpus device=GPU-xxxxx -p 2299:22 ubuntu:18.04 bash

    在device后面接上上面查出来的序列号。把容器内22端口映射到宿主机的2299端口(当然这个出来的端口看你心情了)。

    安装Anaconda

    为了以后可以频繁使用这个容器做训练,使用conda的虚拟环境肯定是不二选择。

    这里要做的是在容器内安装,所以需要对容器内系统做一些命令升级。

    apt-get update
    apt-get upgrade

     至于安装Anaconda,就不过多赘述了,上链接: https://blog.csdn.net/tkzky001/article/details/118705205

    关于Anaconda的使用

    简单的说一下Anaconda的原理,主要是它可以构建多个虚拟的运行环境,我们可以通过命令行前缀判断目前所使用的虚拟环境。

    (base) root@data2:/#

    base是基础环境,下面我们安装一下机器学习模型所需要的环境。使用下面的命令,其中机器学习架构主要是用pytorch。

    创建python3.6的基础环境

    conda create -n bg_matting python=3.6

     激活环境

    (base) root@data2:/# conda activate bg_matting
    (bg_matting) root@data2:/#

    我们可以通过前缀判断是不是切换到了新的虚拟环境。

    验证环境

    (bg_matting) root@data2:/# python -V
    Python 3.6.13 :: Anaconda, Inc.

    的确是我们需要的3.6版本。

    安装pytorch

    打开pytorch官网:https://pytorch.org/ ,往下翻可以看到安装命令。

    选择linux环境CUDA最新版本。

    Docker容器SSH服务启动

    完成了以上的步骤,docker的环境基本ok了,下面来配置该容器的ssh服务,为了远程调试用。

    首先装个vim,不然太麻烦了。

    apt-get install vim

    安装openssh

    apt-get install openssh-server

     使用passwd,添加用户名密码

    passwd

    修改vim配置文件

    vim /etc/ssh/sshd_config

    修改两个地方

    1、端口

    需要说明一下,如果在构建docker容器的时候使用了 --net=host,则必须要改端口,因为原本的22端口会和宿主机的ssh端口冲突。可以调整为别的,例如下面。

    如果使用的是上面另一种方法,则无需修改,因为容器是将内部的22端口映射到宿主机的2299,没有共享。

    2、登入权限

    #PermitRootLogin prohibit-password

    PermitRootLogin yes

     以上的配置都做完了下面启动ssh

    /etc/init.d/ssh restart

     

    Pycharm连接Docker容器

    现在基本环境都安装好了,我们来尝试让IDE和docker容器环境连接起来。

    1、点开setting,打开Project Interpreter。

     2、点击新增,选择SSH Interpreter。

     3、填写宿主机IP,映射的端口,ssh用户名。

     4、填写passwd设置的密码,下一步。

     5、选择远程docker容器python执行文件,在安装Anaconda包内, 例如我的位置是:/root/anaconda3/envs/bg_matting/bin/python

    6、选择本地项目目录与远程项目目录位置映射

     7、可以在右下方看到你的远程执行配置。

    8、pycharm会将你的项目全量同步到远程的docker容器内。 

    验证 

     现在我们所有的配置都做好了,来运行一下我们的项目看看是否能够远程运行成功。

    运行验证

     没有问题。

    代码更新如何上传或者下载远端容器产物

    可以点击工具把选中的文件或者文件夹推送到docker容器内,或者反过来从远端容器下载到本地。

     

     验证容器内的产物是否生成

    输入命令进入容器,查看程序运行产物。

    [root@data2 home]# docker exec -it a8d bash
    (base) root@data2:/# cd /home/BackgroundMattingV2-master/
    (base) root@data2:/home/BackgroundMattingV2-master# ls
    LICENSE      data          export_onnx.py         inference_hy.spec        inference_video.py   train_base.py
    README.md    data_path.py  export_torchscript.py  inference_images.py      inference_webcam.py  train_refine.py
    __pycache__  dataset       images                 inference_speed_test.py  model
    content      doc           inference_hy.py        inference_utils.py       requirements.txt
    (base) root@data2:/home/BackgroundMattingV2-master# cd content/output/
    (base) root@data2:/home/BackgroundMattingV2-master/content/output# ls
    fuse
    (base) root@data2:/home/BackgroundMattingV2-master/content/output#
    

    没有问题!

    总结

    总的来说这种方式还是很不错的,因为在工作中我们并没有那么多显卡,又或者你需要调试已经部署的工程项目,都是很好的选择。还有一个很重要的功能,就是这个你调试好的容器可以直接打包docker镜像,其他人只要拉取该镜像就可以运行你的程序代码。直接解决容器化工程的问题。

    如果这篇文章对你有作用的话,请来个点赞吧,比心。

    展开全文
  • 首先准备一台带有GTX1050Ti显卡的真机,这个可以说是很low的了,才4G现存,主流机器学习生产环境都是特斯拉K40或者GTX2080Ti了,这个只是我用来搭建临时开发环境用的。其次需要一个启动U盘,用UltraISO制作一个...
  • 机器学习笔记

    千次阅读 2019-05-03 14:48:29
    机器学习(machine learning):用已有的数据训练某种模型,利用模型预测未来 Python机器学习库官网https://scikit-learn.org/stable/ 机器学习分为有监督的机器学习和无监督的机器学习 有监督的机器学习:回归、...
  • 前言很多深度学习入门者或多或少对计算机的配置需求有一些疑惑。入门的硬性需求是什么,应该买什么样的电脑,什么样的显卡比较适合,自己的笔记本可以使用吗等等问题。这些问题之前我也有很多疑惑,现在总结了下,为...
  • 安装cuda, 此处需要看cuda支持的列表,不同版本的cuda对于 显卡驱动的最低版本版本,我安装的是cuda9.0 刚好是支持390.67的。安装cuda的时候需要注意 sudo su 进入管理员模式,用来执行 *.run cuda驱动文件. ...
  • 机器学习相关笔记

    千次阅读 2020-06-23 10:23:01
    人工智能方面的东西,神经网络,机器学习 TensorFlow 3559 npu CUDA Linux系统:麒麟试用版下载 (Ubuntu kylin) https://www.ubuntukylin.com/index.php?lang=en 最新版本 19.10 python 库下载 Unofficial ...
  • 在Windows 10 2019 年 5 月更新发布之后,英特尔展示全新 英特尔® 显卡- Windows® 10 驱动程序提供的最新 MetaCommand 特性更新和 Windows ML 性能提升。了解详情
  • 北京时间 6 月 5 日凌晨,苹果 2018 年全球开发者大会 (WWDC) 在圣何塞的 McEnery 会议中心开幕。...了解人工智能(AI)的朋友都知道,机器学习是 AI 技术的重点,而不断的训练是机器学习的必需品,不管...
  • 前几天写了一个小程序,用到了机器学习,需要训练神经网络。可惜,我自己的渣渣笔记本根本就跑不起来代码,更别提完成训练了,所以就在网上找合适的GPU服务器来租用,先解燃眉之急再说。 阿里云 一开始肯定想着先...
  • 机器学习工程师自学指南 本文将会介绍机器学习的方方面面,从简单的线性回归到最新的神经网络,你不仅仅能学会如何使用它们,并且还能从零进行构建。 以下内容以计算机视觉为导向,这是学习一般知识的最快方法,...
  • 大年初一在家学了整整一天,ennnnn突然我就想系统的了解下机器学习和深度学习的区别。学习知识的同时,也看看视频学学英语,舒服。 机器学习和深度学习:提供训练模型和数据分类的方法。 谷歌的 Google i/o开发者...
  • Adam Geitgey撰写了一份简单易懂的《机器学习,乐趣无限》的资料,共分为5个部分,主要针对所有对“机器学习”感兴趣,却苦于不知从何下手的朋友,希望能借此让更多人认识了解“机器学习”,激发其对“机器学习”的...
  • 机器学习工具箱 通过旧金山的一些社区聚会进行80个小时的机器学习课程 高级Spark和TensorFlow聚会 8月20日网络研讨会 工具 流水线AI 库伯流 TensorFlow Extended(TFX) 空气流动 显卡 热塑性聚氨酯 火花ML ...
  • 对于喜欢机器学习的同学,拥有一台高性能的台式机,在进行网络训练的同时,还能流畅运行其它程序,学习工作娱乐三不误,无疑是一个迫切的需求。下面我们就介绍三套能够满足这个需求的配置。 1.预算5000左右屌丝...
  • 机器学习环境搭建

    千次阅读 2017-09-14 15:13:20
    【摘要】此文列出两种机器学习搭建的场景,一种为Dell R730服务器+Ubuntu...注:本文主要介绍显卡驱动安装前期的操作一、Ubuntu 16.04 + GTX1070 机器学习 DELL R730 DELL R730上搭载GTX1070,安装ubuntu16.04来搭
  • 配置的机器学习环境的过程有些复杂,今天我们将会为大家分享网友Jason Weimann的文章,让大家学会在Windows 10上配置Unity机器学习和TensorFlow环境。当成功配置完成后,就可以运行Unity官方提供的机器学习示例项目...
  • 机器学习和深度学习代码示例 Docker标签 状态 中央处理器 显卡 这个库使用具体的例子来学习[机器学习+深度学习] 使用适当的详细的注释来编写代码,另外,相关的书面说明以及个人见解与总结会发布在 用法 可以通过...
  • 目录Mac上使用GPU进行机器学习加速使用Mac的GPU进行ML训练的意义支持Mac的GPU的机器学习后端 PlaidML 前端KerasPlaidML安装流程测试训练神经网络总结 Mac上使用GPU进行机器学习加速 2017年时,初次接触机器学习,...
  • 而通过机器学习,我们可以使用各种机器学习的方法,使计算机程序具有不断获取新的知识的能力,从而适应解决各种问题。 而深度学习是机器学习中十分火热的一个话题,通过搭建神经网络的模型来实现机器学习。现阶段,...
  • 最近搭建自己的机器学习平台跑一些小实验,看网上(知乎)各种大神的回复一定要上Tesla架构的K40,K80之流的,深感知乎的装13气氛。 其实当前搭建机器学习平台,可能有9成是要用来跑Tensorflow,所以要想成本低,...
  • Linux 内核新增的异构内存管理将解锁加速 GPU 的新途径,并挖掘其它的机器学习硬件的潜能,一项开发了很久的内存管理技术将会给机器学习和其它 GPU 驱动的程序很大幅度的提升,而它也将在接下来的几个版本中进入 ...
  • 机器学习深度学习云GPU资源与对比

    万次阅读 多人点赞 2018-01-14 17:24:12
    相信和我一样,有很多刚入门学习ML、DL的亲们都会遇到一个问题,那就是没有足够的算力去跑自己的网络。而自己去买一块显卡可能又成本太高。在我研究了数天,尝试了各种云资源之后,现在终于总结出低成本高效的云服务...
  • 陈天奇是机器学习领域著名的青年华人学者之一,本科毕业于上海交通大学ACM班,博士毕业于华盛顿大学计算机系,研究方向为大规模机器学习。上个月,陈天奇在Twitter上宣布自己将于2020年秋季加入CMU任助理教授,成为...
  • 机器学习入门--MNIST(一)

    千次阅读 2017-11-15 17:14:52
    最近在看机器学习TensorFlow,就像其他任何一门语言(当然机器学习不仅仅是语言)都有一个"hello world",可以说MNIST是机器学习的"hello world"。 极客学院里有TensorFlow官方文档中文版,里面...
  • 机器学习笔记4:TensorFlow基础入门介绍
  • 传统机器学习和深度神经网络对比

    千次阅读 2020-04-29 00:42:53
    Table of ContentAlpha GO神经网络从工业的角度对比传统机器学习和深度神经网络 Alpha GO 虽然大家会说AlexNet是深度学习的开始,但真正引爆整个AI行业的可以说是Alpha GO(人称阿尔法狗)。Alphabet子公司Deepmind...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,975
精华内容 5,590
关键字:

显卡推荐机器学习