精华内容
下载资源
问答
  • 内含PytorchTensorFlow的GPU共存的环境配置清单,并包括一些PIP镜像源。
  • 目前 ONNX 已经原生支持 MXNet、PyTorch Caffe2 等大多数框架,但是像 TensorFlow 或 Keras 之类的只能通过第三方转换器转换为 ONNX 格式。TfPyTh无需改写已有的代码就能在框架间自由转换。T.

    在开源的 TfPyTh 中,不论是 TensorFlow 还是 PyTorch 计算图,它们都可以包装成一个可微函数,并在另一个框架中高效完成前向与反向传播。

    github项目地址:BlackHC/TfPyTh。

    神经网络交换格式 ONNX,定义了一种通用的计算图。目前 ONNX 已经原生支持 MXNet、PyTorch 和 Caffe2 等大多数框架,但是像 TensorFlow 或 Keras 之类的只能通过第三方转换器转换为 ONNX 格式。TfPyTh 无需改写已有的代码就能在框架间自由转换。TfPyTh 允许我们将 TensorFlow 计算图包装成一个可调用、可微分的简单函数,然后 PyTorch 就能直接调用它完成计算。反过来也是同样的,TensorFlow 也能直接调用转换后的 PyTorch 计算图。

    目前 TfPyTh 主要支持三大方法:

    torch_from_tensorflow:创建一个 PyTorch 可微函数,并给定 TensorFlow 占位符输入计算张量输出;

    eager_tensorflow_from_torch:从 PyTorch 创建一个 Eager TensorFlow 函数;

    tensorflow_from_torch:从 PyTorch 创建一个 TensorFlow 运算子或张量。TfPyTh 示例

    import tensorflow as tf

    import torch as th

    import numpy as np

    import tfpyth

    session = tf.Session()

    def get_torch_function():

    a = tf.placeholder(tf.float32, name='a')

    b = tf.placeholder(tf.float32, name='b')

    c = 3 * a + 4 * b * b

    f = tfpyth.torch_from_tensorflow(session, [a, b], c).apply

    return f

    f = get_torch_function()

    a = th.tensor(1, dtype=th.float32, requires_grad=True)

    b = th.tensor(3, dtype=th.float32, requires_grad=True)

    x = f(a, b)assert x == 39.x.backward()assert np.allclose((a.grad, b.grad), (3., 24.))

    展开全文
  • 如果想搭建GPU版本,同理。 anaconda + pytorch 环境搭建连接 win10下深度学习环境搭建...(由于anaconda 中的python版本是3.7版本,和tensorflow版本有些不兼容,因此需要在anaconda中搭建一个python3.6版本) conda...

    如果想搭建GPU版本,同理。
    anaconda + pytorch 环境搭建连接
    win10下深度学习环境搭建tensorflow + pytorch框架
    参考上面两篇教程做总结一下注意事项:

    注意1. 创建python3.6环境

    (由于anaconda 中的python版本是3.7版本,和tensorflow版本有些不兼容,因此需要在anaconda中搭建一个python3.6版本)

    conda create -n Deeplearning python=3.6
    

    在这里插入图片描述

    注意2. tensorflow镜像安装

    可直接用清华镜像源命令:

    pip install tensorflow==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    其中版本2.0可自行修改

    如果出现以下问题:
    Could not fetch URL https://pypi.org/simple/tqdm/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=‘pypi.org’, port=443): Max retries exceeded with url: /simple/tqdm/ (Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:852)’),)) - skipping
    那么:

    pip install package_name -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
    

    解决链接
    链接1
    链接2

    # tensorflow2.0快速安装,Keras快速安装

    Tensorflow版本与keras版本对应

    链接

    注意3. 如果要用keras的话,tensorflow1.14对应keras 2.3.1

    pip install tensorflow==1.14 -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    pip install -i https://pypi.douban.com/simple keras==2.3.1
    #其他常用包安装
    pip install -i https://pypi.douban.com/simple scikit-learn
    pip install -i https://pypi.douban.com/simple lightgbm
    pip install -i https://pypi.douban.com/simple pandas
    pip install -i https://pypi.douban.com/simple tqdm
    pip install -i https://pypi.douban.com/simple jupyter notebook
    pip install -i https://pypi.douban.com/simple matplotlib
    #镜像后面加不加反斜杠抖可以
    pip install -i https://pypi.douban.com/simple/ matplotlib
    
    #读取excel,最新的读不了
    pip install -i https://pypi.douban.com/simple xlrd==1.2.0
    
    展开全文
  • 建议在anaconda下创建环境,再进行安装,方便各个环境的管理,以下安装方法在cudacudnn都安装好的前提下进行的。 Tensorflow安装 首先创建环境:conda create -n tf_0.11_gpu python=2.7; tf_0.11_gpu为环境...

    建议在anaconda下创建环境,再进行安装,方便各个环境的管理,以下安装方法在cuda和cudnn都安装好的前提下进行的。

    Tensorflow安装

    1. 首先创建环境:conda create -n tf_0.11_gpu python=2.7; tf_0.11_gpu为环境的名称,2.7指定了python的版本,根据需要可以换成3.6; 环境名称可以随意修改
    2. 激活当前环境: source activate tf_0.11_gpu
    3. 在该环境中安装tensorflow:
      pip install --ignore-installed --upgrade
      https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/tensorflow-0.11.0-cp27-none-linux_x86_64.whl

    https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/ 这个网站有tensorflow 各个版本,根据需要进行解决

    Pytorch安装

    1. 首先按照上面步骤创建环境并进行激活;
    2. 根据Pytorch官网要求进行安装,具体网址如下:https://pytorch.org/。根据自身情况选择后进行安装,如图所示:
      在这里插入图片描述
      或者在这里能找到各个版本的朋友torch版本:https://ptorch.com/news/145.html

    多个cuda并存

    如何一台服务器中同时配了好几个版本的cuda,不同的环境需要不同的cuda版本支持,这个时候就需要来回切换,怎么解决呢,解决措施如下:

    1. 首先配置好CUDA的环境:
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
    export PATH=$PATH:/usr/local/cuda/bin
    export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
    
    1. 创建软连接:(创建之前先删除之前的软连接,然后创建新的软连接)
      sudo rm -rf cuda
      sudo ln -s /usr/local/cuda-8.0 /usr/local/cuda

    如何在激活的环境中使用超级用户权限呢?

    激活conda的虚拟环境后
    使用sudo会更换用户
    而必须使用虚拟环境中的pip安装时
    使用which pip 查找虚拟环境下pip命令路径
    然后sudo /…/pip …

    展开全文
  • 我安装的是0.2.0版本的 torch, 安装 PyTorch 会安装两个模块, 一个是 torch, 一个 torchvision, torch 是主模块, 用来搭建神经网络的, torchvision 是辅模块, 有数据库, 还有一些已经训练好的神经网络(( ...

    Anaconda安装


    清华大学 TUNA 镜像源选择对应的操作系统与所需的Python版本下载Anaconda安装包。Ubuntu环境下在终端执行

      $ bash Anaconda2-4.3.1-Linux-x86_64.sh #Python 2.7版本

      $ bash Anaconda3-4.3.1-Linux-x86_64.sh #Python 3.5 版本

    在安装的过程中,会询问安装路径,按回车即可。之后会询问是否将Anaconda安装路径加入到环境变量(.bashrc)中,输入yes,这样以后在终端中输入python即可直接进入Anaconda的Python版本(如果你的系统中之前安装过Python,自行选择yes or no)。安装成功后,会有当前用户根目录下生成一个anaconda的文件夹,里面就是安装好的内容

    查询安装信息

      $ conda info

    查询当前已经安装的库

      $ conda list

    安装库(***代表库lib名称)

      $ conda install ***

    更新库

      $ conda update ***

    Anaconda仓库镜像增加


    官方下载更新工具包的速度很慢,所以继续添加清华大学 TUNA提供的Anaconda仓库镜像,在终端或cmd中输入如下命令进行添加

       $ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

       $ conda config --set show_channel_urls yes

     

    Tensorflow安装


    在终端或cmd中输入以下命令搜索当前可用的tensorflow版本

      $ anaconda search -t conda tensorflow

    选择一个较新的CPU或GPU版本,如jjh_cio_testing/tensorflow-gpu的1.3.0版本,输入如下命令查询安装命令

      $ anaconda show jjh_cio_testing/tensorflow-gpu

    使用最后一行的提示命令进行安装

      $ conda install --channel https://conda.anaconda.org/jjh_cio_testing tensorflow-gpu

    conda会自动检测安装此版本的Tensorflow所依赖的库,如果你的Anaconda缺少这些依赖库,会提示你安装。因为我之前已经安装过了,所以这里只提示安装Tensorflow。输入y并回车之后等待安装结束即可

    • 也可以选择次高版本的Tensorflow安装,略稳定

    进入python,输入

      import tensorflow as tf

    如果没有报错说明安装成功。

     

     

    pyTorch安装

    pyTorch 安装起来很简单, 它自家网页上就有很方便的选择方式:

     

     

    根据你的情况选择适合你的安装方法, 我已自己为例, 我使用的是Linux, 我的 Python 是 2.7 版的, 有 GPU 加速, 那我就按上面的选:

    然后根据上面的提示, 我只需要在我的 Terminal 当中输入以下指令就好了:

      conda install pytorch torchvision cuda80 -c soumith

    我安装的是0.2.0版本的 torch, 安装 PyTorch 会安装两个模块, 一个是 torch, 一个 torchvision, torch 是主模块, 用来搭建神经网络的, torchvision 是辅模块, 有数据库, 还有一些已经训练好的神经网络((VGG, AlexNet, ResNet))可以直接用。.

    安装成功!

     

    转载于:https://www.cnblogs.com/AngelaSunny/p/7766153.html

    展开全文
  • 最近想同时使用几个深度学习框架,如果直接安装在...tensorflow:https://tensorflow.google.cn/install mxnet:https://mxnet.apache.org/versions/1.8.0/get_started? pytorch:https://pytorch.org/get-started
  • Ubuntu终端成功安装Pytorch和tensorflow 1.换源 方法1 更新与软件 选中国-aliyun 方法2 sudo gedit /etc/apt/sources.list deb ...
  • 使用conda安装管理环境,非常...默认安装cudatoolkitcudnn,也就是说cudacudnn都不需要你手动安装,一行命令搞定cudacudnn,如果你电脑上没有安装官网的cudacudnn也不要紧!运行程序会使用conda自带的 ...
  • 引用自:机器之心:一行代码切换TensorFlowPyTorch,模型训练也能用俩框架 你是否有时要用 PyTorch,有时又要跑 TensorFlow?这个项目就是你需要的,你可以在训练中同时使用两个框架,并端到端地转换模型。也就是...
  • 同时安装pytorch和TensorFlow等多种深度学习开发环境(1) 在前一篇博文里面,因为cuda版本问题,只创建一个环境安装了pytorch。并没有安装tensorflow。 CUDA版本问题解决 之前的pytorch是使用CUDA11.0,目前对于...
  • 接上文 1、问题:虽然在conda环境下解决了问题,但是还需要在pycharm中运行,同样导入torch时还是出现了...(iii)因为同时有pytorchTensorFlow的原因,因此配置的时候也需要指定具体是pytorch还是TensorFlow,具...
  • 以前的python环境问题让人很头疼,有的人现在还是用linux原生的python2,然后安装python3,自己管理python环境变量以及pip,来使得他们共存。我开始也是这样。 后来开始在远程服务器remote server上用anaconda来管理...
  • conda install pytorch torchvision -c pytorch 缺点:经常因为网络原因安装失败。 -------------------------------------------------------------------------------------- 方法2:github源码方法 github...
  • tensorflow1.xx和tensorflow2.xx需要用CUDA版本不一样,为了使用多版本的tensorflow,尝试安装多版本的CUDAcuDNN,及切换对应版本的方法。 1、tensorflow与CUDA的版本对应关系如下:...
  • 用 conda 安装 GPU 版本 Tensorflow/PyTorch/Mxnet,非源码编译 os安装 目前对 tensorflow cuda 支持最好的是 ubuntu 的 18.04,16.04 这种 lts ,推荐使用 18.04 版本。非 lts 的版本一般不推荐。 Windows 倒是...
  • 以下是用Anaconda安装tensorflow遇到的一些坑。 一:安装tensorflow 安装Tensorflow时,需要从Anaconda仓库中下载,一般默认链接的都是国外镜像地址,这里用国内清华镜像,需要改一下链接镜像的地址。这里,打开...
  • (为了保证我师兄的代码互相能看懂,只能舍弃pytorch了。pytorch yyds!) 查看匹配 首先明确一件事情,tensorflow、cudnn、cudatoolkit(cuda)是我们每个tensorflow环境需要安装的。这三个库之间是有一个匹配...
  • 其实根本不用换源 pip install tensorflow==2.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
  • 同时安装pytorch和TensorFlow等多种深度学习开发环境(1) 在前一篇博文里面,因为cuda版本问题,只创建一个环境安装了pytorch。并没有安装tensorflow。 CUDA版本问题解决 之前的pytorch是使用CUDA11.0,目前对于...
  • numpy, scipy, matplotlib, tensorflow, pytorch, etc.),而不用管包与包之间的dependency问题——比如有的时候你安装新的package1,它要求numpy 1.0版本,你再次安装package2,他又要求numpy1.3,这个时候就会出...
  • 在大佬论文的代码基础上修改并加入自己的idea是比较常见的学术上手方式之一,但论文用的框架 (pytorch, tensorflow等) 可能会存在差异,可能需要你同时看几个框架的代码,也可能需要安装同一个框架的多个版本,那么...
  • 目前对tensorflow和cuda支持最好的是ubuntu的18.04 ,16.04这种lts,推荐使用18.04版本。非lts的版本一般不推荐。 Windows倒是也能用来装深度GPU环境,但是Windows上的问题实在太多了,而且很多都是跟环境相关的,...
  • _OS自带的驱动有些奇怪,安装tensorflow十分方便但是安装pytorch后无法识别显卡。也下载了elementary OS,安装界面过于花哨,感觉浪费电,本着奥卡姆剃刀的“如无必要,勿增实体”原则最后也没有继续用这个系统。...
  • 博主这边本来已经配置好pytorch环境,现在想同时配置caffetf,根据网上的说法,两者caffetf共存好像并不是那么简单,容易出现bug。 因此,我参考了:http://cuijiahua.com/blog/2017/12/dl_1.html,但是按照...
  • 看报错信息,与numpyskimage两个库有关,因为是安装了pytorch之后才有的问题,所以肯定是安装pytorch的时候,这两个库的版本变了。然后我就先尝试升级skimage, 具体命令“pip3 install --upgrade scikit-image ”...
  • 说明 记录RTX3090显卡显示驱动与cuda计算驱动安装过程, 本文均采用 run 格式的安装文件. 显卡驱动安装 文件下载 cuda 从 这里 下载安装文件...一次性安装显示驱动cuda计算套件 参照 Ubuntu 16.04 LTS + CUDA8.0 + cu
  • 私有云服务多版本tensorflow-gpu,pytorch-gpu,cuda共存完美避坑指南 背景: 大数据集训练采用cpu实在是太太太慢了,本人亲测,在cpu上基于tensorflow1.15采用BERT训练10万文本相似度。steps=7500花了三个晚上。...

空空如也

空空如也

1 2 3 4 5 ... 12
收藏数 232
精华内容 92
关键字:

tensorflow和pytorch共存