精华内容
下载资源
问答
  • faster-rcnn-pytorch 自己其他的素材的结果:
  • ROS-python2.7 + Pytorch-python3.6 + Anaconda

    千次阅读 2019-03-20 17:30:15
    ROS所使用的python版本为2.7,但是现在越来越多的人做深度学习+机器人方面的研究,而目前搭建神经网络的库许多的是python3,所以让不同的python版本兼容是一个问题。 经过查阅资料,通过anaconda建立虚拟环境,将...

    ROS所使用的python版本为2.7,但是现在越来越多的人做深度学习+机器人方面的研究,而目前搭建神经网络的库许多用的是python3,所以让不同的python版本兼容是一个问题。

    经过查阅资料,通过anaconda建立虚拟环境,将python3的程序都放到虚拟环境中,并在虚拟环境中安装ROS的一些包,实现ROS和python3的共存。过程如下:

    1. ROS安装,这部分就不说了,网上资料很多,就正常安装。

    安装好后,打开一个terminal,输入python,可以看到python版本是:Python 2.7.6.

    2. Anaconda建立虚拟环境

    2.1. 网上下载anaconnda到Downloads目录,然后

    $ cd Downloads
    $ sudo bash Anaconda3XXXXXX.sh

    安装anaconda,但是不要选择将路径添加到环境变量。等下我们手动添加。

    此处可以参考这里:使用anaconda在ubuntu16.04下安装TensorFlow-GPU,同时保留原本的ROS环境

    2.2. 暂时添加anaconda环境变量

    $ sudo gedit ~/.bashrc
    在文件末尾添加:
    export PATH=/home/XXX(你自己的ubuntu名字)/anaconda3/bin:$PATH

    此时重新打开terminal,输入python,版本为:Python3.6.4。

    但是此时ROS中的一些包已经不能用了,因为python版本已经变了。

    我们参考上述链接中的方法解决一波。

    2.3. 先建一个Python3的虚拟环境

    $ conda create -n learninglab python=3.6

    2.4. 参考链接进一步修改

    $ sudo gedit ~/.bashrc
    在文件中添加
    alias condapy3='. /home/tom/anaconda3/etc/profile.d/conda.sh && conda activate learninglab'
    
    屏蔽掉
    #export PATH=/home/XXX/anaconda3/bin:$PATH

    新开一个terminal,输入condapy3,此时进入并激活learninglab的虚拟环境,在输入python,可以看到版本为3.6.

    再开一个terminal,输入python,版本还是之前ROS用到的Python2.7.6.。

    实际环境和虚拟环境python版本进行了隔离。

    2.5. 虚拟环境安装ROS需要的包

    terminal输入condapy3,进入learninglab,然后

    (learninglab)$ pip install catkin-tools
    (learninglab)$ pip install rospkg

    2.6. 虚拟环境安装Pytorch

    参考https://pytorch.org/

    linux-conda-Python3.6-cpu

    (learninglab)$ conda install pytorch-cpu torchvision-cpu -c pytorch

     

    至此完成环境搭建。

    conda清理

    conda clean -p
    conda clean -t

    以后深度学习方面的开发在虚拟环境中做,通过虚拟环境中的ROS包和实际环境中的ROS包通信,达到python2.7和python3.6的平衡。

    展开全文
  • flask+gunicorn+nginx部署pytorch/python应用

    千次阅读 2019-01-09 18:12:17
    flask+gunicorn+nginx部署python应用 前言现在大多数的机器学习和深度...这里flask+gunicorn+nginx实现python应用的部署,同理可以迁移到pytorch、tensorflow等机器学习、深度学习模型的部署。 1. 基于flask实现py...

    flask+gunicorn+nginx部署python应用

    前言现在大多数的机器学习和深度学习都是采用python实现的,作为学术研究者,更关注算法的实现,作为工程实际,则更在意模型限制、速度、精度和部署等问题。这里用flask+gunicorn+nginx实现python应用的部署,同理可以迁移到pytorch、tensorflow等机器学习、深度学习模型的部署。

    1. 基于flask实现python服务

    Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask使用 BSD 授权。

    • 安装:采用anaconda/miniconda安装python的时候,应该已经安装了。
    • 使用:这里举个简单的例子,也为后面使用gunicorn和nginx做准备。
    # main.py
    from flask import Flask
    app = Flask(__name__)
    @app.route('/predict')
    def index():
        return 'this server is running on port:6001, url is predict'
        # 在index函数就可以添加任何操作,如机器学习/深度学习模型操作等
    
    if __name__=='__main__':
        app.debug = True
        app.run(host="0.0.0.0", port=6001)
    
    • 运行,在终端输入:python main.py # main.py为python文件名
      这里在本机的6001端口起了一个服务,如果在浏览器中访问http://0.0.0.0:6001/predict,就会打印出:this server is running on port:6001, url is predict
    • 结果,如下图所示
      在这里插入图片描述
    • 小结,采用flask相对简单,应该不能支持并发,所以需要gunicorn

    2. 并发支持gunicorn

    Gunicorn 绿色独角兽’是一个Python WSGI UNIX的HTTP服务器。这是一个预先叉工人模式,从Ruby的独角兽(Unicorn )项目移植。该Gunicorn服务器大致与各种Web框架兼容,只需非常简单的执行,轻量级的资源消耗,以及相当迅速。
    使用gunicorn的目的,主要是为了并发和鲁棒性。

    • 安装:直接使用python的包管理工具pip就可以直接安装
    pip install gunicorn
    
    • 参数设置,其实就是告诉服务的地址,并发数,超时时间等信息:gunicorn支持三种参数设置,主要采用config文件和命令行两种
      • config文件:通过一个python文件做配置,使用时采用
      gunicorn -c confing.py    # config.py为配置文件
      
      参考配置项如下,具体可以百度。
        # coding:utf-8
        # config.py
        import os
        import multiprocessing
        bind = '127.0.0.1:8000'      #绑定ip和端口号
        backlog = 512                #监听队列
        # chdir = '/home/test/server/bin'  #gunicorn要切换到的目的工作目录
        timeout = 30      #超时
        worker_class = 'gevent' #使用gevent模式,还可以使用sync 模式,默认的是sync模式
      
        workers = multiprocessing.cpu_count() * 2 + 1    #进程数
        threads = 2 #指定每个进程开启的线程数
        daemon = True   # 后台运行的方式
      
      其中最主要bind:指定服务的地址和端口,workers:进程数,为了支持并发等
      • 命令行:直接在命令行指定参数,例子如下:
      gunicorn -w 5 -b 0.0.0.0:8000 main:app --reload -t 500 -D
      
      参数解释:
      • -w:进程数
      • -b:ip和端口号
      • main:app:进程服务
      • –reload:python文件修改时自动重载
      • -t:超时时间
      • -D:后台运行
    • 运行,这里分别采用两种方式启动前面main.py的flask服务
      • 配置文件
      gunicorn -c config.py main:app    # main指flask应用的python文件,app指flask应用,注意这里采用的是config.py配置文件中的8000端口,而不是main.py中的6001,所以也可以采用python main.py启动flask应用。
      

    在这里插入图片描述

    • 效果:在浏览器访问http://0.0.0.0:8000/
      效果
      可以看到6001端口变成了8000

      • 命令行
      gunicorn -w 4 -b 127.0.0.1:8000 main:app
      
    • 但是,现在有另外一个问题,你在本机是可以访问了,但是别人的电脑却访问不了你的服务。如下图。这个时候就需要nginx了
      在这里插入图片描述

    3. nginx

    Nginx (engine x) 是一个高性能的HTTP和反向代理服务,也是一个IMAP/POP3/SMTP服务。

    • 安装:
    sudo apt-get install nginx
    
    • 配置修改:先备份原有配置,再修改
    sudo cp /etc/nginx/sites-available/default default.bak
    sudo nano /etc/nginx/sites-available/default
    

    可参数如下配置:

    server {
        listen 80;
        server_name example.org; # 这是HOST机器的外部域名,用地址也行
    
        location / {
            proxy_pass http://127.0.0.1:8000; # 这里是指向 gunicorn host 的服务地址
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
    
      }
    

    关键参数详解:

    • listen:对外的端口
    • server_name:对外的域名
    • proxy_pass: 要映射到的服务地址
    • 验证配置
    sudo nginx -t
    # 若输出,则配置成功
    nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
    nginx: configuration file /etc/nginx/nginx.conf test is successful
    
    • 启动nginx
    sudo service nginx restart
    
    • 停止nginx
    sudo service nginx stop
    
    • 效果:这时候在浏览器访问:http://0.0.0.0,就会出现下图效果。
      在这里插入图片描述
      这里出现了问题,因为nginx做反向代理的时候,服务的地址为:http://127.0.0.1:8000,然而8000为gunicorn配置的端口,这些都没问题,唯独少了 /predict,因为flask应用是监听:/predict后缀的。
      所以,做如下修改:
    proxy_pass http://127.0.0.1:8000; # 这里是指向 gunicorn host 的服务地址
    # 改为
    proxy_pass http://127.0.0.1:8000/predict; # 这里是指向 gunicorn host 的服务地址
    

    然后重启nginx,正确效果如下:
    在这里插入图片描述

    4. 总结

    整个流程就是nginx——gunicorn——flask,可以参考这里的总结Flask + Gunicorn + Nginx 部署

    reference

    1. Flask+Gunicorn+Nginx配置多个app
    2. Flask + Gunicorn + Nginx 部署
    3. Python日记——nginx+Gunicorn部署你的Flask项目
    展开全文
  • 转自:... 1、安装Anaconda3。 Anaconda默认Python3.6,由于TensorFlow需要Python3.5,因此需要在root环境下更改Python版本。 2、添加镜像源。 conda config --add channels ...

    转自:https://blog.csdn.net/jiangqinghuaa/article/details/79614880(感谢这位博主的分享)

    1、安装Anaconda3。

    Anaconda默认Python3.6,由于TensorFlow需要Python3.5,因此需要在root环境下更改Python版本。

    2、添加镜像源。

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes
    •  

    3、安装Python3.5。

    conda install python=3.5
    •  

    等一会。

    4、升级pip。直接用pip安装TensorFlow会出错。

    使用管理员权限打开Anaconda Prompt

    pip install --upgrade pip
    •  

    关闭Anaconda Prompt,重新打开。

    5、安装tensorflow。(CPU版本)

    pip install --upgrade --ignore -installed tensorflow  
    •  

    6、测试tensorflow。

    spyder
    •  

    在Spyder中输入:

    import tensorflow as tf  
    hello = tf.constant('Hello, TensorFlow!')  
    sess = tf.Session()  
    print(sess.run(hello))  

    7、安装pytorch。

    先安装

    conda install numpy mkl cffi
    •  

    或者需要升级mkl库

    pip install mkl
    pip install mkl --upgrade
    •  

    或者

    conda install mkl
    conda update mkl
    •  

    如果想要更新所有库

    conda update --all
    •  

    安装pytorch。(CPU版本) 
    链接: https://pan.baidu.com/s/10K8x6n2a51hKKD5sc3_9YA 密码: mn7r 
    下载 pytorch-cpu-0.3.1-py35_cpuhe774522_2.tar.bz2

    conda install --offline pytorch-cpu-0.3.1-py35_cpuhe774522_2.tar.bz2
    •  
    # 测试 tensorflow 和 pytorch是否正常工作
    import tensorflow as tf  
    import torch
    from torch.backends import cudnn
    
    hello = tf.constant('Hello, TensorFlow!')  
    sess = tf.Session()  
    print(sess.run(hello))
    
    x = torch.Tensor([1, 3])
    y = torch.Tensor([2, 4])
    z = x + y
    # z = z.cuda()    # cpu版本没有cuda  
    print(z)
    print(cudnn.is_acceptable(x))
    展开全文
  • 这里选择pip方式安装: wget http://download.pytorch.org/whl/cu80/torch-0.2.0.post3-cp36-cp36m-anylinux1_x86_64.whl pip install torch-0.2.0.post3-cp36-cp36m-manylinux1_x86_64.whl 然后即可安装成功...

    方法一、

    pip install http://download.pytorch.org/whl/cu80/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl
    

    方法二、

    一般安装参照官网即可:http://pytorch.org/

    这里选择用pip方式安装:

    wget http://download.pytorch.org/whl/cu80/torch-0.2.0.post3-cp36-cp36m-anylinux1_x86_64.whl
    pip install torch-0.2.0.post3-cp36-cp36m-manylinux1_x86_64.whl
    

    然后即可安装成功!

    若pip指令安装出现错误,使用如下命令进行安装即可解决:

    conda install pytorch torchvision cuda80 -c soumith

     

    展开全文
  • 很简单,只需要确定如何衡量 f(x) 与y之间的差 别,可以它们之间的距离差异来衡量误差,取平方是因为距离有正有负,我们希望能够将它们全部变成正的。这也就是著名的均方误差,要做的事情就是希望能够找到w*和b*...
  • Keras、TensorFlow、PyTorch的模型预测时,如果了matplotlib显示图片,一直循环会导致plt占内存过多: terminate called after throwing an instance of ‘std::bad_alloc’ Aborted (core dumped) 各种尝试...
  • 本文主要其他库读取图像文件(学会这个,你就可以在之后的学习中,将一些效果直观化) 更好的文章组织结构: Github 关注公众号:tuduisuinian(土堆碎念),菜单底部可以获取pytorch教程PDF文档 零:准备 加载...
  • 官网方法太慢,网速不行的时候经常掉线,故采用离线安装 1、先去清华镜像下载pytorch安装包 ... 选择适合自己电脑的版本,下载到本地 ...可以利用anaconda navigator新建,当然也可以直接命令...
  • 数据集在data文件夹里,分别训练集在“imgs”,label在“mask”里,数据集的是医学影像细胞分割的样本,其实在train集里有原图和对应的样本图。 train_x的样图: train_y(label)样图: 2.训练模型 import ...
  • 应当慎 nn.Sequential( OrderDict( [nn.Conv2d(...) ... ])) 格式,由于这种格式会默认命名(0),(1),(2)…难以进行层操作。 我们建议的格式像这样: class model(nn.Module): def __init__(self): ...
  • 欢迎大家来到《有三图书馆》,我们会定期组织大家捐赠自己不着也舍不扔的好书,共建一个低成本的图书馆,如果你要想要捐赠的书,也可以直接联系文末小助手微信。本期赠书书单《智周万物——人工智能...
  • 在windows10上面搭建了一个深度神经网络,编程语言python3.6,使用pytorch框架。 所有代码在源码阶段都是命令行进行编译验证。 程序要的时候是在一个windows平台,因此,还要生成一个windows的应用程序(.exe)...
  • 神经网络实现线性拟合,代码源自《深度学习入门之pytorch》。 《深度学习入门之pytorch》的使用体验 关于这个书好不好,我也不好评价,但总体体验不是太好。 书中的代码有些不全,新手自己运行不出结果,就不...
  • pytorch安装(python3.7 cuda9.2)

    千次阅读 2020-08-02 16:39:55
    conda create --name pytorch python=3.7 anaconda python版本根据你自己的python版本所设 我首先考虑的anaconda安装(建议先改源,如清华镜像源),按讲应该去https://pytorch.org/下找到对应的安装指令 我...
  • PyTorch 写的一个python 脚本,脚本内容执行结束后,程序不能正常结束,按Ctrl + C也没用!!(虽然这个bug似乎对实验结果没什么影响,但是,很影响心情有没有,我居然不能控制自己写的代码……) 究竟是哪里出...
  • Pointnet2 / Pointnet ++ PyTorch用PyTorch编写的Pointnet2 / Pointnet ++的实现。 通过nn.DataParallel支持多GPU。 支持PyTorch版本> = 1.0.0。 使用v1.0支持较旧版本的PyTorch。 有关正式的模型定义和超参数,请...
  • 这里使用pip安装pytorch,我试过cuda安装,和电脑的配置没兼容,没有安装成功,后来发现使用pip安装很简单方便,就是pip安装 首先进入pytorch官网,往下拉会看到不同的安装选项 根据自己电脑的配置选择不同的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,966
精华内容 786
关键字:

pytorch用python

python 订阅