精华内容
下载资源
问答
  • 常见的服务器运行模型有哪些
    万次阅读 多人点赞
    2021-04-12 00:09:31

    写在前面

    本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

    本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

    解答

    在工程中常用的一致性模型有:强一致性(Strong Consistency), 弱一致性(Weak Consistency),最终一致性(Eventual Consistency 
    
    1. 强一致性:系统中的某个数据被成功更新后,后续任何对该数据的读取操作都将得到更新后的值。所以在任意时刻,同一系统所有节点中的数据是一样的。
    2. 弱一致性:系统中的某个数据被更新后,后续对该数据的读取操作可能得到更新后的值,也可能是更改前的值。但经过“不一致时间窗口”这段时间后,后续对该数据的读取都是更新后的值
    3. 最终一致性:是弱一致性的特殊形式。存储系统保证,在没有新的更新的条件下,最终所有的访问都是最后更新的值。
    

    在这里插入图片描述

    补充

    强一致性

    在强一致性系统中,只要某个数据的值有更新,这个数据的副本都要进行同步,以保证这个更新被传播到所有备份数据库中。
    在这个同步进程结束之后,オ允许服务器来读取这个数据。

    所以,强一致性一般会牺牲一部分延迟性,而且对于全局时钟的要求很高。

    最终一致性

    在最终一致性系统中,我们无需等到数据更新被所有节点同步就可以读取。
    尽管不同的进程读同一数据可能会读到不同的结果,但是最终所有的更新会被按时间顺序同步到所有节点。
    所以,最终一致性系統支持异步读取,它的延迟比较小。

    其他

    除了以上三个,分布式系统理论中还有很多别的一致性模型,如顺序一致性( Sequential Consistency),读写一致性(read-your-writes consistency),因果一致性( Casual Consistency)等。

    顺序一致性

    当程序在各个处理机上并行运行时,所有处理机(或进程)对同一个存储器的访问是同样顺序进行的。

    读写一致性

    手机刷虎扑的时候经常遇到,回复某人的帖子然后想马上查看,但我刚提交的回复可能尚未到达从库,看起来好像是刚提交的数据丢失了,很不爽。

    在这种情况下,我们需要读写一致性,也称为读己之写一致性。

    它可以保证,如果用户刷新页面,他们总会看到自己刚提交的任何更新。它不会对其他用户的写入做出承诺,其他用户的更新可能稍等才会看到,但它保证用户自己提交的数据能马上被自己看到。

    如何实现读写一致性?

    1. 最简单的方案,对于某些特定的内容,都从主库读。举个例子,知乎个人主页信息只能由用户本人编辑,而不能由其他人编辑。因此,永远从主库读取用户自己的个人主页,从从库读取其他用户的个人主页。 如果应用中的大部分内容都可能被用户编辑,那这种方法就没用了。在这种情况下可以使用其他标准来决定是否从主库读取,例如可以记录每个用户最后一次写入主库的时间,一分钟内都从主库读,同时监控从库的最后同步时间,任何超过一分钟没有更新的从库不响应查询。

    2. 还有一种更好的方法是,客户端可以在本地记住最近一次写入的时间戳,发起请求时带着此时间戳。从库提供任何查询服务前,需确保该时间戳前的变更都已经同步到了本从库中。如果当前从库不够新,则可以从另一个从库读,或者等待从库追赶上来。

    单调读

    用户从某从库查询到了一条记录,再次刷新后发现此记录不见了,就像遇到时光倒流。如果用户从不同从库进行多次读取,就可能发生这种情况。

    单调读可以保证这种异常不会发生。单调读意味着如果一个用户进行多次读取时,绝对不会遇到时光倒流,即如果先前读取到较新的数据,后续读取不会得到更旧的数据。单调读比强一致性更弱,比最终一致性更强。

    实现单调读取的一种方式是确保每个用户总是从同一个节点进行读取(不同的用户可以从不同的节点读取),比如可以基于用户ID的哈希值来选择节点,而不是随机选择节点。

    因果一致性

    因果一致性往往发生在分区(也称为分片)的分布式数据库中。 分区后,每个节点并不包含全部数据。不同的节点独立运行,因此不存在全局写入顺序。

    如果用户A提交一个问题,用户B提交了回答。问题写入了节点A,回答写入了节点B。因为同步延迟,发起查询的用户可能会先看到回答,再看到问题。

    为了防止这种异常,需要另一种类型的保证:因果一致性。 即如果一系列写入按某个逻辑顺序发生,那么任何人读取这些写入时,会看见它们以正确的逻辑顺序出现。

    因果一致性类似于Java内存模型里面的 happens-before 原则。

    因果一致性是一个听起来简单,实际却很难解决的问题。

    一种方案是应用保证将问题和对应的回答写入相同的分区。但并不是所有的数据都能如此轻易地判断因果依赖关系。如果有兴趣可以搜索向量时钟深入此问题。

    在实际应用系统中,强一致性是很难实现的,应用最广的是最终一致性。

    实践

    对于微信朋友圈的评论功能,你觉得哪种一致性模型更适用?为什么?

    最终一致性,因果一致性,读写一致性
    
    微信朋友圈评论主要由评论和后续回复组成。
    
    1. 对于评论,评论内容对评论者而言应该要保证读写一致性(read-your-writes consistency),即评论一旦发出,那么对于该评论者无论在手机、网页还是其它城市应该都能看到其之前写的评论。
    2. 而对于朋友圈可见的其它人来说,只要保证最终一致性(eventual consistency)就可以了(可能有时间要求),不同人的评论读取顺序无需和真实发生的顺序保持一致。
    3. 对于评论的后续回复。回复内容对于回复者而言应该要保证读写一致性(read-your-writes consistency)。
    4. 而其它朋友圈可见的人一样,评论和回复內容应该按顺序被读取到,重要的是对于某一条评论的评论必须显示在派生这条评论的原始评论之后,否则用户读起来会很混乱,此时就需要因果一致性。
    
    更多相关内容
  • 使用服务器训练模型详解

    千次阅读 2021-09-06 17:17:09
    使用远程服务器训练模型常见问题详解

    在试图使用学校服务器的时候遇到并解决了一些问题

    软件下载和安装

    需要的软件(个人使用的是这样的,也可以是其他的)
    1.xshell
    使用xshell连接服务器,并且进行指令操作(也可以使用其他软件,如ssh)
    下载和安装:可以在网上找到免费的(建议支持正版),下载后按照引导安装即可。
    2.xmanager
    下载和安装:如果不使用图形化功能可以不安装,同理可以在网上找到免费的(建议支持正版),下载后按照引导安装即可。
    3.pycharm
    下载和安装:有社区版和专业版可以选择,社区版是免费的,一般的功能是支持的,专业版可以试用一个月,后续需要注册码。在这里我们仅需要借助pycharm上传和下载代码以及训练好的权值,社区版的功能就够用了。

    配置xshell

    会话管理器
    在会话管理器中右键所有会话,新建->会话
    注:这里的这个新建会话1是作者已经新建的会话,初次使用没有这个会话
    新建会话
    输入会话名称(也可以不输入),主机和端口号
    设置xmanager
    将SSH中的隧道选项中的X11转移设置成Xmanager

    使用xshell连接服务器

    如果使用的是学校内网等内网的服务器需要先登入内网
    输入用户名
    输入用户名
    输入密码
    输入密码
    连接成功
    连接成功

    配置pycharm

    社区版和专业版都可以配置,位置可能会不太一样,这里使用专业版进行配置
    菜单
    首先在菜单上找到并选择Tools
    confuguration
    选择Deployment->Configuration
    SFTP
    选择“+”号->SFTP
    账号密码
    点击SSH configuration后的‘…’
    ssh configuration
    Host输入地址,User Name输入用户名,PassWord输入用户密码,如果端口号不是默认的22端口号还需要修改端口号
    测试
    选上Save password并点击Test Connection测试连接,如果是图上的提示说明连接成功
    查看Remove Hpst
    按照Tools->Deployment->Browse Remote Host即可打开remote host
    remote host
    显示Remote Host
    选择SFTP
    点击向下的箭头,选择刚刚配置好的SFTP
    显示
    在这个目录下可以看到自己用户的文件夹,最好在自己的文件夹里面上传代码

    文件的上传和下载只需要选中并拖拽即可,如:将代码上传到服务器,选中pycharm左侧的代码,将它拖拽到右侧需要上传到的文件夹中,如果要下载训练好的权值只需在右侧选中服务器中的权值文件拖拽到左侧文件夹即可

    安装依赖包

    一般情况下刚刚配置好的服务器环境的依赖包都不够满足代码的运行,所以我们训练前要先安装依赖包。

    pip超时问题:有些服务器平时是不联网的,此时服务器运行的命令相当于服务器本地离线运行
    解决方式:在pip前输入这段命令。
    注:这段命令不能直接使用,很多地方需要改为自己环境的信息,如:写有“服务器地址”的位置,改成自己的服务器地址,(X11; Ubuntu; Linux x86_64; rv:81.0) 中也要改成服务器linux对应的版本,这些信息一般是有命令可以查到的,查不到的可以去问服务器管理员。

    curl 'http://服务器地址/0.htm' -H 'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:81.0) Gecko/20100101 Firefox/81.0' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H 'Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2' --compressed -H 'Content-Type: application/x-www-form-urlencoded' -H 'Origin: http://服务器地址' -H 'DNT: 1' -H 'Connection: keep-alive' -H 'Referer: http://服务器地址/0.htm' -H 'Upgrade-Insecure-Requests: 1' --data-raw 'R3=1&v6ip=&DDDDD=2018405A122&upass=260613&save_me=1&0MKKey=123'
    

    联网后就可以正常使用pip了,但是因为很多包是外网,下载将会非常慢,所以应该使用镜像源,同时也要注意pip时包的名称
    这里以opencv为例

    pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    包名后面的-i https://pypi.tuna.tsinghua.edu.cn/simple就是使用了清华镜像

    安装Cuda出现的问题

    如何安装符合linux版本和tensorflow的方法网上已经有很多了,这里重点说明一下cudnn的问题。
    由于我环境变量配置的问题导致有一些cudnn的lib在使用gpu加速时不能正常引用。这种情况下程序会报错说明在某个路径下找不到某某文件。我的做法是搜索到该文件,把该文件复制到报错的文件路径中
    搜索文件的命令

    locate 文件名字
    

    训练时间的问题

    因为各个服务器都有时间限制,大概30分钟没有进行操作就会自动断开,而这个时间对于很多模型都是不够用的,所以我们要想办法延长时间,或者永久防止断开。
    1.脚本
    在网页右键->检查->控制台,在控制台输入脚本进行防止断开(其原理是每隔一段时间就进行一次网页操作)
    这里以Colab和kaggle为例
    Colab适用的脚本

    function ConnectButton(){
        console.log("Connect pushed"); 
        document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
    }
    setInterval(ConnectButton,60000);
    
    function closeButton(){
        console.log("close"); 
        document.querySelector("body > colab-dialog > paper-dialog > colab-sessions-dialog").shadowRoot.querySelector("#footer > div > paper-button.dismiss").click() 
    }
    setInterval(ConnectButton,60000);
    
    

    kaggle适用代码

    function closeButton(){
        console.log("close"); 
       document.querySelector("#root > div > div > div.AppView-sc-16eb2j.kZXkZl > div.App_Body-sc-16c8j4p.hxOBfv > div.Layout_Body-sc-6piylv.bXAYPy > div > div > div > div.ToolbarContainer_Body-sc-2h8iu7.fhvgBU > button").click() 
    }
    setInterval(closeButton,60000);
    
    function closeButton(){
        console.log("close"); 
        document.querySelector("#root > div > div > div.AppView-sc-16eb2j.kZXkZl > div.App_Body-sc-16c8j4p.hxOBfv > div.Layout_Body-sc-6piylv.bXAYPy > div > div > div > div.ToolbarContainer_Body-sc-2h8iu7.fhvgBU > div.DetailedStatus_Body-sc-zfwb95.fMzpPO > button > i").click() 
    }
    setInterval(closeButton,60000);
    

    缺点:从上述可以看出来每个不同的网页的代码是不同的,这样会比较麻烦,所以我们将介绍使用nohup命令实现离线运行。

    nohup命令:
    nohup命令要在xshell或者ssh的命令行下运行,在要执行的命令前输入nohup即可进行离线运行命令,执行python文件的命令也是一样的。执行时该命令无屏幕输出,未加nohup时的屏幕输出输出到当前文件夹生成的nohup.out文件中
    nohup运行
    运行之后就可以关闭xshell,甚至关机都可以,服务器会自己运行下去。

    nohup.out占内存过多

    当训练的模型论次数过多时nohup.out储存的字符会很多,这样会很占空间。我这边的做法是确定他已经开始运行后将nohup.out文件删掉,这样也可以正常运行(不太清楚是什么原理,所以不确定每个服务器都支持这样),这样就不用担心nohup.out过大的问题。

    终止nohup进程

    首先需要找到该进程
    输入命令:

    ps aux | less 
    

    运行结果:
    进程
    需要注意的是第二列是进程的ID(PID),最后一行是命令(COMMAND),如果是python程序,命令形似于:python 程序名 参数
    然后杀死这个进程

    kill -9 PID
    
    展开全文
  • 常见的网络安全模型

    千次阅读 2022-03-18 15:57:00
    文章目录 1、网络安全基本模型 2、网络安全访问模型 3、PPDR安全模型 ...为了获得消息的安全传输,还需要一个可信的第三方,其作用是负责向通信双方分发秘密消息或者在通信双方争议时进行仲裁。 2、网络安全

    文章目录


    1、网络安全基本模型

    在这里插入图片描述
    通信双方想要传递某个信息,需建立一个逻辑上的信息通道。通信主体可以采取适当的安全机制,包括以下两个部分。
    1、对被传送的信息进行与安全相关的转换,包括对消息的加密和认证。
    2、两个通信主体共享不希望对手知道的秘密信息,如密钥等。

    为了获得消息的安全传输,还需要一个可信的第三方,其作用是负责向通信双方分发秘密消息或者在通信双方有争议时进行仲裁。


    2、网络安全访问模型

    在这里插入图片描述
    客户端/服务器方式:由客户端向服务器发送信息请求,然后服务器对客户端进行身份认证,根据客户端的相应权限为客户端提供特定的服务,该模型其侧重点在于如何有效地保护客户端对服务器的安全访问,以及如何有效地保护服务器的安全性。
    这种安全模型同现实中的黑客入侵相吻合,客户端本身就可以是对手或者敌人,它可以利用大量的网络攻击技术来对服务器系统构成安全威胁,这些攻击可以利用网络服务的安全缺陷、通信协议的安全缺陷、应用程序或者网络设备本身的安全漏洞来实施。为了有效地保护模型中信息系统的各种资源以及对付各种网络攻击,在模型中加入了守卫(Guard)功能。守卫可以有效地利用安全技术对信息流进行控制,如对客户端进行身份认证、对客户端对服务器的请求信息进行过滤、对服务器的资源进行监视审计等,从而可以抵御大部分的安全攻击。


    3、PPDR安全模型

    在这里插入图片描述

    PPDR模型可以描述为:安全=风险分析+执行策略+系统实施+漏洞监视+实时响应
    PPDR安全模型认为没有一种技术可以完全消除网络中的安全漏洞,必须在整体安全策略的控制、指导下,在综合运行防护工具的同时,利用检测工具了解和评估系统的安全状态,通过适当的反馈将系统调整到相对安全和风险最低的状态,才能达到所需的安全要求。P’DR依据不同等级的系统安全要求来完善系统的安全功能、安全机制,是整体的、动态的安全模型,也称为可适应安全模型(Adaptive Network Security Model,ANSM)。

    1、策略:
    安全策略具有一般性和普遍性,是PPDR安全模型的核心。所有的防护、检测、响应都是依据安全策略实施的,安全策略为安全管理提供管理方向和支持手段。策略体系的建立包括安全策略的制定、评估、执行等。当设计所涉及的那个系统在进行操作时,必须明确在安全领域的范围内,什么操作是明确允许的,什么操作是一般默认允许的,什么操作是明确不允许的,什么操作是默认不允许的。建立安全策略是实现安全的最首要的工作,也是实现安全技术管理与规范的第一步。

    2、防护:
    防护就是采用一切手段保护计算机网络系统的保密性、完整性、可用性、可控性和不可否认性,预先阻止攻击可以发生的条件,让攻击者无法顺利地入侵。

    防护可以分为三大类:系统安全防护、网络安全防护、信息安全防护:
    1、系统安全防护是指操作系统的安全防护,即各个操作系统的安全配置、使用和打补丁等。
    2、网络安全防护指的是网络管理的安全,以及网络传输的安全。
    3、信息安全防护指的是数据本身的保密性、完整性和可用性。
    

    3、检测:
    安全策略的第二个安全屏障是检测。检测是动态响应和加强防护的依据,是强制落实安全策略的工具,通过不断地检测和监控网络及系统来发现新的威胁和弱点,通过循环反馈来及时作出有效的响应。

    检测的对象主要针对系统自身的脆弱性及外部威胁。
    主要包括:
    检查系统本身存在的脆弱性;
    在计算机系统运行过程中,检查、测试信息是否发生泄露;
    检测系统是否遭到入侵;
    并找出泄露的原因和攻击的来源。
    

    在安全模型中,防护和检测 之间有互补关系。如果防护部分做得很好,绝大多数攻击事件都被阻止,那么检测部分的任务就很少了;反过来,如果防护部分做得不好,检测部分的任务就很多。

    4、响应:
    响应就是在检测到安全漏洞或一个攻击(入侵)事件之后,及时采取有效的处理措施,避免危害进一步扩大,目的是把系统调整到安全状态,或使系统提供正常的服务。通过建立响应机制和和紧急响应方案,提高快速响应能力。


    4、PDRR安全模型

    在这里插入图片描述
    防护(Protection)、检测(Detection)、响应(Reaction)和PPDR模型基本相同。
    恢复(Recovery):是指系统被入侵之后,把系统恢复到原来的状态,或者比原来更安全的状态。系统的恢复过程通常需要解决两个问题:
    1、对入侵所造成的影响进行评估和系统的重建;
    2、采取恰当的技术措施。

    PDRR安全模型阐述了一个结论:安全的目标实际上就是尽可能地增加保护时间,尽量减少检测时间和响应时间,在遭受破坏后应尽快恢复,以减少暴露时间。


    5、MPDRR安全模型

    MPDRR是对PDRR的进一步完善。
    在这里插入图片描述
    MPDRR是对防护、检测、响应、恢复四个环节进行统一的管理和协调,是系统更加安全。

    展开全文
  • Pycharm远程连接云服务器训练模型教程

    千次阅读 多人点赞 2021-06-24 16:32:07
    目录作者介绍服务器租用Pycharm专业版申请流程本地PyCharm连接云服务器 作者介绍 王世豪,男,西安工程大学电子信息学院,2020级硕士研究生,张宏伟人工智能课题组。 研究方向:机器视觉与人工智能。 电子邮件:...

    作者介绍

    王世豪,男,西安工程大学电子信息学院,2020级硕士研究生,张宏伟人工智能课题组。
    研究方向:机器视觉与人工智能。
    电子邮件:shauwang@foxmail.com

    简述

    受制于一些因素,我们可能需要通过租用GPU云服务器来训练自己的模型。本文主要解决云GPU租用、PyCharm专业版申请(学生)、本地连接云服务器训练模型三个问题。

    GPU云服务器租用

    如图所示,无论是某宝还是国内一线互联网大厂,均采用容器技术提供GPU云服务器的租用服务。可根据需求分别对比腾讯、阿里、滴滴、百度等等提供的租用套餐和报价,选择最适合的即可。
    在这里插入图片描述
    在这里插入图片描述
    就目前来看,某宝商家提供的GPU租用服务可直接选择镜像,有版本可选的Anaconda3、Pytorch和Tensorflow等深度学习框架套件,租用服务器环境创建成功之后就可以直接进行使用,对环境配置比较生疏的小伙伴比较友好。

    CUDA10版本
    在这里插入图片描述
    而阿里等云服务器的自定义程度更高,可以制作自定义镜像,再次使用他们的服务器就不需要之前冗长的配置过程了。在购买的时候选择与之前相同的配置,镜像选择自定义即可。有兴趣的小伙伴可以自行查阅阿里云使用实例创建自定义镜像。
    在这里插入图片描述
    最重要的说明:阿里云等云服务器的自定义镜像创建完成后,一定要将实例释放掉。否则,阿里云会一直计费的。会一直计费的。会一直计费的。重要的事说三遍

    PyCharm专业版申请流程

    之前介绍过PyCharm是一款功能强大的Python编辑器,可以跨平台在Windows、Mac、Ubuntu上运行。Win10安装和Ubuntu安装教程如下。在Ubuntu中安装并配置Pycharm教程,Win10中PyCharm的安装教程。
    所以在此就不再赘述PyCharm的安装。如图,由于PyCharm社区版不能提供远程访问功能,所以需要使用专业版在本地访问服务器进行代码调试和模型训练工作。
    在这里插入图片描述
    进入PyCharm官网,点击学习工具→学生和教师处选择申请免费许可证,填写信息和教育邮箱进行申请即可。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    填写申请之后如果遇到下图所示的提示,可以选择提交正式文件申请。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    填写出生日期、学校名字、学校官网网址、并提交学信网学籍在线验证报告进行申请即可。官网说明文件由真人审核,最长可能要两周,我是申请5天之后收到了免费的许可证。

    在这里插入图片描述

    本地PyCharm连接云服务器

    有了GPU云服务器和专业版PyCharm之后,再设置好PyCharm的远程连接,就可以愉快的在本地调试代码,然后扔到云服务器训练啦。
    以下是本地PyCharm专业版的远程连接配置过程,在此之前需要先获得GPU云服务器ssh访问的主机地址、端口号、用户名和密码。
    如果是购买GPU云服务器,那么出售方应直接提供;而如果是自己的GPU服务器则需要进行相应的配置,不再展开。

    首先打开PyCharm,点击创建新的Project。
    在这里插入图片描述
    在弹出的窗口中选择Pure Python,设置好工程路径和Python解释器的路径之后,点击Create来创建新的工程,并包含一个main.py文件。
    在这里插入图片描述
    进入PyCharm的编辑器界面之后,可以将LeNet实现Mnist数据集分类的代码粘贴过来,待远程服务器连接之后作为验证。
    在这里插入图片描述
    完成之后就可以设置PyCharm与云服务器的连接。点击菜单栏中的Tools→Deployment→Cinfiguration即可进入Deployment对话框。
    在这里插入图片描述
    然后在Deployment对话框先点击加号创建一个远程访问服务,选择SFTP协议点击OK进行创建。
    在这里插入图片描述
    命名完毕,点击OK。
    在这里插入图片描述
    然后点击图示红框处即可设置远程连接的主机地址、端口、用户名和密码等信息。
    在这里插入图片描述
    填写设置完毕之后可以点击Test Connection测试以下连接。
    在这里插入图片描述
    连接成功!然后点击SSH Configurations对话框下的OK返回Deloyment对话框。
    在这里插入图片描述
    在Deloyment对话框中选择Mappings设置路径映射,设置本地代码同步到云服务器的目标路径,设置完成点击OK退出。
    在这里插入图片描述
    设置好路径之后点击Tools→Deployment→Options设置同步代码时自动创建文件夹。
    在这里插入图片描述
    Create empty directories 勾选即可。
    在这里插入图片描述
    然后点击菜单中的File→Settings开始设置云主机一侧远程Python解释器。
    在这里插入图片描述
    在设置界面中先点击左侧的Python Interpreter,然后点击右侧的小齿轮,在弹出的窗口中点击Add。
    在这里插入图片描述
    在弹出的 Add Python Interpreter 中选择 SSH Interpreter ,填写与之前相同的主机地址、端口号、用户名之后点击Next。
    在这里插入图片描述
    输入云服务器的密码,点击Next。
    在这里插入图片描述
    设置远程Python解释器的路径,可以利用ssh登录云服务器之后执行Which python来获取Python路径。
    在这里插入图片描述
    如图所示是利用xshell7访问云服务器获取的python解释器路径
    在这里插入图片描述
    设置好远程Python解释器之后,PyCharm会自动显示出云服务器已经安装的Python包的信息,此时先点击Apply 进行应用,再点击OK。
    在这里插入图片描述
    然后在菜单中点击Tools→Deployment,勾选Automatic Upload (always),确保Python代码可以自动同步到云服务器。
    在这里插入图片描述
    设置完成之后就可以在云服务器调试和运行Python代码,单击Edit Configuretions。
    在这里插入图片描述
    分别设置要运行的Python文件,检查Python解释器是否为云服务器侧的Python解释器,然后点击Apply应用设置,点击OK。
    在这里插入图片描述
    然后在云服务器中运行Python代码。

    运行结果如下,Perfect!
    在这里插入图片描述
    至此,就是在本地通过PyCharm调用云服务器的GPU进行模型训练的整个过程。
    码字不易,如果这篇文章对你有帮助,请不要吝啬一键三连奥!

    展开全文
  • 每来一个连接,服务器就会新建一个线程来处理该连接的读写事件。 特点: 1)采用阻塞式 I/O 模型读取数据; 2)每个连接都需要独立的线程完成数据读取,业务处理,数据返回的完整操作。 存在问题: 1)当并发数较大...
  • 利用远程云服务器跑深度学习模型

    千次阅读 2020-03-16 18:06:47
    利用远程云服务器跑深度学习模型主要三个问题需要解决。 一是深度学习环境的搭建,二是已搭建环境的保存,三是远程数据的传输。 深度学习环境的搭建 以阿里云为例,在购买服务器创建实例时,可以在镜像市场选择...
  • web 服务器有哪些

    万次阅读 多人点赞 2018-08-27 16:53:49
    什么是web服务器 "网络服务"(Web Service)的本质,就是通过网络调用其他网站的资源。 Web Service架构和云 如果一个软件的主要部分采用了"网络服务",即它把存储或计算环节"外包"...
  • 租用GPU服务器跑深度学习模型心得

    万次阅读 多人点赞 2021-01-05 15:34:16
    相信很多刚接触人工智能学习的人会遇到这个问题,当时用笔记本的CPU在跑一个Unet,19个epoch要跑半个小时...笔记本跑大模型可能也会烧坏显卡。目前实验室还没有多余的显卡让我使用,所以就决定考虑租用GPU服务器
  • 因为实验室经费紧张,组里一般是几个人共用一台服务器,所以都是用SSH远程连接服务器模型(自己电脑Windows、服务器是Linux系统),但远程跑代码过程中常因为电脑睡眠或者网络中断导致训练中断,为了解决这个问题...
  • AutoDL云服务器运行yolov5

    千次阅读 热门讨论 2022-04-01 14:51:23
    服务器配置yolov5
  • 服务器模型

    千次阅读 2018-09-14 14:19:26
    服务器模型  硬件服务器:主机 集群  硬件厂商: IBM HP 联想 浪潮    软件服务器:编写的服务端应用程序,在硬件服务器运行,一般依托于操作系统,给用户提供一套完整的服务  httpserver-->处理...
  • C/S模型(客户/服务器模型

    千次阅读 2020-07-17 23:46:14
    C/S模型即客户(client)/服务器(server)模型。 1.特点 服务器提供服务,客户请求服务。 2.客户端和服务器之间连接的数量对应关系 多个客户进程可以同时访问一个服务进程,一个客户进程可以同时访问多个服务器进程...
  • GPU云服务器体验-深度学习模型训练

    万次阅读 2019-08-31 11:20:06
    极客云,为深度学习而生,您只需简单几步操作即可测试和训练您的模型。 1.上传代码和训练集数据(不收费) 上传的数据将会被挂载到 连接后服务器的 /data 目录下 2.选择适合配置,创建云服务器。 我第一次...
  • 服务器模型——C/S模型和P2P模型

    千次阅读 2017-09-03 21:26:08
    呦呦切克闹,煎饼果子来一套本篇学习两种服务器模型~~ TCP/IP协议在设计和实现上并没有客户端和服务器的概念,在通信过程中所有机器都是对等的。但由于资源都被数据提供者所垄断,所以几乎所有的网络应用程序都...
  • 租用服务器,以及部署在pycharm专业版上的pytorch环境训练yolov5模型教程服务器环境安装库文件:
  • 怎样在服务器上跑深度学习模型

    千次阅读 2021-08-07 04:12:07
    怎样在服务器上跑深度学习模型 内容精选换一换随着深度学习的广泛应用,大量的深度学习框架及深度学习硬件平台应运而生,但不同平台的神经网络模型难以在其他硬件平台便捷的运行,无法充分利用新平台的运算性能。...
  • 服务器后台训练模型的方法

    千次阅读 2021-04-27 14:02:30
    在后台训练模型的命令行操作
  • 单线程服务器模型是最简单的一个服务器模型,几乎我们所有程序员在刚开始接触网络编程(不管是B/S结构还是C/S结构)都是从这个简单的模型开始。这种模型只提供同时一个客户端访问,多个客户端访问必须要等到前一个...
  • 这是讨论 NVIDIA FasterTransformer 库的两部分系列的第一部分,该库是用于对...是一个指南,说明了使用 FasterTransformer 库和 Triton 推理服务器以具有张量并行性的最佳方式为 T5-3B 和 GPT-J 6B 模型提供服务。...
  • 解决问题:华为云之ModelArts模型页卡死、模型运行一直失败、云服务器ip访问失败【无法访问此页面】【花了太长时间进行响应】
  • 当我们需要一个比较好的GPU而我们的预算又不足的时候,我们可以租用一个服务器用来临时跑自己的深度学习模型,本文以Xshell远程连接GPU服务器的方式介绍如何将自己的模型上传到服务器运行   1.安装...
  • 安装pytorch2.yolov5模型下载3.yolov5安装测试4.安装Flask5.flask Hello World 演示二、云服务器部署1.安装部署2.释放端口3.后端部署4.前端部署5.screen 使用 YOLOV5 目标检测算法部署 一、本地部署 演示系统环境:...
  • 5种常见的并发模型

    千次阅读 2020-02-11 21:11:19
    5种常见的并发模型 前言 并发在现在已经是十分常见的问题了,由于人类信息量的增加,很多信息都需要并发处理,原有的串行处理已经很难满足现实的需求。 今天我们来讲一讲5种常见的并发模型 1、Future模型 Future模型...
  • 当前业界常见服务器性能指标:  TPC-C  TPC-E  TPC-H  SPECjbb2005  SPECjEnterprise2010  SPECint2006 及 SPECint_rate_2006  SPECfp2006 及 SPECfp_rate_2006  SAP SD 2-Tier  LINPACK  
  • 文章目录Pycharm连接远程服务器,使用Pycharm运行深度学习项目以及Pycharm的使用总结前言一、Pycharm连接远程服务器1、配置Deployment2、配置使用服务器端的Python环境3、使用远程服务器运行项目二、Pycharm运行深度...
  • 引言 在很多安全分析类产品建设的过程中都会涉及到关联分析,比如日志分析,soc,态势感知,风控等产品。...很多公司在自己的产品介绍中说自己的产品多少种内置规则等等,仔细分析就会发现很多是一个模型
  • 针对单线程服务器模型的特点,我们可以对其进行改进,使之能对多个客户端同时进行响应。最简单的改进即是使用多线程(或多进程)服务器模型,在应用层级别,我们一般采用多线程模式。多线程能让多个客户端同时请求,...
  • 云计算的服务模型

    千次阅读 2021-05-04 18:00:18
    这种云服务模型最接近于管理物理服务器。 云提供商将保持硬件是最新的,而操作系统维护和网络配置则需要云租户完成。 例如,Azure 虚拟机是在 Microsoft 数据中心中运行的完全可操作的虚拟计算设备。 这种云服务模型...
  • 将tensorflow模型部署到服务器

    万次阅读 2019-08-17 19:09:09
    基本思路:利用tensorflow官方提供的tensorflow serving进行部署,同时,为了免去环境配置等麻烦操作,可借助docker容器。 一、服务器环境选择 ...了解的原因大概是:docker需要在linux的环境下运行。但通...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 495,725
精华内容 198,290
热门标签
关键字:

常见的服务器运行模型有哪些