精华内容
下载资源
问答
  • sftp 传输速度
    2021-01-28 18:48:08

    我希望将大约40-50个文件从一个位置推送到另一个位置,总共约200 gb,而无需将它们下载到中间位置。有了filezilla,我可以以大约17-28mbis的速度下载单个文件。对于paramiko,阅读速度只是这个数字的一小部分。(相比之下,上传速度非常快。)

    我试过用不同的方法分块,改变窗口大小,改变最大包数,这些都有帮助,但最终都不能超过300kbs。有没有别的办法解决这个问题?在import paramiko

    import math

    import io

    import time

    transport = paramiko.Transport(host, port)

    transport.connect(username = username, password = password)

    sftp = paramiko.SFTPClient.from_transport(transport, window_size = 134217727, max_packet_size=pow(2,50))

    chunk_size = 1024*250

    for file in sftp.listdir():

    if 'SD_Demographic' in file:

    sftp_file = sftp.file(file, 'r')

    source_size = sftp_file._get_size()

    chunk_count = int(math.ceil(source_size / float(chunk_size)))

    for i in range(chunk_count):

    start = time.time()

    chunk = sftp_file.read(chunk_size)

    end = time.time()

    seconds = end - start

    print('%s read chunk from ftp (%i/%i) %ikbs' % (

    sftp_file, i + 1, chunk_count,

    math.ceil((chunk_size / 1024) / seconds)))

    更多相关内容
  • 问题描述:局域网内搭建了一台Linux的SFTP服务器,终端电脑的所有网关在华三S5500V2-34S-EI上,现在出现了一个奇葩的问题,就是内网电脑往Linux服务器上用SFTP上传东西的时候跨网段超级的慢,速度也就100多KB吧,...

    问题描述:局域网内搭建了一台Linux的SFTP服务器,终端电脑的所有网关在华三S5500V2-34S-EI上,现在出现了一个奇葩的问题,就是内网电脑往Linux服务器上用SFTP上传东西的时候跨网段超级的慢,速度也就100多KB吧,但是如果终端和服务器在同一网段的话,速度非常的快。SFTP的端口是22,如果修改了这个22端口为10000后速度立即就快了,看了一下Linux服务器和核心交换机并没有对22端口做限制。我tracert了一下路径,终端发出的数据包的走向就是先到华三S5500V2-34S-EI交换机再由交换机直接丢给服务器。我在终端上抓包看了一下,发现用sftp的22端口传输的时候,tcp的确实少了那个Widndow size scaling factor 的参数显示为未知。确实是因为没有携带这个参数才导致传输速度慢的,但是我不明白的是SFTP的22端口时为啥不携带此参数。抓包显示Packet size limited during capure。

    38baa2df4824ec0b82f88faaccd1198c.png

    7a67a240a14dcd8dedff69cead469f1d.png

    展开全文
  • 公司产品的升级包使用的是SFTP 将升级包传输到服务器上 然后进行更新的,但是传输的过程中经常就发现传输的速度慢的问题,(产品的SFTP 传输速度大约是2Mb/s ) 猜测中的原因是这几个 SFTP 本身的原因,文件的传输...

    公司产品的升级包使用的是SFTP 将升级包传输到服务器上 然后进行更新的,但是传输的过程中经常就发现传输的速度慢的问题,(产品的SFTP 传输速度大约是2Mb/s )
    猜测中的原因是这几个

    1. SFTP 本身的原因,文件的传输需要在数据的接收端进行解密会占用大量的CPU资源,而嵌入式linux的CPU 本身就不是很强劲,主频不高而且SFTP 本身不支持多核。(错误,后续着重讲)
    2. 带宽问题,设备本身的对外网卡是百兆的,而且是使用的USB进行了拓展。带宽上可能存在瓶颈。(后来经过证实 瓶颈不在这里!)
    3. 磁盘问题,使用的是emmc ,可能存在缓存大小的限制。(后续排除,因为可以用别的方式达到更高的写入速度!)
      最终的原因 我从这里找到了:
    https://www.itranslater.com/qa/details/2582296602622821376
    

    原来是因为sftp 的特性决定的 其中一句关键点 :

    速度降低是由于小数据包大小x每个数据包的强制ack响应,这显然是疯狂的。
    

    原文部分内容如下,应该是 从外网翻译进来的吧,算是引用,翻译的网址是这里

    https://www.itranslater.com/qa/details/2582296602622821376
    

    原始网址是这里 :

    https://stackoverflow.com/questions/8849240/why-when-i-transfer-a-file-through-sftp-it-takes-longer-than-ftp
    

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • SFTP文件传输

    千次阅读 2019-10-18 11:21:07
     我们平时习惯了使用FTP来上传下载文件,尤其是很多Linux的环境下,我们一般都会通过第三方的SSH工具连接到Linux的,但是当我们需要传输文件到Linux的服务器当中,很多人习惯用FTP来传输,其实Linux的默认是不提供...

    前言


    虽然近几年,由于对安全性的重视,文件的上传、下载有了其他的替代方式,使用FTP的人员逐渐减少。但是仍有部分人员习惯使用FTP来上传和下载文件,下面介绍一下类似的工具SFTP的配置和使用。

    为什么讲这个?因为近期有人提了个上传的小需求 。。



    SFTP与FTP区别


    FTP是一种文件传输协议,用来在计算机间传输文件
    传输速度相对快,支持范围广
    客户端传输文件时,无需再安装客户端,也可通过第三方工具连接
    向服务器传输文件时,服务端要先安装配置ftp


    SFTP是一种使用方式类似于FTP的更安全的文件传输协议,传输文件进行了加密,更加安全
    由于加密传输,传输时相对FTP较慢
    客户端传输文件时,可通过第三方工具连接
    SFTP是SSH的一部分,无需额外配置,端口使用的是ssh端口



    常用的几种配置



    【1】某用户ssh和sftp都可登录


    默认配置下,当创建了一个用户并配置密码后,该用户即可通过ssh和sftp登录


    <1>创建用户并设置密码

    useradd  tom -d /data/tom/
    passwd tom
    


    <2>重点配置

    cat /etc/ssh/sshd_config
    
    Subsystem sftp	/usr/libexec/openssh/sftp-server
    #上方Subsystem sftp用于开启sftp
    
    #当Subsystem sftp的配置被注释时,用户仅能ssh登录,使用sftp会报如下错误
    #subsystem request failed on channel 0
    #Couldn't read packet: Connection reset by peer
    
    


    【2】用户仅能ssh登录



    注释掉Subsystem sftp及Match User,ChrootDirectory等相关配置即可
    注意修改完配置文件后,重启或重新加载ssh服务

    systemctl restart sshd
    or
    systemctl reload sshd
    


    【3】使某用户仅能sftp登录,ssh无法登录



    如有多个用户需要配置,需要再次创建用户,指定家目录并授权和修改配置文件

    如配置失败,注意权限问题



    <1>创建一个用户组

    groupadd sftp
    


    <2>创建禁止登陆的用户,设置密码

    useradd sftp_tom -g sftp -s /sbin/nologin -M  
    passwd sftp_tom
    
    or
    
    useradd sftp_tom -g sftp -s /sbin/nologin -d /data/www/sftp_tom
    passwd sftp_tom
    


    -d   为创建的用户指定家目录(使用此参数,家目录前的路径的目录必须存在)
    -g   为创建的用户指定用户组
    -s   指定默认登录shell
    -M   不创建用户的家目录(如使用此参数后期得手动创建目录及配置权限)
    
    /bin/false,用户禁止一切服务也无法登录,并且不会有任何提示
    /sbin/nologin,用户仅无法登陆系统,仍可使用其他服务
    


    补充:

    如创建用户时未添加组,或添加组失败,可使用下列命令

    1、给用户增加入新的用户组中
    usermod -a -G 用户组 用户
    
    2、给用户更换组
    usermod -g 新用户组 用户
    
    3、剔除某用户组里的某个用户
    gpasswd -d 用户 用户组
    


    <3>创建用户目录并授权(当没指定家目录时,如下操作)

    mkdir -p  /data/www/sftp/sftp_tom/upload
    chown -R  root.sftp  /data/www/sftp/sftp_tom
    chown -R  sftp_tom.sftp  /data/www/sftp/sftp_tom/upload
    chmod 755  /data/www/sftp/sftp_tom
    
    
    or
    
    mkdir -p  /data/www/sftp/sftp_tom 
    usermod -d  /data/www/sftp/sftp_tom  sftp_tom
    




    <4>ssh配置文件配置(配置方法一)

    vim /etc/ssh/sshd_config
    
    #注释此行  Subsystem sftp /usr/lib/openssh/sftp-server
     
    #添加以下几行
    Subsystem sftp internal-sftp 
    
    Match user sftp_tom
    ChrootDirectory /data/www/sftp/sftp_tom
    
    Match user sftp_jack
    ChrootDirectory /data/www/sftp/sftp_jack
    
    X11Forwarding no
    AllowTcpForwarding no
    ForceCommand internal-sftp
    
    Match Group sftp
    ChrootDirectory /data/www/sftp
    
    #匹配单个用户 Match user,如有多个用户,也可写多个
    #匹配sftp组  Match Group
    #注意:ChrootDirectory设置的目录的权限及其上级所有文件夹权限属主和属组必须是root,且权限最大设置只能是755
    
    


    <5>ssh配置文件配置(配置方法二)

    vim /etc/ssh/sshd_config
    
    #注释此行  Subsystem sftp /usr/lib/openssh/sftp-server
     
    #添加以下几行
    
    Subsystem       sftp    internal-sftp    
    Match Group sftp    
    ChrootDirectory /data/www/sftp/%u    
    #or ChrootDirectory %h
    ForceCommand    internal-sftp    
    AllowTcpForwarding no    
    X11Forwarding no
    ForceCommand internal-sftp
    
    #匹配单个用户 Match user,如有多个用户,也可写多个
    #匹配sftp组  Match Group sftp 
    #注意:ChrootDirectory设置的目录的权限及其上级文件夹权限属主和属组必须是root,且权限最大设置只能是755
    
    #%u  表示与用户名同名的目录,例如:/data/www/sftp/%u时,/data/www/sftp/sftp_tom
    #%h  表示用户通过sftp登录后就把根目录切换到它自己的家目录,依据/etc/passwd中的根目录
    


    <6>测试

    sftp sftp_tom@IP 
    
    展开全文
  • python paramiko模块实现sftp传输文件,速率只有2M/s,我测试过scp传输文件,速率可以达100M/s,也测试过命令行sftp登录,传输文件,速度也达到80M/s, 可是运行Python脚本则速率始终上不去,我网上搜过这个问题的...
  • sftp与samba文件传输速度的对比

    万次阅读 2015-11-01 14:43:39
    单用户,两服务器在同一千兆交换下,都使用raid5方式挂载硬盘,sftp平均每秒30M,samba每秒100M。
  • //ftp传输模式,ASSCII模式和二进制模式 cd ftp服务器的目标文件所在目录 put 文件名(or get 文件名) //get下载文件,put上传文件 bye EOF 3、lftp操做ftp命令 通常ftp是不能直接搬运文件夹的,若是一下要ftp整个...
  • TCP协议可靠性以及传输速率的保证可靠性的保证1.缓冲区2. 确认应答机制3. 超时重传机制4. 差错校验机制传输速率的保证1. 全双工2. 滑动窗口3. 拥塞控制4.延持应答5.捎带应答 可靠性的保证 1.缓冲区 在UDP协议中是...
  • sftp,scp传输

    2021-10-18 09:14:22
    sftp: 1.连接远程服务器(默认端口号:22) sftp -P 22 username@ip address(远程服务器ip) 2.切换至需要下载文件的目录下 cd /path/to/dir 3.下载文件(从远程服务器下载到本地) 切换至你要存放的文件目录...
  • Linux命令行如何实现sftp限速传输

    千次阅读 2022-01-28 11:25:35
    Linux命令行如何实现sftp限速传输 - BTday - 博客园 (cnblogs.com)
  • sftp用户限制设置

    千次阅读 2021-05-18 16:09:08
    开始操作之前首先确定几个事情(1)确定sshd版本高于4.8(2)...创建一个sftp用户组groupaddsftpusers2.创建一个指定要封锁的目录mkdir/home/sftp/sunsun/3.创建一个用户,并指定该用户的家目录为chroot的目录useradd-...
  • Ubuntu之间网线直连通过sftp传输文件,数据集等,充分利用电脑的千兆网口,速度起飞
  • Python sftp上传文件 速度过慢

    千次阅读 2021-02-24 10:31:23
    网络问题较大,自己用软件测试(winscp)同样很慢刚开始文件很少,读取目录速度没有那么慢,时间长了,文件变多 第一版代码 class SftpInfo(object): def __init__(self, username, password, timeout=3000): self...
  • sftp传输没有短点续传的功能 windows与linux之间sftp传输不支持路径以及文件名含有中文以及空格问题 远程执行返回You have mail/You have new mail的问题 ssh命令过长偶尔导致\b \b \b..乱码的问题 等一系列问题,...
  • 原标题:sFTP Client Pro for Mac(sFTP传输工具)sFTP Client Pro for Mac 是 Mac 平台上一款功能齐全的 sFTP 客户端,支持标准 FTP 连接,可以用于安全连接的 FTP over SSL / TLS 和 SSH 文件传输协议。sFTP Client ...
  • Linux命令-sftp文件传输

    2022-07-22 14:44:20
    sftp 登录与参数详解
  • linux查看sftp服务器配置

    千次阅读 2021-05-18 15:59:48
    弹性云服务器 ECS弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,帮助用户打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率三年低至5折,多种配置可选...
  • 工作中,有些环境带宽有限,比如说专线,通常带宽比较小,又不...jsch实现sftp文件上传,并且控制上传的速度,同时监控上传进度,供大家参考。maven 工程下先把jsch 依赖添加到pom.xml &lt;dependency&gt; ...
  • SFTP命令的使用,sftp传文件

    千次阅读 2021-03-07 09:52:48
    背景:从Windows系统向类unix系统传送文件,使用Windows系统自带的SFTP命令进行文件传送(不用下载F开头,X开头的ftp工具) =================================背景分割线=============================== 上干货:1...
  • HTTPS 协议是由 HTTP 加上 TLS/SSL 协议构建的可进行加密传输、身份认证的网络协议,主要通过数字证书、加密算法、非对称密钥等技术完成互联网数据传输加密,实现互联网传输安全保护。设计目标主要有三个。 (1)...
  • 在理想情况下,通过万兆以太网是否能达到10000Mbps的传输速度?许多人对此心存疑虑,而这方面的评测文章目前网上也比较少见。最近手上拿到了两块万兆网卡,正好可以对此问题进行一番实际测试。测试采用双机直连的...
  • 众所周知SFTP账号是基于SSH账号的,所以在默认情况下访问服务器的权限是非常大的.必要条件:你的openssh-server版本至少是4.8p1, 因为配置权限需要版本...将所有sftp用户组的用户都锁定在指定目录下,禁止SSH登录,...
  • Azure Blob 存储目前已支持 SSH 文件传输协议 (SFTP)。 此项支持提供通过 SFTP 终结点安全连接到 Blob 存储帐户的功能,使我们可以利用 SFTP 进行文件访问、文件传输和文件管理。本文主要介绍了如何启用Azure Blob ...
  • SFTP远程文件传输使用方法

    千次阅读 2019-04-06 00:13:43
    一、FTP与SFTP区别 FTP:FTP是一种文件传输协议,一般是为了方便数据共享的。...因此SFTP传输数据相对更加安全,但是传输的效率比FTP要低,传输速度更慢。SFTP和SSH使用的是相同的22端口,因......
  • 如果你想拷贝文件夹以及文件夹内的所有文件,就加参数-r。...它类似于ftp传输协议,属于ssh,但它进行加密传输,相对FTP来讲有更高的安全性。如果有服务器的端口不是默认的22,请在sftp后面加-P端口号。...
  • 我已经看到了有用的起始代码Java SFTP server library?我无法想像的是如何使用它.我想设置一个检查我的sftp代码的单元测试,使用Mina作为一种模拟服务器,即能够写一个单元测试,如:@Beforepublic void ...
  • 文章目录一、命令介绍二、常用选项三、参考示例(一)使用 sftp...sftp 命令全称是 Secure File Transfer Protocol(中文译为:安全文件传输协议),sftp 实则是一种基于可靠数据流(data stream),提供文件存取和管理
  • 传输工具sftp使用详解

    万次阅读 2015-01-08 13:48:30
     SFTP是Secure File Transfer Protocol的缩写,安全文件传送协议,它是一个交互式文件传输程式。它类似于 ftp, 但它进行加密传输,比FTP有更高的安全性,并且支持断点续传。  SFTP 为 SSH的一部份,是一种传输档案...
  • 文章目录SSH远程管理SSH的介绍SSH的工作流程常用的软件OpenSSHSSHD服务配置OpenSSH 服务端使用 SSH 客户端程序1.ssh 远程登录2.scp 远程复制3.sftp 安全 FTP SSH远程管理 SSH的介绍 SSH(Secure Shell)是一种安全...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,889
精华内容 2,355
关键字:

sftp 传输速度