精华内容
下载资源
问答
  • linux 快速复制大量文件

    千次阅读 2019-07-11 16:01:48
    比如,有1T总容量,600万个文件 方法比较: 方法1、cp cp 巨慢无比,耐心死亡 方法2、scp scp 巨慢无比,耐心死亡 方法3、tar https://segmentfault.com/a/1190000018323224?utm_source=tag-newest 感觉快了...

    比如,有1T总容量,600万个文件

    方法比较:


    方法1、cp
    cp 巨慢无比,耐心死亡

    方法2、scp
    scp 巨慢无比,耐心死亡

    方法3、tar
    https://segmentfault.com/a/1190000018323224?utm_source=tag-newest

    感觉快了不少

    复制目录:

    tar cvf – /home/src_dir | tar xvf – -C /opt

    赋值文件:

    tar cf – access.log |tar xf – -C /opt

    方法4、rsync
    https://www.cnblogs.com/kelamoyujuzhen/p/10089454.html

    感觉快了不少

    拷贝文件:
    rsync -zvh ./a/1.jpg ./b/
    将文件夹a中的1.jpg移动到b文件夹

    拷贝目录:
    rsync -avzh ./a ./b/
    将文件夹a移动到文件夹b中

    拷贝目录下的文件到指定目录:
    rsync -avzh ./a/* ./b/
    rsync -zvh ./a/* ./b/
    将文件夹a中的文件移动到文件夹b

    方法5、Syncthing
    暂略

    展开全文
  • 1,在需要对大量文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。nc和tar可以用来快速的在两台机器...

    1,在需要对大量小文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。

    2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。

    nc和tar可以用来快速的在两台机器之间传输文件和目录,比ftp和scp要来得简单的多。

    由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda,

    通过usblan的方式连接到另一台linux主机的时候,这样的嵌入式终端上一般不会集成ftp server, ssh server

    这样比较笨重的服务,这个时候, nc可能成为唯一的上传手段。

    比如将机器A上的mytest目录上传到到机器 B(192.168.0.11)上,只需要:

    在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。

    nc -l 6666 |tar -C /target_dir -zxf -

    然后,在A上通过nc和 tar发送test目录。使用一致的6666的端口。

    tar -zcvf - mytest |nc 192.168.0.11 6666

    转自

    linux快速复制大量小文件方法 nc+tar - 业精于勤 - ITeye博客

    http://logo32.iteye.com/blog/1564741

    nc/netcat命令_Linux nc/netcat 命令用法详解:用来设置路由器

    http://man.linuxde.net/nc_netcat

    展开全文
  • linux快速复制大量文件方法

    千次阅读 2019-02-01 10:06:31
    使用nc+tar请确认两边的centos操作系统是否安装ncyum install nc -y首先在接收主机上执行:nc -l 8888 |tar -C /tmp -zxf -再发送主机上...8888为监听端口通过shell建立10000万个0.2k的小文件,进行测试,比scp快...

    使用nc+tar
    请确认两边的centos操作系统是否安装nc
    yum install nc -y
    首先在接收主机上执行:
    nc -l 8888 |tar -C /tmp -zxf -
    再发送主机上执行:
    tar -zcf - /tmp/|nc 10.41.1.65 8888
    说明:
    10.41.1.65为接收主机的ip地址,8888为监听端口
    通过shell建立10000万个0.2k的小文件,进行测试,比scp快了很多。

    转载于:https://blog.51cto.com/6300167/2348353

    展开全文
  • linux快速复制大量文件方法 nc+tar

    千次阅读 2018-12-05 22:07:11
    1,在需要对大量文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。   nc和tar可以用来快速的在两...

    1,在需要对大量小文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。 
    2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。 
      nc和tar可以用来快速的在两台机器之间传输文件和目录,比ftp和scp要来得简单的多。 
      由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda, 
      通过usblan的方式连接到另一台linux主机的时候,这样的嵌入式终端上一般不会集成ftp server, ssh server 
      这样比较笨重的服务,这个时候, nc可能成为唯一的上传手段。 
      比如将机器A上的mytest目录上传到到机器 B(192.168.0.11)上,只需要: 
      在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。 

    [root@server-B ~]#nc -l 4444 |tar -C /tmp/dir -zxf - 
    然后,在A上通过nc和 tar发送test目录。使用一致的4444的端口。 
    [root@server-A ~]#tar -zcvf - mytest|nc 192.168.0.11 4444 

    例子:

     

    展开全文
  • (1)快速删除大量文件 今天遇见一个百万级的cache目录,删了20+分钟只删掉一个目录。。。。  在网上找到了一种巧妙的快速删除方法,原理很简单,使用rsync同步一个空目录即可。对于万级文件的目录基本是秒删,...
  • 1,在需要对大量文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。 nc和tar可以用来快速的在两台...
  • 前言 公司需要输送给网安部一批数据集,共计1550w张图片,大约3,...1:快速大量文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar cvf – /home/src_dir | tar xvf – -C /opt 复制文件 $ tar cf – access.log...
  • 假如你要在linux下删除大量文件,比如100万、1000万,像/var/spool/clientmqueue/的mail邮件 像/usr/local/nginx/proxy_temp的nginx缓存等,那么rm -rf *可能就不好使了。  rsync提供了一些跟删除相关的参数  ...
  • Linux快速删除大量文件

    千次阅读 2019-01-23 11:16:25
    Linux快速删除大量文件 昨天遇到一个问题,在Linux中有一个文件夹里面含有大量的Cache文件(夹),数量级可能在百万级别,使用rm -rf ./* 删除时间慢到不可接受。 Google了一下,查到了一种方法,试用了下确实比...
  • 拷贝数据远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输,可以解决这问题,使用这个方法,等同于使用scp、rsync传输大文件。实测,...
  • 拷贝数据远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输,可以解决这问题,使用这个方法,等同于使用scp、rsync传输大文件。实测,...
  • 昨天遇到了要在Linux下删除海量文件的情况,...我们可以使用rsync来实现快速删除大量文件。 安装步骤: 1、先安装rsync: 复制代码代码如下: yum install rsync 2、建立一个空的文件夹: 复制代码代码如下: mk
  • Linux两主机之间快速传输大量文件

    千次阅读 2017-03-14 16:12:39
    1、两主机之间传输文件可以通过SCP命令进行传送,scp就是secure copy,用于将文件和目录从一个Linux系统传递至另一个Linux系统,scp传输数据用的是SSH协议,  ※远程复制到本地系统  scp 远程用户名@ip地址:本地...
  • Gentoo Linux快速复制安装

    千次阅读 2007-10-24 15:22:00
    由于Linux的高可用性,以及对硬件的良好的兼容性,在大量安装Linux的时候,可以使用复制的形式进行安装,网上有一篇基于LiveCD的复制安装教程,本文章借鉴了那篇文章。复制安装的三大步骤:1、新硬盘分区2、复制系统...
  • 文件或文件夹的“路径”指的是文件或文件夹在文件系统里的位置,在很多情况下我们会需要得到这个路径,不管你使用的是Mac OS X、Windows,还是Linux,时常都会有这样的需求。 在Windows中如果要复制当前文件夹的...
  • 文件或文件夹的“路径”指的是文件或文件夹在文件系统里的位置,在很多情况下我们会需要得到这个路径,不管你使用的是Mac OS X、Windows,还是Linux,时常都会有这样的需求。在Windows中如果要复制当前文件夹的路径...
  • 文件或文件夹的“路径”指的是文件或文件夹在文件系统里的位置,在很多情况下我们会需要得到这个路径,不管你使用的是Mac OS X、Windows,还是Linux,时常都会有这样的需求。在Windows中如果要复制当前文件夹的路径...

空空如也

空空如也

1 2 3 4 5
收藏数 81
精华内容 32
关键字:

linux快速复制大量文件

linux 订阅