精华内容
下载资源
问答
  • linux 快速复制大量文件

    万次阅读 2019-07-11 16:01:48
    比如,有1T总容量,600万个文件 方法比较: 方法1、cp cp 巨慢无比,耐心死亡 方法2、scp scp 巨慢无比,耐心死亡 方法3、tar https://segmentfault.com/a/1190000018323224?utm_source=tag-newest 感觉快了...

    比如,有1T总容量,600万个文件

    方法比较:


    方法1、cp
    cp 巨慢无比,耐心死亡

    方法2、scp
    scp 巨慢无比,耐心死亡

    方法3、tar
    https://segmentfault.com/a/1190000018323224?utm_source=tag-newest

    感觉快了不少

    复制目录:

    tar cvf – /home/src_dir | tar xvf – -C /opt

    赋值文件:

    tar cf – access.log |tar xf – -C /opt

    方法4、rsync
    https://www.cnblogs.com/kelamoyujuzhen/p/10089454.html

    感觉快了不少

    拷贝文件:
    rsync -zvh ./a/1.jpg ./b/
    将文件夹a中的1.jpg移动到b文件夹

    拷贝目录:
    rsync -avzh ./a ./b/
    将文件夹a移动到文件夹b中

    拷贝目录下的文件到指定目录:
    rsync -avzh ./a/* ./b/
    rsync -zvh ./a/* ./b/
    将文件夹a中的文件移动到文件夹b

    方法5、Syncthing
    暂略

    展开全文
  • linux快速复制大量文件方法

    千次阅读 2019-02-01 10:06:31
    使用nc+tar请确认两边的centos操作系统是否安装ncyum install nc -y首先在接收主机上执行:nc -l 8888 |tar -C /tmp -zxf -再发送主机上...8888为监听端口通过shell建立10000万个0.2k的小文件,进行测试,比scp快...

    使用nc+tar
    请确认两边的centos操作系统是否安装nc
    yum install nc -y
    首先在接收主机上执行:
    nc -l 8888 |tar -C /tmp -zxf -
    再发送主机上执行:
    tar -zcf - /tmp/|nc 10.41.1.65 8888
    说明:
    10.41.1.65为接收主机的ip地址,8888为监听端口
    通过shell建立10000万个0.2k的小文件,进行测试,比scp快了很多。

    转载于:https://blog.51cto.com/6300167/2348353

    展开全文
  • linux快速复制大量文件方法 nc+tar

    千次阅读 2018-12-05 22:07:11
    1,在需要对大量文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。   nc和tar可以用来快速的在两...

    1,在需要对大量小文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。 
    2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。 
      nc和tar可以用来快速的在两台机器之间传输文件和目录,比ftp和scp要来得简单的多。 
      由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda, 
      通过usblan的方式连接到另一台linux主机的时候,这样的嵌入式终端上一般不会集成ftp server, ssh server 
      这样比较笨重的服务,这个时候, nc可能成为唯一的上传手段。 
      比如将机器A上的mytest目录上传到到机器 B(192.168.0.11)上,只需要: 
      在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。 

    [root@server-B ~]#nc -l 4444 |tar -C /tmp/dir -zxf - 
    然后,在A上通过nc和 tar发送test目录。使用一致的4444的端口。 
    [root@server-A ~]#tar -zcvf - mytest|nc 192.168.0.11 4444 

    例子:

     

    展开全文
  • (1)快速删除大量文件 今天遇见一个百万级的cache目录,删了20+分钟只删掉一个目录。。。。  在网上找到了一种巧妙的快速删除方法,原理很简单,使用rsync同步一个空目录即可。对于万级文件的目录基本是秒删,...

    1)快速删除大量小文件

    今天遇见一个百万级的cache目录,删了20+分钟只删掉一个目录。。。。 

    在网上找到了一种巧妙的快速删除方法,原理很简单,使用rsync同步一个空目录即可。对于万级文件的目录基本是秒删,回车就OK 

    步骤如下: 

    1、建立一个空目录 

    mkdir -p/tmp/rsync_blank 

    2、确立需要清空的目标目录 

    /data/ooxx 

    3、使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。 

    rsync--delete-before -a -H -v --progress –stats /tmp/rsync_blank/ /data/ooxx/

    选项说明: 

    –delete-before 接收者在传输之前进行删除操作 

    –progress 在传输时显示传输过程 

    -a 归档模式,表示以递归方式传输文件,并保持所有文件属性 

    -H 保持硬连接的文件 

    -v 详细输出模式 

    -stats 给出某些文件的传输状态 

    一般我们不需要显示进度,使用以下命令即可 

    rsync--delete-before -a -H /tmp/rsync_blank/ /data/ooxx/ 

    这样我们要删除的 cache目录就会被清空了。  

     

    Tips  

    SRCDEST文件性质不一致时将会报错  

    SRCDEST性质都为文件【f】时,意思是清空文件内容而不是删除文件  

    SRCDEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录  

    最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事  

    最核心的内容是:rsync实际上用的就是替换原理 

     

    2)快速复制大量小文件方法 

    1. 在需要对大量小文件进行移动或复制时,用cpmv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  

    2. 在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。  

    nctar可以用来快速的在两台机器之间传输文件和目录,比ftpscp要来得简单的多。  

    由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda,  

    通过usblan的方式连接到另一台linux主机的时候,这样的嵌入式终端上一般不会集成ftp server, ssh server  

    这样比较笨重的服务,这个时候, nc可能成为唯一的上传手段。  

    比如将机器A上的mytest目录上传到到机器 B192.168.0.11)上,只需要:  

    在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。  

    #nc -l 4444 |tar -C /tmp/dir -zxf-  

    然后,在A上通过nc tar发送test目录。使用一致的4444的端口。  

    #tar -zcvf  -  test|nc192.168.0.11 4444 

     

    REF: http://www.blogjava.net/hongqiang/archive/2012/07/12/382939.html

    Linux文件系统十问,你知道吗? http://djt.qq.com/article/view/620


    展开全文
  • 一:linux快速删除目录下大量(数量级)小文件的方法: 假如你要在linux下删除大量文件,比如100万、1000万,像/var/spool/clientmqueue/的mail邮件 像/usr/local/nginx/proxy_temp的nginx缓存等,那么rm -rf *...
  • Linux 如何快速复制文件

    万次阅读 2019-04-24 09:42:00
    1,在需要对大量文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。  2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。  nc和tar可以用来快速的...
  • Linux快速删除大量文件

    千次阅读 2019-01-23 11:16:25
    Linux快速删除大量文件 昨天遇到一个问题,在Linux中有一个文件夹里面含有大量的Cache文件(夹),数量级可能在百万级别,使用rm -rf ./* 删除时间慢到不可接受。 Google了一下,查到了一种方法,试用了下确实比...
  • dd的意思是covert and copy a ...这里介绍几种最常见的用法,包括单个文件的复制、单个文件系统的复制快速生成一个大文件、大小写转换 NAME dd - convert and copy a file SYNOPSIS dd [OPERAND]... dd OPTION
  • linux文件内容复制

    千次阅读 2020-05-23 15:44:29
    linux文件内容复制
  • linux大量文件复制

    千次阅读 2017-11-30 15:24:52
    当目录下存在大量文件时(数万、十万+),cp * 会报错 Argument list too long写脚本一个一个复制list存的是文件名或者文件夹名字#!/bin/bash cat list.list | while read line do echo $line filepath="/root/...
  • 主要介绍了linux下如何实现快速拷贝大文件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
  • LinuxC下的复制单一文件与其它语言的没有区别,对于文件操作皆要用到文件流、文件流的缓冲区的概念,可能这就是操作系统中的共性吧!网上对于LinuxC如何复制文件,往往直接用到system("cp 源文件 目标文件"),如此...
  • linux强制复制文件并覆盖的方法

    万次阅读 2019-06-29 11:26:49
    linux强制复制文件并覆盖的方法 1、这么就用不会提示了:# \cp -rf 2、 原因: # vi ~/.bashrc 如果你看到如下内容,以下命令都会用别名执行了,就是说自动加了 -i 参数: alias rm='rm -i' alias cp='cp -i' ...
  • linux cp复制多个文件操作

    千次阅读 2020-04-30 14:41:39
    linux中,经常使用cp复制文件或文件夹。 基本操作 最简单的把文件a复制到文件夹file_a中,使用: cp a file_a,即可。 复制多个文件 想把多个文件如a,b,c复制到文件夹file_a中,使用: cp a b c file_a,...
  • linux命令复制指定文件到指定文件夹

    千次阅读 2019-04-23 16:43:25
    对于Linux命令,就是一位特别白的小白,一个小小的复制操作,就搜索了半天,特此纪念一下。 网上搜了很多,都比较语法化,对我这样的小白不是很理解,这个就通俗易懂吧。 举栗子:想把test1下的文件1.TXT复制到...
  • linux复制文件命令

    千次阅读 2021-01-23 15:55:15
    定义:cp is short for copy, 意为复制文件。用于将文件或目录从一个位置复制到另一个位置。 参数列表预览: 用法1: $ cp sourceFile destinationFile 当sourceFile 和 destinationFile 参数都是文件名时,cp ...
  • 昨天遇到了要在Linux下删除海量文件的情况,...我们可以使用rsync来实现快速删除大量文件。 安装步骤: 1、先安装rsync: 复制代码代码如下: yum install rsync 2、建立一个空的文件夹: 复制代码代码如下: mk
  • linux快速拷贝大量文件

    千次阅读 2015-06-19 17:22:58
    将机器A上的web目录上传到到机器 B(192.168.0.11)上,只需要: ...引自:http://www.linuxidc.com/Linux/2012-06/63590.htm    注意这里A、B主机上执行命令都有一个“-”,这个是需要的。  
  • linux复制命令复制前一万个文件到 tmp 下复制后一万个文件到 tmp 下 复制前一万个文件到 tmp 下 ls |head -n 10000 |xargs -i cp {} /tmp 复制后一万个文件到 tmp 下 ls |tail -n 10000 |xargs -i cp {} /tmp ...
  • 1. Linux cp简介Linux上最常用的命令之一,用于复制文件。支持文件复制复制后重命名、建立软链接、建立硬链接、递归复制子目录等功能。2. 使用例子1:cp结合相当路径把当前目录上的cp1.txt,复制到上一级目录[root...
  • Linux两主机之间快速传输大量文件

    千次阅读 2017-03-14 16:12:39
    1、两主机之间传输文件可以通过SCP命令进行传送,scp就是secure copy,用于将文件和目录从一个Linux系统传递至另一个Linux系统,scp传输数据用的是SSH协议,  ※远程复制到本地系统  scp 远程用户名@ip地址:本地...
  • Linux复制文件到多个目录中

    万次阅读 2017-01-14 05:44:07
    概述在学习 Linux 的过程中,对于新手而言总是会使用几个命令来完成一个简单的任务。对正在熟悉使用终端的人...通常写法在 Linux 中,cp 命令常被用于从一个文件夹中复制文件到另一个文件夹中,最简单的语法如下:# cp
  • 将22的文件内容复制到11文件的末尾,11文件的效果就是: hello world 解决办法: cat 22 >> 11 >>的意思是追加的意思 > 的意思是重定向的意思,会覆盖原先的内容 小Tips: 将a.txt文件的内容清除,并且使得文件的...
  • 有个任务,要读取远程机器上的数据文件。 这个机器登录需要密钥,直接写代码远程连接读取貌似很麻烦,pass ...最简单粗暴直接用Linux命令将远程文件下载到本地,该怎么弄怎么弄吧。。 scp -i ~/.ssh...
  • LINUX CP 复制文件 命令

    千次阅读 2010-10-14 16:32:00
      <br />语法: cp [选项] 源文件或目录 目标文件或目录  <br />说明:该命令把指定的源文件复制到目标文件或把多个源文件复制到目标目录中。  <br />该命令的各选项含义如下:  <br />- a ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 405,147
精华内容 162,058
关键字:

linux快速复制大量文件

linux 订阅