精华内容
下载资源
问答
  • linux 快速复制大量文件

    万次阅读 2019-07-11 16:01:48
    比如,有1T总容量,600万个文件 方法比较: 方法1、cp cp 巨慢无比,耐心死亡 方法2、scp scp 巨慢无比,耐心死亡 方法3、tar https://segmentfault.com/a/1190000018323224?utm_source=tag-newest 感觉快了...

    比如,有1T总容量,600万个文件

    方法比较:


    方法1、cp
    cp 巨慢无比,耐心死亡

    方法2、scp
    scp 巨慢无比,耐心死亡

    方法3、tar
    https://segmentfault.com/a/1190000018323224?utm_source=tag-newest

    感觉快了不少

    复制目录:

    tar cvf – /home/src_dir | tar xvf – -C /opt

    赋值文件:

    tar cf – access.log |tar xf – -C /opt

    方法4、rsync
    https://www.cnblogs.com/kelamoyujuzhen/p/10089454.html

    感觉快了不少

    拷贝文件:
    rsync -zvh ./a/1.jpg ./b/
    将文件夹a中的1.jpg移动到b文件夹

    拷贝目录:
    rsync -avzh ./a ./b/
    将文件夹a移动到文件夹b中

    拷贝目录下的文件到指定目录:
    rsync -avzh ./a/* ./b/
    rsync -zvh ./a/* ./b/
    将文件夹a中的文件移动到文件夹b

    方法5、Syncthing
    暂略

    展开全文
  • dd的意思是covert and copy a ...这里介绍几种最常见的用法,包括单个文件复制、单个文件系统的复制快速生成一个大文件小写转换 NAME dd - convert and copy a file SYNOPSIS dd [OPERAND]... dd OPTION

    dd的意思是covert and copy a file,也就是转换和复制一个文件,它除了用来备份之外,还可以转换文件。这里介绍几种最常见的用法,包括单个文件的复制、单个文件系统的复制、快速生成一个大文件、大小写转换

    NAME
           dd - convert and copy a file
    
    SYNOPSIS
           dd [OPERAND]...
           dd OPTION
    
    DESCRIPTION
           Copy a file, converting and formatting according to the operands.
    
           bs=BYTES read and write up to BYTES bytes at a time
    
           conv=CONVS convert the file as per the comma separated symbol list
    
           count=N  copy only N input blocks
    
           ibs=BYTES read up to BYTES bytes at a time (default: 512)
    
           if=FILE read from FILE instead of stdin
    
           of=FILE write to FILE instead of stdout
    	   
    	   seek=N skip N obs-sized blocks at start of output

    示例1:备份单个文件,if指定输入文件,of指定输出文件
    root@db2a:/tmp# dd if=dir2.tar.gz of=dir2.tar.gz.bak
    37266+1 records in
    37266+1 records out
    19080487 bytes (19 MB) copied, 0.284904 s, 67.0 MB/s

    示例2:备份整个文件系统:
    lv1的文件系统是ext4的,挂载点是/tmp/lv1
    root@db2a:/tmp# mount /dev/mqsvg1/lv1 /tmp/lv1
    root@db2a:/tmp# ls -l /tmp/lv1/
    total 15
    drwxr-xr-x 2 root root  1024 Aug 21 19:11 dir1
    -rw-r--r-- 1 root root    10 Aug 21 19:10 file1
    -rw-r--r-- 1 root root    10 Aug 21 19:10 file2
    drwx------ 2 root root 12288 Aug 21 19:06 lost+found

    现在新建一个lv2,然后使用dd if=/dev/mqsvg1/lv1 of=/dev/mqsvg1/lv2命令把lv1的内容复制到lv2上:
    root@db2a:/tmp# lvcreate -L 600M -n lv2 mqsvg1   
    root@db2a:/tmp# dd if=/dev/mqsvg1/lv1 of=/dev/mqsvg1/lv2
    1024000+0 records in
    1024000+0 records out
    524288000 bytes (524 MB) copied, 106.313 s, 4.9 MB/s
    root@db2a:/tmp# mkdir /tmp/lv2
    root@db2a:/tmp# mount /dev/mqsvg1/lv2 /tmp/lv2
    root@db2a:/tmp# ls -l /tmp/lv2
    total 15
    drwxr-xr-x 2 root root  1024 Aug 21 19:11 dir1
    -rw-r--r-- 1 root root    10 Aug 21 19:10 file1
    -rw-r--r-- 1 root root    10 Aug 21 19:10 file2
    drwx------ 2 root root 12288 Aug 21 19:06 lost+found
    root@db2a:/tmp# df -hT lv*
    Filesystem             Type  Size  Used Avail Use% Mounted on
    /dev/mapper/mqsvg1-lv1 ext4  477M  2.3M  445M   1% /tmp/lv1
    /dev/mapper/mqsvg1-lv2 ext4  477M  2.3M  445M   1% /tmp/lv2

    注意一点:这里甚至都没有格式化lv2。除了备份分区外,还可以备份整个磁盘。

    示例3:快速生成一个大文件,这里的bs表示字节数,默认为512 bytes,也就是一个磁盘block的大小,count表示数量,下面的两个例子都是生成500MB的大文件:
    root@db2a:/tmp# dd if=/dev/zero of=bigfile count=1024000
    1024000+0 records in
    1024000+0 records out
    524288000 bytes (524 MB) copied, 1.75448 s, 299 MB/s
    root@db2a:/tmp# dd if=/dev/zero of=bigfile2 bs=1M count=500
    500+0 records in
    500+0 records out
    524288000 bytes (524 MB) copied, 0.610042 s, 859 MB/s
    root@db2a:/tmp# ls -lh bigfile*
    -rw-r--r-- 1 root root 500M Aug 21 19:47 bigfile
    -rw-r--r-- 1 root root 500M Aug 21 19:48 bigfile2

    这里文件是实际写入到硬盘了,写的数据全是0,需要耗费很多时间,如果不想真正写入,可以使用seek跳过前n个block。这样子系统会认为有一个大文件,但文件不占空间
    root@db2a:/tmp# dd if=/dev/zero of=bigfile3 bs=1M count=0 seek=500
    0+0 records in
    0+0 records out
    0 bytes (0 B) copied, 0.000919414 s, 0.0 kB/s
    root@db2a:/tmp# ls -lh bigfile3
    -rw-r--r-- 1 root root 500M Aug 21 20:10 bigfile3
    可以看到,瞬间完成。这种文件生成后,使用df和du查看文件系统和目录和使用时,均没有增加,但find的-size选项可以搜索到

    示例4:文本大小写转换
    使用conv=lcase转换为小写,使用conv=ucase转换为大写:
    root@db2a:/tmp# cat file1.txt 
    Hello, World.
    This is a TEXT with both CAPITALs and lowercases.
    root@db2a:/tmp# dd if=file1.txt of=fileL.txt conv=lcase
    root@db2a:/tmp# dd if=file1.txt of=fileU.txt conv=ucase
    root@db2a:/tmp# cat fileL.txt 
    hello, world.
    this is a text with both capitals and lowercases.
    root@db2a:/tmp# cat fileU.txt 
    HELLO, WORLD.
    THIS IS A TEXT WITH BOTH CAPITALS AND LOWERCASES.

    展开全文
  • 在某些测试场景中,我们需要上传或者下载特定大小的...如果手动粘贴复制的话,特别麻烦不说,也很考验耐力,那么如何快速生成300M文件哪?? 快速生成300M大小的word文档 先复制一篇文章,保存为1.txt文件,多次...

    在某些测试场景中,我们需要上传或者下载特定大小的文件,以懒蛇的测试环境为例,windows phone支持doc、txt的ftp上传和下载,其他文件需要通过第三方工具比较麻烦。所以,懒蛇一般需要生成一个300M大小的doc文件。如果手动粘贴复制的话,特别麻烦不说,也很考验耐力,那么如何快速生成300M文件哪??

    快速生成300M大小的word文档

    1. 先复制一篇文章,保存为1.txt文件,多次重复粘贴,使txt大小达到100K左右。

      如何快速生成一个指定大小的txt、word文件

    2. 新建一个creat_file.bat文件,用记事本打开,复制下面代码到creat_file.bat文件中。

      @echo off 

      for /l %%n in (1,1,3000) do (

      type 1.txt >> 1.doc

      )

      如何快速生成一个指定大小的txt、word文件

    3. 把1.txt和creat_file.bat放在同一级目录,双击creat_file.bat运行。

      如何快速生成一个指定大小的txt、word文件

    4. 等待一会儿,会在当前目录生成一个1.doc,在批处理运行过程中,1.doc大小是不断增加的。上面代码中,懒蛇运行了3000次,也就是300*107K,最后生成了310M大小的1.doc文件。

      如何快速生成一个指定大小的txt、word文件

    展开全文
  • linux快速复制大量小文件方法

    千次阅读 2019-02-01 10:06:31
    使用nc+tar请确认两边的centos操作系统是否安装ncyum install nc -y首先在接收主机上执行:nc -l 8888 |tar -C /tmp -zxf -再发送主机上...8888为监听端口通过shell建立10000万个0.2k的小文件,进行测试,比scp快...

    使用nc+tar
    请确认两边的centos操作系统是否安装nc
    yum install nc -y
    首先在接收主机上执行:
    nc -l 8888 |tar -C /tmp -zxf -
    再发送主机上执行:
    tar -zcf - /tmp/|nc 10.41.1.65 8888
    说明:
    10.41.1.65为接收主机的ip地址,8888为监听端口
    通过shell建立10000万个0.2k的小文件,进行测试,比scp快了很多。

    转载于:https://blog.51cto.com/6300167/2348353

    展开全文
  • 快速生成指定大小的空文件

    千次阅读 2019-01-23 11:42:28
    本文讲述了linux系统、windows系统,以及java语言快速生成制定大小空文件的方法,供大家学习参考: 1.Linux系统 dd命令 of:fileName为文件名称,例如test.txt ; bs:设置一次复制的大小,例如1M; count:...
  • rsync 复制文件并排除指定文件

    千次阅读 2018-10-10 16:18:10
    rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,...
  • //快速生成一个指定大小的文件,保存为bat文件后运行  @echo off  set /p M=请输入要生成多少Mb的文件(最大值为2047)  set /a M=1024*1024*%M%  if "%1"=="" goto space  if exist %1 del %1 >nul  echo...
  • 话不多说,今天给大家分享两个函数,分别用来实现将某文件夹内所有文件或整个文件夹结构复制指定文件夹 1、将某文件夹整体复制指定文件夹 因为相对比较简单,只要大家对Python的OS熟悉,且知道递归函数的原理...
  • Windows批量快速删除大量文件

    千次阅读 2020-02-04 19:41:08
    Windows批量快速删除大量文件 一、问题 当一个文件夹里面有大量文件(通常上万)时,Windows系统电脑删除会先计算文件的数量与大小,这是为了向您显示删除的进度,但是文件数量过多时,通常会卡死,或者耗时间过长。...
  • Mac Alfred快速复制剪贴板和指定文本

    千次阅读 2016-10-12 10:50:11
    快速复制某一段固定内容的文本 第一项在Mac上有很多小工具实现,第二项在输入密码时经常会碰到,比如我在终端sudo执行命令或者连接redis数据库时需要输入密码,这些密码我又不想人肉记住,希望每次要输入时一个...
  • 1 双击打开java文件    2 在右下角的outLine窗口中找到对应的java文件右键copyqulifiedName  3 粘贴到指定位置即可 注意: 如果没有outline窗口 ctr + o 就能打开!!!...
  • 1.CD到指定目录下: C:\Users\alex>e: E:\>cd test E:\test> 2.输入命令:tree /f >test.txt 即tree /f >文件名(此处文件名可是相对路径也可是绝对路径,若是相对路径则存于当前目录下,此文件...
  • 这几天做了一个Android关于文件及文件夹相关操作的软件,自己就总结写了一个关于文件创建、遍历、删除、重命名、复制拷贝、添加内容、修改内容、读取内容的工具类,方便以后快速的对文件进行一些简单操作,使用时可...
  • Windows中快速指定文件打开命令行

    千次阅读 2015-12-30 20:43:40
    很多时候我们需要打开命令行然后进入到相应目录进行一些操作。常规的做法是:Win+R打开运行窗口 输入”cmd”回车打开命令行窗口 ...或者在资源管理器的地址栏里复制文件夹地址”D:\foo\bar”, 然后输入cd 再把复制
  • (一)比较一 玩Windows操作系统,你可以不知道其它快捷键,但如果不知道“Ctrl+C”“Ctrl+V”的功能却实是不应该,说明这两个功能...经统计,Windows XP SP3下从D盘复制文件到E盘所需的时间为21秒左右。 进行此
  • 如何在文本文件中提取指定内容保存到另一个文件里? 我有一个100万条记录的文本文件,其中一条记录内容如下: IMSI=4600XXXXXXXXXXX;MSISDN=8613XXXXXXXXX;DEFCALL=TS11;CURRENTNAM=BOTH;CAT=COMMON;TBS=TS11&TS12;...
  • 那么该如何简单快速地去创建指定大小的文件,批量生成文件在windows或这linux系统的指定目录下呢?下面我将把我这几天get到的小技能记录分享一下= ̄ω ̄=Windows下生成文件:生成单个指定大小的文件进入...
  • 之前写过一篇Blog: 在Windows下复制大量文件请使用Xcopy ,NetLog 在评论中建议... 使用robocopy source destin /e 复制文件,此时目标目录destin目录是空的。复制文件用时22分钟。下图的统计是robocopy 输出的。 
  • Linux使用dd命令快速生成大文件

    千次阅读 2015-01-26 14:33:37
    dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件文件内容为全0(因从/dev/zero中读取,/dev/zero为0源)。 但是这样为实际写入硬盘,文件产生...
  • 操作过程分三步:选中要复制的sheet,,复制(建立副本),保存后关闭新文件 Sub sheet2file() Dim sht As Worksheet Dim file_name$ For Each sht In Sheets/*所有sheet遍历*/ sht.Copy /*复制sheet,如果是移动...
  • UNIX基本文件操作之文件复制、移动和删除
  • 1.批处理快速合并多个excel文件方法: 新建一个.txt文本文件,就命名为合并.txt吧。 而后开启文件复制以下代码到文件中: @echo off E: cd xls dir copy *.csv all_keywords.csv echo @@@@@@@@@@@@@合并...
  • 转自:...2、将特殊文件进行匿名内存映射,可以为关联进程提供共享内存空间;3、为无关联的进程提供共享内存空间,一般也是将一个普通文件映射到内存中。Linux...
  • 快速将代码源码全部复制到word文档

    千次阅读 热门讨论 2019-07-25 17:57:44
    快速复制系统源码 背景介绍 有些场景下需要将系统的所有源码拷贝在一起,比如:申请软件著作权时需要提供源码,一个一个java文件copy就太慢了。 解决方案 在测试服务器上执行以下脚本: find . -name '*.java' -o -...
  • 极品快速复制工具FastCopy 2.01中文绿色版 xzpd2012评语:像这样的复制小工具网上还有其他几个,但据说这个是复制速度最快,最稳定的,还可以断点续传。 Fastcopy是日本的最快的文件拷贝工具。磁盘间相互拷贝文件...
  • 1 第一步:新建一个.txt 文件 2第二步:在文件里写代码,如下:  @echo off  dir /b /on &...4 会多出来一个list.txt 文件,打开 里面的内容就是,不过里面会包含 .bat .txt 两个文件的名字,把这两个...
  • 上一次学习深度学习中的生成式对抗网络,需要用到大量的...学习完了之后,发现自己复制出来的图片文件有N多张。想全部删除,直接"shift+delet",那速度真的是龟速啊。于是在网上搜索,如何快速批量删除大量文件。于是
  • 我们会用到DOS里面的bat文件批处理里命令: @echo off的意思是在批处理运行命令的时候不会一条一条的显示执行的命令,与之相匹配的还有@echo on。 @echo off 与@echo on前者为关闭回显,后者为打开回显 当不想...
  • 在如此之文件快速搜索日志是运维人员经常遇见的问题。我们经常遇见的问题是查询一段时间内的某些条日志。比如,今天有一个访问失败了,大约是在上午9点,把这条日志找出来。查找失败原因。 常见处理方式及...
  • vb复制整个文件夹到指定位置

    热门讨论 2011-08-16 09:34:52
    VB复制文件的一段源码,没有源程序,大家拷过去用

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 212,745
精华内容 85,098
关键字:

怎样快速复制大文件指定内容