精华内容
下载资源
问答
  • linux分割文本文件How to split a text file by lines on Linux? For example, to split a file content.txt into many files and each split contains 1024 lines. 如何在Linux上按行分割文本文件? 例如,将文件...

    linux分割文本文件

    How to split a text file by lines on Linux? For example, to split a file content.txt into many files and each split contains 1024 lines.

    如何在Linux上按行分割文本文件? 例如,将文件content.txt拆分为多个文件 ,每个拆分包含1024行。

    You can use the split command on Linux:

    您可以在Linux上使用split命令:

    split -l 1024 content.txt splitted-content.txt-

    It will generate splitted-content.txt-{aa,ab,….}

    它将生成splitted-content.txt- {aa,ab,....}

    Answered by Eric Z Ma.
    埃里克·马(Eric Z Ma)回答。

    翻译自: https://www.systutorials.com/how-to-split-a-text-file-by-lines-on-linux/

    linux分割文本文件

    展开全文
  • linux分割文件

    千次阅读 2015-02-04 10:30:10
    linux文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux文件合并可以通过cat命令来实现,非常简单。  在Linux下用split进行文件分割:  模式一:指定分割文件行数 ...

    from:http://blog.sina.com.cn/s/blog_4dd4753901017jwj.html


    linux下文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。

      在Linux下用split进行文件分割:

      模式一:指定分割后文件行数

      对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割。

      命令:split -l 300 large_file.txt new_file_prefix

      模式二:指定分割后文件大小

     split -b 10m server.log waynelog

    对二进制文件我们同样也可以按文件大小来分隔。

     

    在Linux下用cat进行文件合并:

      命令:cat small_files* > large_file


    tag: linux 日志 分割

    明:

    本文采用一个50M大小的日志文件进行测试。
    日志文件名:log.txt.gz。
    文件行数:208363

    方法1:(split分割)
    语法:split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
    gunzip log.txt.gz                          //一定要先解压,否则分割的文件是不能cat/zcat显示;

    wc -l log.txt                 //计算一个文件的总行数;

    208363 log.txt
    split -l 120000 log.txt newlog       //通过指定行数,将日志分割成两个文件
    du -sh *50M     log.txt
    29M         newlogaa
    22M         newlogab
    # file *                                                  //分割后的文件与原文件属性一样
    log.txt: ASCII text, with very long lines, with CRLF line terminators
    newlogaa: ASCII text, with very long lines, with CRLF line terminators
    newlogab: ASCII text, with very long lines, with CRLF line terminators
    # gzip newlogaa newlogab                  //将分割后的文件进行压缩,以便传输

    另一种方法,通过

    方法2:(dd分割)
    # gunzip log.txt.gz             //一定要先解压,否则分割的文件是不能cat/zcat显示;

    #dd bs=20480 count=1500 if=log.txt of=newlogaa      //按大小分第一个文件

    #dd bs=20480 count=1500 if=log.txt of=newlogab skip=1500  //将大小之后的生成另一个文件#file *

    log.txt: ASCII text, with very long lines, with CRLF line terminators
    newlogaa: ASCII text, with very long lines, with CRLF line terminators
    newlogab: ASCII text, with very long lines, with CRLF line terminators
    分割没问题,但会出现同一行分到不同文件的情况,除非你以及日志分析系统可以“容忍”。
    方法3:(head+tail 分割)
    #gzip log.txt.gz               //如不解压缩,下面请用zcat。
    #wc -l log.txt    
                            //统计一个行数
    208363 log.txt
    # head -n `echo $((208363/2+1))` log.txt > newloga.txt           //前x行重定向输出到一个文件中;

    #tail –n `echo $((208363-208362/2-1))` log.txt >newlogb.txt //后x行重定向输出到一个文件中;

    #gzip newloga.txt newlogb.txt          //将两个文件进行压缩


    方法4:(awk分割)
    #gzip log.txt.gz#awk ‘{if (NR<120000) print $0}’ log.txt >newloga.txt#awk ‘{if (NR>=120000) print $0}’ log.txt >newlogb.txt
    以上两个命令,都要遍历整个文件,所以考虑到效率,应使用合并成:

    #awk ‘{if (NR<120000) print $0 >”newloga.txt”;if (NR>=120000) print $0>”newlogb.txt”}’ log.txt

    总结:
    以上四种方法,除了dd之外的三种方式都可以很好的整行分割日志文件。进行分割时,应考虑在读一次文件的同时完成,如不然,按下面的方式分割:
    Cat log.txt| head –12000 >newloga.txt
    Cat log.txt | tail –23000 >newlogb.txt
    如用此方法分割文件的后一部分,那么执行第二行命令文件时,前x行是白白读一遍的,执行的效率将很差,如文件过大,还可能出现内存不够的情况。

    展开全文
  • linux文件分割

    2015-07-09 08:11:13
    linux文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux文件合并可以通过cat命令来实现,非常简单。  在Linux下用split进行文件分割:  模式一:指定分割文件行数 ...

    linux下文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。

      在Linux下用split进行文件分割:

      模式一:指定分割后文件行数

      对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割。

      命令:split -l 300 large_file.txt new_file_prefix

      模式二:指定分割后文件大小

     split -b 10m server.log waynelog

    对二进制文件我们同样也可以按文件大小来分隔。

     

    在Linux下用cat进行文件合并:

      命令:cat small_files* > large_file

    展开全文
  • Linux下大文件分割和小文件合并

    千次阅读 2015-08-06 12:47:18
    Linux分割文件通过split工具进行,合并文件可以通过cat进行。 split a. 可以按行数进行分割 split -l 500 big_file.txt new_file b. 可以按文件大小分割 split -b 100m big_file.txt new_file cat cat

    就像Android中调试问题,有的时候Log连续保存会很大,这个时候进行分割就很好地处理文件了。

    在Linux下分割文件通过split工具进行,合并文件可以通过cat进行。

    1. split

    a. 可以按行数进行分割
    split -l 500 big_file.txt new_file

    b. 可以按文件大小分割
    split -b 100m big_file.txt new_file

    2. cat

    cat small_file* > big_file

    展开全文
  • 文件分割可以使用split命令,该即支持文本文件分割,又支持二进制文件分割;而合并文件可以使用cat命令。 1.1 文本文件分割 分割文本文件时,可以按文件大小分割,也可以按文本行数分割。 按文件大小分割文件...
  • linux文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux文件合并可以通过cat命令来实现,非常简单。  在Linux下用split进行文件分割:  模式一:指定分割文件行数 ...
  • linux文件分割

    2017-07-17 16:50:53
    linux文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux文件合并可以通过cat命令来实现,非常简单。  在Linux下用split进行文件分割:  模式一:指定分割文件行数  对...
  • linux分割文本文件

    千次阅读 2018-03-06 10:40:39
    linux split 命令 功能说明:切割文件。 语 法:split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名] 补充说明:split可将文件切成较小的文件,预设每1000行会切成...
  • 问题来由 这个问题是在处理一个字典的时候发生的,我下载的字典过大,超出了爆破软件所能接受的大小。而我使用的系统是Ubuntu,...wc -l a.txt #查看a.txt文件共有多少行 2):根据行数利用 split 命令切分文件 spl...
  • 查看BLM.txt文件总共有多少行 2、du -h BLM.txt 查看文件的大小,(多少K,或者多少M) 3、按照文件大小,计算划分多少个小文件,例如文件是300M,计划将每个文件分割为30M左右,那么, 总行数/10,即每个分文件...
  • 使用split 分割文件 用法:split [选项 ]... [文件 ] 将输入内容拆分为固定大小的分片并输出到 前缀 aa>、 前缀 ab>, ...; 默认以 1000 行为拆分单位,默认 前缀 >为 “x” 。如果不指定...
  • Linux文件分割和合并

    2014-10-21 12:29:00
    Linux文件分割可以通过split命令来实现,可以指定按行数分割和按大小分割两种模式。Linux文件合并可以通过cat命令来实现。  在Linux下用split进行文件分割:  模式一:指定分割文件行数  对与txt...
  • Linux文件分割与合并:split & cat

    千次阅读 2017-06-16 16:47:52
    Linux文件分割可以...在Linux下用split进行文件分割:模式一:指定分割文件行数对于txt文本文件,可以通过指定分割文件的行数来进行文件分割。 例如:对于文件large_file.txt,可以先通过命令wc -l large_file
  • csplit命令用于将一个大文件分割成小的碎片,并且将分割后的每个碎片保存成一...下面这篇文章主要跟大家介绍了linux下用csplit命令分割文件的方法示例,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。
  • linux 大文本文件分割管理

    千次阅读 2018-01-31 11:09:27
    例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件,后缀为系数形式,且后缀为4位数字形式 先利用 wc -l BLM.txt 读出 BLM.txt 文件一共有多少行 再利用 split 命令 split -l
  • Linux中,可以使用split 命令来分割文件,具体格式为:split [options] file [prefix]. 其中 options为可选参数, 最后一个参数prefix是为分割后的文件指定文件名前缀. -b: 根据文件大小分割分割文件大小可以...
  • 功能说明:分割文件。 Split:按指定的行数截断文件 格式: split [-n] file [name] 参数说明: -n: 指定截断的每一文件的长度,不指定缺省为1000行 file: 要截断的文件 name: 截断后产生的文件的文件名的...
  • 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败... [root@pps public_rw]# ls -lh RevolutionOS.rmvb-rwx------ 1 hoho hoho 276M 2005-09-09 RevolutionOS.rmvb 将将这个276M文件分割成20M的小文件,文
  • linux 按行分割文件

    2019-04-13 17:38:00
    $ sudo awk 'NR%2==1{close(p".txt");++p}{print > p".txt"}' test.txt $ sudosplit -d -l 2 test.txt new 转载于:https://www.cnblogs.com/zhengze/p/10702067.html
  • Linux shell脚本分割文件

    千次阅读 2017-03-30 19:18:48
    "log.txt文件创建成功!" fi #进行分割成为4到6个文件 #-b 文件大小 #-a 指定后缀的长度 #-d 使用数字后最而不是字母 #-l 指定每个文件的行数 #--verbose 显示生成的信息 #.txt前缀 split --...
  • 当一个软件或者工程太大,需要备份到网盘中,使用网盘的朋友都知道在你不是会员的时候,你上传的文件是有大小限制的,这个时候就会面临如何将一个大文件进行切分,linux下的split命令是个很好的选择。它包含多种参数...
  • Linux文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式。Linux文件合并可以通过cat命令来实现,非常简单。  在Linux下用split进行文件... 对与txt文本文件,可以通过指定分割文件
  • Linux文件分割与合并:split & cat命令

    千次阅读 2016-05-03 19:55:20
    有一个文件太大处理起来不方便,那有没有比较简单的Linux命令来按行数或者...Linux下用split进行文件分割1、指定分割文件行数对于txt文本文件,可以通过指定分割文件的行数来进行文件分割。命令:split -l linenum

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,222
精华内容 15,688
关键字:

linux分割txt文件

linux 订阅