精华内容
下载资源
问答
  • sort命令分析日志

    2011-03-14 01:09:00
    <br />对于文件的按列分割和重排很有用 ---      很久没有更新blog了,上来...数据第一列可顺利的按照时间排序,然而用户名在中间,既然是log,那源数据便可能是多个用户的交叉记录了。比

    对于文件的按列分割和重排很有用

    ---

     

     

       很久没有更新blog了,上来冒个泡。

         之前,常用cut,sort,uniq命令的组合分析程序的log,或者查看数据以便统计。例如:cut -d "|" -f 4 | sort | uniq -n -r。

         今天遇到一个问题,需要查看多个用户的操作记录。数据第一列可顺利的按照时间排序,然而用户名在中间,既然是log,那源数据便可能是多个用户的交叉记录了。比如:

        

    以下是引用片段:
    time0 | userA | action
    time1 | userB | action
    time2 | userC | action
    time3 | userA | action
    time4 | userC | action
    time5 | userB | action
    time6 | userC | action
    time7 | userB | action

     

         很显然,我们希望的顺序是:

        

    以下是引用片段:
    time0 | userA | action
    time3 | userA | action
    time1 | userB | action
    time5 | userB | action
    time7 | userB | action
    time2 | userC | action
    time4 | userC | action
    time6 | userC | action

     

         我们既想按照中间的数据的排序又要保持数据的完整性!也许可以用其他的命令实现这个,但我更倾向于使用常用的命令搞定复杂的事情。

         其实sort命令是可以实现这个的。sort的-t选项可以实现cut的-d功能,再利用+m -n参数可以实现cut的-f的功能,只是,sort的这个+m -n是从0开始计数的。+m -n是指从第m个字段开始,到第n个字段排序,其中包含第m个但不包含第n个。比如:sort -t "|" +1 -2 filename 就可以得到我们想要的结果了。

         sort的功能是排序,应用起来会有很多种排序的方式,可以用指定的参数来控制:

         - d 按字典顺序排序,比较时仅字母、数字、空格和制表符有意义。这个选项对 uniq -d 后的结果尤为有用。
        - f 将小写字母与大写字母同等对待。也就是忽略大小写。
        - I 忽略非打印字符。
        - M 作为月份比较:“JAN”<“FEB”
        - r 按逆序输出排序结果。这个可与 -d 同时使用,实现数字从大到小的排列

         还有一个很实用的功能,如果你想把一个过滤后的文件内容重新写入到原文件,那么- o 参数可以达到这个要求,但是效率呢?嗯,是个问题,看取舍了!毕竟这种情况重定向是不行的。

         - o 输出文件 将排序输出写到输出文件中而不是标准输出,如果输出文件是输入文件之一,sort先将该文件的内容写入一个临时文件,然后再排序和写输出结果。

         很多系统实用小工具就是用这种常用名字组建的,嗯哼。

    展开全文
  • 1.统计文件内相同时间内出现的日志条数: 答案1(不用ack):cat zj.txt | cut -d ' ' -f 2,3 | cut -d ':' -f 1,2 | uniq -c | sort -nr 解释:通过cut命令将输出的内容按照 空格 (-d ' ') 分割,取第几部分内容...

    1.统计文件内相同时间内出现的日志条数:

    答案1(不用ack):cat zj.txt | cut -d ' ' -f 2,3 | cut -d ':' -f 1,2 | uniq -c | sort -nr

    解释:通过cut命令将输出的内容按照 空格 (-d ' ') 分割,取第几部分内容(-f 1,2),uniq -c 命令进行去重,并拿到每个字符串出现的个数,最后将按照sort -n 进行排序(-r 结果倒排)。

    展开全文
  • LINUX下常用命令

    2020-07-14 11:10:26
    ls -lrt 递归显示文件的详细信息并按照时间排序 tail tail -f filename 会把filename文件里的最尾部的内容显示在屏幕上,并且不断刷新(常用于位于改变的日志文件) tail -c 显示字节数 tail -n 显示文件尾部n行...

    基本文件操作命令

    • ls
      • ls -a 列出所有文件,包括. …
      • ls -A 不包括. …的所有文件
      • ls -al 包含档案的属性等等数据
      • ls -lrt 递归显示文件的详细信息并按照时间排序
    • tail
      • tail -f filename 会把filename文件里的最尾部的内容显示在屏幕上,并且不断刷新(常用于位于改变的日志文件)
      • tail -c 显示字节数
      • tail -n 显示文件尾部n行内容
    tail -c 10 gile.log
    tail -n 100 file.log
    
    • chmod
      • chmod 755 filename or file
    chmod [对谁操作] [操作符] [赋予的权限] 文件名
                      	r        w        x
    
    			二进制代表100   	 010      001
    
    			十进制代表  4       2       1
    
    • rm
      • rm -r 递归删除子目录
      • rm -f 强制删除
    rm -r -f test2/
    rm -r zhouyi/
    
    • find
    find [PATH] [option] [action]
    -name filename : 找出文件名为filename的文件
    -size [+-]SIZE : 找出比SIZE还要大(+)或小(-)的文件
    eg: find / -name *.pdf
    find . -size +12k // 查找当前目录中大于12KB的文件,注意c表示byte
    
    • sort
    • sort filename 对文本按字母进行排序
    • sort filename -n 对文本中数字进行排序
    • ps aux|sort -gr -k 4|head -n 5 查看系统进程中,内存占用最多的前5个进程信息

    进程命令

    • ps
      • 当前运行的进程的快照,指定ps命令的那个时刻的那些进程
      • ps -aux 查看所有的在内存中的进程信息
      • ps -ajx 查看进程组相关信息,可以追踪进程之间的血缘关系
      • ps -ef 显示所有进程信息,并显示程序间的关系
      • ps -u username 显示指定用户username信息
    • top
      • 实时显示系统中各个进程的资源占用情况,按"q"退出top命令
      • top -H -p pid显示对应pid的所有线程资源使用情况
      • load average 表示系统最近1min,5min,15min的平均负载,越大表示负载越来越小
      • %MEM物理内存占用比
      • Cpu(s)和%cpu
        • Cpu(s)表示的是所有用户进程占用整个cpu的平均值
        • %CPU显示的是进程占用一个核的百分比,而不是整个cpu(8核)的百分比,有时候可能大于100,那是因为该进程启用了多线程占用了多个核心,所以有时候我们看该值得时候会超过100%,但不会超过总核数*100。
    • kill
      • 杀掉进程
      • kill -9 pid杀掉指定进程
    • lsof
      • 列出当前系统打开文件的工具
      • lsof -i :8600 查看8600端口的运行情况
      • lsof -u username 查看username打开的文件
      • lsof -c string 查看包含指定字符的进程所打开的文件

    网络命令

    • ip addr 查看主机目前的地址
    • ping
      • ping ip 用于测试另一台主机是否可达,测试网络是否连通以及时延
      • windows下ping是32比特,默认发送4次数据包结束
      • linux下ping是64比特,默认不停发送数据包,直到手动停止
    • host
      • host 域名 返回域名的IP地址
      • 用来查询DNS记录

    调试命令

    • gdb
      • l 列出函数代码及行数
      • b 16 在16行设置断点
      • b func 在函数func设置断点
      • r 运行程序
      • n 单条执行程序
      • p i 打印i变量的值
      • bt 查看函数堆栈
      • finish 退出函数
      • q 结束调试
    展开全文
  • 按照第1域对文件test.txt进行排序,日常可以用来对合并的日志文件进行时间排序 sort -k1 -m log1.txt log2.txt 按照第一域进行排序后合并输出到控制台,建议使用“&amp;gt;&amp;gt;” 将合并内容输...

    sort 排序命令使用

    表达式 意义
    sort -c test 测试文件“test”是否已经经过排序,一般用处不大
    sort -k1 test.txt 按照第1域对文件test.txt进行排序,日常可以用来对合并的日志文件进行时间排序
    sort -k1 -m log1.txt log2.txt 按照第一域进行排序后合并输出到控制台,建议使用“>>” 将合并内容输出到另一个文件中
    sort -t / -k3 testfile.txt 将域分隔符更改为“/”,然后根据第3域进行排序,即:不容数据或配置文件的格式往往不一样
    sort -u log1.txt 去除重复行
    sort -r -k3 test1 将排序结果按第3域逆向输出
    sort -k3 -o testaim testsource 将源文件“testsource”按照第3域排序后,输出到目标文件“testaim”

    总结:sort命令一般用来对日志文件、静态配置文件做处理,虽然用法丰富,
    但输出结果的正确性不容易保证,建议使用者使用时,尽量验证下结果的正确性!

    展开全文
  • 遇到一个问题,在查询日志时发现,服务器上打印的文件有很多个,每个都存储了一部分日志,需要将日志按照时间排序,并显示所有日志。 原命令: grep -h searchContent */*log 搜索出来的结果会将所有内容显示出来...
  • linux学习之日志统计

    2020-07-02 16:14:42
    1.统计文件内相同时间内出现的日志条数: 答案1(不用ack):cat zj.txt | cut -d ' ' -f 2,3 | cut -d ':' -f 1,2 | uniq -c | sort -nr 解释:通过cut命令将输出的内容按照 空格 (-d ' ') 分割,取第几部分内容...
  • shell编程和unix命令

    2015-02-16 15:41:39
    2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 ...
  • shell练习-sort排序详解

    2016-08-29 13:33:01
    服务器上有个日志文件guest.log,每行包含:×××号码,姓名,网吧名称,最近上网时间,上网时长,消费金额,现要求将文件的每行的第六列和第二列取出来按照消费金额倒序输出到另外一个文件test.log,请给出shell...
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间 innodb_log_files_in_group = 3 # 为提高性能,MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3 innodb_max...
  • coreutils-8.32.tar.gz

    2020-04-30 13:16:46
    使某个命令不被挂起,并将输出重定向到一个日志文件。 od 以数字方式显示指定文件的内容,默认为八进制。 paste 将字段连接在一起,在字段之间自动插入分割符,默认的分割符是 Tab 。 pathchk 检查文件名是否...
  • - 支持长时间操作后发出哔声提醒,自定义启动文件夹,可按照习惯排序文件夹,设置压缩文件优先 更新日志: - 压缩,新建文件夹,重命名命令在动画文件列表中,现在可以快速定位了 - RAR可以通过“共享”命令,接受...
  • 2、标签:在软件中可以按照文件、模块、功能等方面,对需要打印的日志设定标签,实现日志分类。 1.2 插件 1、Flash:使用 EasyFlash 库提供的Flash操作接口,无需文件系统,直接将日志存储在 Flash 中。 2、File...
  • WINRAR5.0正式注册版

    2013-10-10 10:14:03
    你可以使用 -sc<字符集>g 开关改变默认日志文件的编码,如 -scag 使用 ANSI 编码。 19. 命令行 'r' (修复) 命令可以有一个附加的 目标路径\ 参数来定义修复好的压缩文件 的目标文件夹: rar r archive.rar 目标...
  • 支持按照路径排序 支持关闭吸附效果 支持编辑hosts文件 剥离项目进程关系 命令模式支持使用搜索引擎 搜索结果支持右键菜单操作 完善命令模式 完善多个机制提升稳定性 改进了大量功能的使用体验 解决了加载...
  • 按照正确的顺序使用AlarmOn和AlarmPrintOff命令 11-61 禁止报警监视 11-61 禁止标签的报警监视 11-61 查看禁止的标签 11-61 使用禁止报警列表 11-62 更多的FactoryTalk View命令 11-62 启动和停止报警监视 11-63 在...
  • 有时磁盘空间占用过大,需要找出那些目录是罪魁祸首,而且有时会懒,不想查看哪些日志超大之...将它们输出到sort命令,使用-g选项,使sort按照数字大小来排序,而非字典顺序。这样,最下面的文件就是最大的文件,可以方
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用 type 选项 17 2.1.9 使用 size 选项 18 2.1.10 使用 depth 选项 18 2.1.11 使用 mount 选项 18 2.1.12 使用 cpio 选项 18 ...
  • Linux shell编程指南

    2015-05-29 22:40:12
    2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • 2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • LINUX与UNIX Shell编程指南.pdf

    热门讨论 2010-10-23 00:49:00
    2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...
  • LINUX与UNIX SHELL编程指南(很全)

    热门讨论 2009-07-26 17:30:33
    2.1.6 按照更改时间查找文件 17 2.1.7 查找比某个文件新或旧的文件 17 2.1.8 使用type选项 17 2.1.9 使用size选项 18 2.1.10 使用depth选项 18 2.1.11 使用mount选项 18 2.1.12 使用cpio选项 18 2.1.13 使用exec或ok...

空空如也

空空如也

1 2 3 4 5
收藏数 100
精华内容 40
关键字:

日志文件按照时间排序命令