. cat
功能是连接多个文件并且打印到屏幕输出，或重定向到指定的文件
五大功能:
1.查看文件内容　　cat file.txt
2.合并文件内容　　cat file1 file2>newfile3
3.创建便捷新文件　　cat >file  输入完成之后，使用ctrl+c结束即可
4.清空文件内容　　cat /dev/null >file.txt
5.非交互式的编辑或者追加内容到文件尾部
cat>>file.txt<
1234
EOF
-n　　# 从1开始对多有输出的内容按行编号
-b　　# 与-n类似，但是会忽略空白行
-A　　# 每行的行尾显示$符号
. tac
反向显示文件内容
. more
分页显示文件内容
.less
less is more.分页显示文件内容，但是不是一次性加载文件内容，而是根据需要进行加载
尤其是打开超大文件时，为了不影响磁盘IO，会使用此命令
. head
显示文件内容头部，默认输出开头10行
-n　　指定显示的行数，后面接n(数字)
-c　　以字节为单位
. tail
显示文件内容的尾部，默认输出文件的最后10行
-f 　　# 实时输出文件变化后追加的数据  一般监控程序执行产生的日志，来定位问题
--pid=进程号　　# 与-f参数连用，进程结束后自动退出tail命令
-n 　　# 显示行数
-c　　# 显示字节数，用法基本与head差不多
. tailf
跟踪日志文件
几乎等同于 tail -f ，与之不同的是，如果文件不增长，name不会去访问磁盘文件，也不会更改文件的访问时间
. cut
从文件的每一行剪切字节，字符或字段，并将这些字节，字符，或字段输出至标准输出
-b　　　　# 以字节为单位进行分割
-n　　　　# 取消分割多字节字符，与选项-b一起使用
-c　　　　# 以字符为单位进行分割
-d　　　　# 自定义分隔符，默认以空格为分隔符
-f　　　　# 指定显示那个区域，与-d配合使用
N　　　　# 第N个字节，字符，字段
N-
N-M
-M　　　　# 从第1到第M个。。
cut -b 3-5,10xiaolizi.txtcut -b -3xiaolizi.txtcut -b 3-xiaolizi.txtcut -b 3,3xiaolizi.txtcut -c 2-10xiaolizi.txtcut -d : -f 1 /etc/passwd
cut -d : -f 3-5 /etc/passwd
. split
按照指定的行数或者指定的文件大小分割文件
split [OPTION]... [INPUT [PREFIX]]
-l　# 指定分割后文件的最大行数
-b　　# 指定分割后文件的最大字节数
-a　　# 指定后缀长度，默认为2位字母
-d　　# 使用数字后缀
aplit -l 10 -a 3 /etc/inittab new2_split -b 500k -d lvm lvm_
. paste
将文件按照行与行进行合并，中间默认使用空格隔开
paste test1 test2
paste-d: test1 test2    # 以：作为分隔符号
paste-s test1    # 将内容从列转换为行
. sort
将如数的文件内容按照指定的规则进行排序，然后排序结果输出
-n　# 依照数值大小进行排序
-r　　# 倒序排序
-k　# 按指定区间排序
-t　# 指定分隔符
b　　# 忽略每行开头存在的空格字符
-u　　# 去出重复行　　单独的命令uniq
sort -t " " -k2 xiaolizi.txtsort -n -t . -k3,3 -k4.1,4.3 arp.txt     # -n:按数字排序    -t . :按 . 座位分隔域    -k3,3：按第三个字段开始到第三个字段结束排序    -k4.1,4.3：按第四个字段第一个字符开始，到第四个字段，第三个字符结束
. join
类似SQL语句中的join on语句，将文件里面关联的内容进行合并，一般处理鱼油相关性的文件
合并的文件内容要求是经过sort排序后的
. uniq
去除重复行
一般是是将sort排序后的内容，通过管道传递给uniq进行处理
-c　　# 取出重复行，并计算每行出现的次数
-d　　# 只显示重复的行
-u　　# 只显示唯一的行
cut -d '/' -f 3 xiaolizi.log|sort|uniq -c |sort -rnawk -F "/" '{print $3}' xiaolizi.log|sort|uniq -c|sort-rn

1. 概述
grep命令应该是我们在获取字符串内容时，或读取文件时，进行分析的好命令，但是有时候针对一些字符，我们想排除掉某些字符。怎么办呢？
-v 参数就可以很好的实现，比如我想查看apaceh日志中，非图片的浏览记录。可以使用以下命令：
tail -f /usr/loca/apache/logs/access.log |grep -v '.jpg'

案例
tail -f aa.log | grep -v 'output_rule is null' | grep -v 'evalx' > bb.txt


我用这个命令，将一个5G的日志文件缩小到20M,便于分析，不然都无法打开文件

                    
01 cat命令
 通常用来显示文本文件的内容
 一般用来查看比较短的文本文件,因为其缓冲区有限
-s选项可以用来合并文件中多余的空行,多个空行将被压缩为一个空行;
-n选项可以显示行号
-b选项可以跳过空行的编号,显示非空行的行号;
cat不加任何参数可以用来赋值标准输入到标准输出;
02 more命令
可以用来分屏查看文本文件的内容
当文件的内容查过一屏时可以分屏查看,最后一行会显示more的提示显示;
回车键会向后滚动一行,空格滚动一屏;
在more中还支持搜索功能,与vim中的搜索用法一致;
按q键自动退出more
可以在某些命令后加管道符号和more命令,可以对命令的结果分屏显示;
03 less命令
用于分屏显示文本文件内容
相对与more命令less功能更加强大
回车键会向后滚动一行,空格滚动一屏;
还可以用上下左右键查看,more不能回滚;
同样支持搜索操作
more显示完文件内容后会自动退出;less不会,需要使用q键
在查看的过程中还可以调用其他shell指令,同vim的底行模式
04 grep命令
是一种长匹配指令,可以匹配我们输入的文本,并在文件中搜索含有匹配的行
# grep "root" /ets/passwd
匹配模式中支持正则表达式
# grep -n "fs$" /proc/filesystem    //搜索以fs结尾的行
05 head命令
用于显示文件的头部内容,默认显示文件前10行内容
# head /etc/httpd/conf/httpd.conf
-n选项可以指定显示的行数
对于显示一些超大型文件的头部内容很重要
可以显示多个文件的头部内容
06 tail命令
用来显示给定文本文件的尾部内容,默认显示尾部10行内容
# tail filename
-n选项可以指定显示内容的行数
-f可以动态跟随文件尾部的变化,经常用该选项监控系统的日志文件; 
07 wc命令
用于统计文本文件中的行数,单词数和字节数;
# wc /etc/passwd
        44 72 2102 /etc/passwd
# wc -l /etc/passwd    //单独统计文件的行数
# ps -ef |grep gnome |wc -l    //统计当前系统有多少个含有gnome进程
# wc
然后输入一部分内容,按Ctrl+d时会统计我们刚输入的文字信息
08 uniq命令
用于过滤文件中的重复行,并没有改变文件内容
要求要过滤的文本是已经排序过的
首先使用sort命令排序,然后再使用uniq命令#sort file | uniq
-c选项可以统计重复行出现的次数 
09 cut命令
用于显示文本文件中指定的列
# cut -f 1 -d " " /etc/fstab    //以空格为分割,显示第1部分
# cut -c -15 /proc/net/arp    //显示每列前面的15个字符即IP地址
10 sort命令
用来对文本排序
# sort file
仅仅将file中的内容排序输出,并没有改变file的内容
-o选项可以输出到指定的文件
# sort file -o result
也可以使用重定向的功能把排序结果保存到文件中
11 join命令
用于合并给定文件中的相同字段,要求文件是被排序过的
# cat math
Tom    90
Jim    91
# cat english
Jim    95
Tom    96
# sort math > math.sorted
# sort english > english.sorted
# join math.sorted english.sorted
Jim    91    95
Tom    90    96
12 split命令
用于将给定的文件分割成若干个小的文件
# split acess_log
会生成很多小文件,每个文件默认是1000行
-l选项可以指定分割的文件大小的行数
13 unexpand命令
用于将文件中多余的空格字符转换成制表符
# cat test.txt
liuli                        zhangsan
# unexpand -t 10 test.txt
liuli    zhangsan
-t将指定个数的空白转换成一个Tab键
14 tr命令
是字符处理工具,用于替换和删除给定文本中的单个字符,不是字符串处理工具
# tr dev xyz < /etc/fstab    //将d替换为x,将e替换为y,v替换为z
sed命令可以替换字符串
# tr a-z A-Z < /etc/hosts    //将小写字符替换为大写字符
# tr -d angi < "zhangsanlisiwangwu"        //将angi对应的字符删除
zhslswwu
# echo $PATH
/opt/arm-2009q3/bin:/usr/lib/qt4/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/beangr/bin
# echo $PATH | tr ":" "\n"    //将结果中的:替换为换行符
/opt/arm-2009q3/bin
/usr/lib/qt4/bin:/usr/lib/qt-3.3/bin
/usr/local/bin
/usr/bin
/bin
/usr/local/sbin
/usr/sbin
/sbin
/home/beangr/bin
15 tee命令
用于从标准输入读取数据,将其保存到指定的文件并输出到标准输出
# cat /etc/fstab | tee file1 file2 file3
/* 正常输出到标准输出的同时保存到file1,file2,file3 */
16 tac命令
用于以行为单位,反序显示文本的内容
tac是cat的反指令
17 spell命令
是Linux中拼写检查命令,可以对文件中的文本以单词为单位进行拼写检查,并将拼写错误的单词打印出来
# spell file
18 paste命令
用于多个文本文件的合并,以列为单位
# cat t1.txt
name    math    java
Tom        100        70
jim        80        88
# cat t2.txt
C++
90
89
# paste t1.txt t2.txt
name    math    java    C++
Tom        100        70        90
jim        80        88        89
如果需要将结果保存到文件,需要使用重定向
19 diff命令
用于比较两个文件不同的地方
# diff file1 file2
diff命令常用来生成补丁文件
# diff -Nur file1 file2 >a.patch
20 cmp命令
用于比较两个文件的类型,可以是任何类型的文件
会显示出从哪个地方开始不同
# cmp file1 file2
# cmp /bin/ls /bin/mail
# cmp file1 file1    //比较两个相同的文件,没有输出
21 look命令
用于显示文件中以指定字符串开头的行,要求文本文件是有序的
# cat t1.txt
name    math    java
zhang    100        70
lisi    70        88
wang    100        70
zhang    100        70
# sort t1.txt > t1.txt.sorted
# look zhang t1.txt
zhang    100    70
# look zhang t1.txt.sorted
zhang    100    70
zhang    100    70
# look hello    //可以查询我们的字典,会显示所有包含hello的单词
在安装look命令的时候,会安装两个字典文件
22 ispell命令
可以检查文件中英文拼写错误,并给出纠正提示
# cat test.txt
yyear    month    hppy
# ispell test.txt //修改的结果会保存到文件
23 fold命令
用于控制文件内容在显示的时候占用屏幕的宽度
# fold -w 20 /etc/fstab    //指定宽度为20个字符
换行的内容不表示文本是多行,只是多行显示而已
24 fmt命令
用于对文本文件的内容进行文本格式的优化
# fmt -u /etc/fstab    //会压缩显示的空格
25 expand命令
用于将文件中的制表符转换为空格字符
# cat t1.txt
hello    world
hello        Linux
# expand -t 20 t1.txt
hello                    world
hello                                        Linux
与unexpand互逆
26 col命令
用来过滤其他指令输出的控制信息
# cat mytest | col > mytest3
27 colm命令
用于删除文件中指定的列(字符为单位)
# colm 20 < /etc/fstab        //删除前20列字符
原有内容不会发生改变
# colm 20 50 < /etc/fstab    //删除20到50之间的列
28 comm命令
用于比较已经排序的文件,比较以行为单位
# cat chengji1
wangwu    90
lisi    60
zhangsan    80
# cat chengji2
wangwu    90
zhangsan    80
lisi    70
# sort chengji1 > chengji1-1
# sort chengji2 > chengji2-2
# comm chengji1-1 chengji2-2
29 csplit命令
用于将一个大文件分割为小的文件,以行为单位
# csplit test.txt 300
/* 从300行处分割成两个文件 */
30 diff3命令
用于比较3个文件的不同,并显示他们的不同地方
# diff3 file1 file2 file3
31 diffstat命令
用于统计diff指令的输出结果
# diff a.patch
32 printf命令
用于格式化并输出结果到标准输出,非常类似于C语言中的printf函数
# printf "%s\t%s\n" "Hello" "world"
Hello world
33 pr命令
用于将文本文件转换成适合打印的文件,可以将文件分成多页并添加打印标题
# pr test.txt > test.txt.print
34 od命令
用于输出文件的八进制,十六进制或其他格式编码的字节,通常用来显示不能直接在终端显示的字符
# od -tcx1 test.txt
# cat test.txt
hello world
35 rev命令
用于对文件的文本内容以行为单位进行字符的反序输出
# cat test.txt
hello world
I love linux!
# rev test.txt
dlrow olleh
!xunil evol I
 
参考：
http://blog.csdn.net/halazi100/article/details/42266885（以上内容转自此篇文章）
http://blog.csdn.net/hzylmf/article/details/13712753
http://blog.csdn.net/u011068702/article/details/60882902
==>如有问题，请联系我：easonjim#163.com，或者下方发表评论。<==
        
        
                
    

导读
最近在日志数据清洗时遇到中文乱码，如果只要有非中文字符就将该字符串过滤掉，这种方法虽简单但并不可取，因为比如像Xperia™主題、天天四川麻将Ⅱ这样的字符串也会被过滤掉。
1. Unicode编码
Unicode编码是一种涵盖了世界上所有语言、标点等字符的编码方式，简单一点说，就是一种通用的世界码；其编码范围：U+0000 .. U+10FFFF。按Unicode硬编码的区间进行划分，Unicode编码被分成若干个block ( Unicode block)；每一个Unicode编码专属于唯一的Unicode block，Unicode block之间互不重叠。从码字的本身的属性出发，Unicode编码被分成了若干script ( Unicode script)；比如，与中文相关的字符、标点的scriptHan包括block如下：
CJK Radicals Supplement
Kangxi Radicals
CJK Symbols and Punctuation中的15个字符
CJK Unified Ideographs Extension A
CJK Unified Ideographs
CJK Compatibility Ideographs
CJK Unified Ideographs Extension B
CJK Unified Ideographs Extension C
CJK Unified Ideographs Extension D
CJK Unified Ideographs Extension E
CJK Compatibility Ideographs Supplement
其中，常见的中文字符在CJK Unified Ideographs block；此外，考虑繁体字及不常见字等，CJK还有A、B、C、D、E五个extension。Basic Latin block完整地包含了ASCII码的控制字符、标点字符与英文字母字符。
2. Java的字符编码
JDK完整实现Unicode的block与script：
Char c = '☎'
Character.UnicodeBlock ub = Character.UnicodeBlock.of(c)
Character.UnicodeScript uc = Character.UnicodeScript.of(c);
Java中的字符char内置的编码方式是UTF-16，当char强转成int类型时，其返回值是unicode编码值，只有当getbyte时才返回的是utf-8编码的byte：
String s = "\u00a0";
String.format("\\u%04x", (int) s.charAt(0)) // --> \u00a0
import org.apache.commons.codec.binary.Hex;
Hex.encodeHex(s.getBytes()) // --> c2a0
UTF-8是Unicode字符的变长前缀编码的一种实现，二者之间的对应关系在这里.现在我们回到开篇过滤中文乱码的问题，有一个基本解决思路：
去掉各种标点字符、控制字符，
计算剩下字符中非中文字符所占的比例，如果超过阈值，则认为该字符串为乱码串
完整代码如下：
public class ChineseUtill {
private static boolean isChinese(char c) {
Character.UnicodeScript sc = Character.UnicodeScript.of(c);
if (sc == Character.UnicodeScript.HAN) {
return true;
}
return false;
}
public static boolean isPunctuation(char c) {
Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
if (    // punctuation, spacing, and formatting characters
ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
// symbols and punctuation in the unified Chinese, Japanese and Korean script
|| ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
// fullwidth character or a halfwidth character
|| ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
// vertical glyph variants for east Asian compatibility
|| ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
// vertical punctuation for compatibility characters with the Chinese Standard GB 18030
|| ub == Character.UnicodeBlock.VERTICAL_FORMS
// ascii
|| ub == Character.UnicodeBlock.BASIC_LATIN
) {
return true;
} else {
return false;
}
}
private static Boolean isUserDefined(char c) {
Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
if (ub == Character.UnicodeBlock.NUMBER_FORMS
|| ub == Character.UnicodeBlock.ENCLOSED_ALPHANUMERICS
|| ub == Character.UnicodeBlock.LETTERLIKE_SYMBOLS
|| c == '\ufeff'
|| c == '\u00a0'
)
return true;
return false;
}
public static Boolean isMessy(String str)  {
float chlength = 0;
float count = 0;
for(int i = 0; i < str.length(); i++) {
char c = str.charAt(i);
if(isPunctuation(c) || isUserDefined(c))
continue;
else {
if(!isChinese(c)) {
count = count + 1;
}
chlength ++;
}
}
float result = count / chlength;
if(result > 0.3)
return true;
return false;
}
}
为了得到更为完整的可接受的字符表，定义isUserDefined方法(具体字符表与日志中的字符有关系)；加上了Number Forms、Enclosed Alphanumerics、Letterlike Symbols这三个block，以及\u00a0(Non-breaking space)字符与\ufeff(ZERO WIDTH NO-BREAK SPACE)字符。