1.<Strong> </Strong>表强调 
    表示强调标签里面的内容，以加粗的格式显现。

2.<em></em>表示语气强调以倾斜的方式显现
    例如：敲掉澳大利亚草原上有食肉动物出没，非常危险


                <strong>
                            非洲大草原上有肉食动物出没。非常危险
                </strong><br>
            
 今天天气<em>真好</em>啊


3 . <i>表倾斜 没有任何语义
4.< b>加粗 没有任何语义
5.<small> </small>小字显示。例如免责声明呀 。一些不想被客户看到的信息，就故意写小点
6.<cite>表示引用
7.<sub> 让字体变小 显示在下方
    H<sup>2</sup>o

8.<sup>让字体变小显示在上方。
9.<ins>表示插入的字符。表示方式 带下划线。
10.<del> 在字符上带一条删除线。 一般用于价格  的打折 把原价划掉  下面出来一个新价格
11.<code>表示此段是程序代码
12<pre> 预格式化。就是你敲在源码里是什么格式。在页面上就显示什么格式。一般跟code配合使用。

以下工具的使用都是建立在会简单使用正则表达式的基础上，不了解的群攻自己做功课。
 
sed
 
 
sed是一种流式编辑器，是一种文本编辑工具，以行为单位进行文本操作。sed默认按照basic规则进行匹配。 
 常用的命令格式如下：
 
sed option '/pattern/action' file
 
pattern：为一个正则表达式，用来匹配所要操作的字符串行。
 
action：是操作方法。常用的操作方法有：
 
p，将匹配到的内容打印两次，其他未匹配的打印一次。
d，将匹配到的字符串删除。
s，进行匹配字符替换。常用党的命令格式如下: 
 sed option ‘patter/s/patter1/patter2/g’ file 
 在patter匹配的字符串行中，用patter2替换patter1。加g选项是全部替换，不加g选项只替换第一个匹配到的。
n，读取下一行到模式缓冲区中，将模式空间的原内容清空。
N，读取文件的下一行追加到模式空间内，不请客原内容。
 
option：选项，对数据做的相应操作，常用的有：
 
-n 将匹配到的字符串行输出，其他不输出。
-i 将修改的内容同步修改到源文件。
-e 多项编辑命令，可连接多个sed指令对同一行进行操作。
 
定址
 
定址用于决定对哪些行进行编辑。地址的表示可以由数字，正则表达式或者二者的结合。如果没有指定地址，sed将处理输入文件的每一行。 
 eg： 
 sed -n ‘3p’ file 打印文件第三行。 
 sed -n ‘100,200p’ file 打印文件第100行~200行的信息。 
 地址是逗号分隔的，需要处理的地址是这两行之间的范围（包括这两行在内）。范围可以用数组正则表达式或者二者的结合表示。 
 sed ‘2,5d’ file 删除第2行到底5行 
 sed ‘/start/,/end/d’ file 删除包含‘start’行和‘end’行之间的行。 
 sed ‘/start/,10d’ file 
 
模式空间
 
sed对一个文件进行操作时，会依次将文件的每一行拷贝读取到一个特殊的缓冲区，也叫模式空间内，依次读取一行。读取完后进行正则表达式的匹配，若匹配，则进行action操作，若不匹配则丢弃。紧接着处理完后读取下一行。所以sed对文件行的操作是在模式空间内，不会对源文件进行修改。 
 
 
保持空间
 
我们可以把保持空间想象成一个仓库，作为数据的暂存区域，但记住，处理数据时依然需要将数据由保持空间加载到模式空间。 
 保持空间并不常用，只有以下几条指令会用到保持空间。 
 g：将保持空间的内容拷贝到模式空间内，并将模式空间的原内容清除。 
 G：将保持空间的内容追加到模式空间内，不清除原内容。 
 h：将模式空间的内容拷贝到保持空间，将原来保持空间的内容清除。 
 H：将模式空间的内容追加到保持空间，不清除原内容。 
 d：删除模式空间的所有行，并读入下一新行到模式空间。 
 D：删除multiline pattern的第一行，不读入下一行。 
 x：交换保持空间与模式空间的内容。
 
eg: 
 ①给文件的末尾加一个空行 
  
 ②将文件逆序输出（模拟tac指令） 
 
 
③将匹配的行追加到文件尾。
 
sed -e '/hello/H' -e '$G' file  ###类似于复制功能
 
 
sed -e '/hello/{H;d}' -e '$G' file ## 类似于剪切功能
 
 
④行列转换
 
sed -n 'H;{x;s/\n/ /g;p}' file 
 
模式空间默认去掉每一行的\n，所以要想仅仅在模式空间内部将\n替换掉是行不通的， 保持空间内部有两行或两行以上内容时，会在每一行后面加上\n，所以现将数据Hold到保持空间，在执行x指令，进行模式空间与保持空间内容的交换，再进行替换。 
 
 
⑤求1~100的和
 
seq 100|sed -n 'H;${x;s/\n/+/g;s/^+//;p}'|bc ### bc指令是对表达式求和。
 
s/^+// 表示将开头多余的加号替换为空。 
 
 
⑥读取奇偶行 
 这里用到了n命令，读取下一行到模式空间。
 
sed -n 'p;n' file  ### 读取奇数行
sed -n 'n;p' file  ### 读取偶数行
 
 
标签
 
定义一个标签：
 
:a   ### 定义标签规则为冒号加标签名，例标签名为a
 
跳转到标签：b+标签名
 
ba   ### 跳转到标签a
 
再次实现1到100求和：
 
sed -n ‘:a;N;s/\n/+/g;{$!ba};p'  ####$!ba 表示最后一行不跳转到标签a
 
N实现的是将下一行追加到模式空间的功能，如第一次执行语句是，将1读入模式空间，此时执行N将下一行追加到模式空间，此时模式空间的内容就变成1\n2，再进行+号的替换，依次类推，直到最后一行。
 
 
awk
 
 
awk既是一种文本分析工具，也是一种脚本语言。作为一种文本分析工具，它的功能比grep或者sed要强大的多，但它的用法与sed类似。作为一种脚本语言，它与c语言语法类似，有与c语言一样的分支和循环结构，是一种类c语言。
 
相对于sed来说，awk强大的地方在于它既可以以行为单位进行文本编辑，又可以以列为单位进行文本编辑。awk默认的缺省的行分隔符为换行\n，默认的列分隔符为连续的空格或者tab。比如下图: 
 
 
除了以空格和tab作为分隔符外，还可以自定义分隔符，如下图用冒号做分隔符。 
 
 
当以列为单位时，$0表示整行的内容，$1表示第一列…$n表示第n列。
 
awk命令行的格式：
 
awk option '/pattern/{action}' file
awk option -f scriptfile file  ### 用 -f 指定脚本文件
 
pattern为正则表达式，用于匹配要操作的行。action为要执行的动作。
 
这里要说一个-F选项，-F选项可以指定输入域分隔符，当我们在文件内使用自己指定的分隔符时，默认的awk指令是识别不了的，我们需要用-F选项指定出我们需要辨识的分隔符。如我们在上面用的分隔符是冒号‘：’，下面我要打印第二列的内容：
 
awk '{print $2;}' file ### 失败，系统无法辨识分隔符。
 
-F:
 
awk -F: '{print $2;}' file ### 成功，指定分隔符为：
 
 
正则表达式
 
利用正则表达式进行行匹配：
 
①找出productC的行的内容： 
  
 ②查找编号为2（第三列，以2结尾）的内容： 
 
 
指定域进行正则表达式匹配。~与！~
 
可以用~指定固定的域（列）进行正则匹配。！~与~！相同。与if语句搭配使用。 
 ①找出第二列中以1开头的数据行。
 
awk -F: '{if($2 ~ /^1/){print $0;}}' file
 
 
②找出第二列中不以1开头的数据行。
 
awk -F: '{if ($2 !~ /^1/){print $0}}' file
 
 
条件匹配
 
除了用正则表达式进行行匹配外，还可以进行条件匹配，命令格式如下：
 
awk option 'condition{action}' file
 
如：将第二列的值小于100的都标记为NO，其他标记为YES。
 
awk -F: '$2<100{print $0,"NO";}$2>100{print $0,"YES";}' file
 
注意{}里面的写法，逗号‘，’作为输出域分隔符，在输出时被转化为空格。 
 
 
BEFIN和END
 
要理解BEGIN和END，先要理解awk执行的三个过程，分别为，文本处理之前，文本处理中，文本处理之后。 
 BEGIN就是文本处理之前执行的动作，END就是文本处理之后执行的动作。
 
eg：利用BEGIN和END计算行数。
 
awk -F: 'BEGIN{x=0}{print $0;x++}END{print "total:",}'
 
 
 BEGIN，END可单独使用可搭配使用。如下：单独使用END输出行号。 
 我们在上面说过，awk也是一种类c语言，是一种弱类型语言，它的变量不需要定义，可直接使用，下例中x默认初值为 0。 
 
 
awk脚本
 
awk除了上述以命令行方式使用外，还可以以shell脚本的方式使用。因为awk也是一种脚本语言，所以awk有有自己的命令解释器，/bin/awk或者/bin/awk -f。
 
test.awk:
 
#!/bin/awk -f

BEGIN{
    count1=0; //注意变量的定义格式
    count2=0;
    count3=0;
    total=0;
}
{
    print $0;
    if($2 < 100){
        count1++;
    }else if($2 >= 100 && $2 < 200){
        count2++;
    }else if($2 >= 200){
        count3++;
    }total++;
}

END{
    printf("<100: %d\n",count1);  ### 类c语言，可直接使用printf。
    printf(">=100 && < 200: %d\n",count2);
    printf(">=200: %d\n",count3);
    printf("total: %d\n",total);
}
 
awk脚本文件的调用格式为：
 
awk [-F+分隔符] -f awkfile file
 
例：
 
awk -F: -f test.awk file
 
执行结果为：
 
 
awk的内置变量
 
ARGC 命令行参数的个数
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR  浏览文件中的记录数（行数）
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
 
printf与print
 
awk是类c语言，所以在脚本程序或者命令行都可以使用printf。有时使用printf可以使输出格式变得更加工整。 
 eg：
 
 awk -F: '{printf("filename:%s count:%d data:%s\n",FILENAME,FNR,$0)}' file
 
结果：
 
[lzk@localhost ~]$ awk -F: '{printf("filename:%s count:%d data:%s\n",FILENAME,FNR,$0)}' file
filename:file count:1 data:productA:123:1
filename:file count:2 data:productB:22:2
filename:file count:3 data:productC:23:3
filename:file count:4 data:productD:3:4
filename:file count:5 data:productE:223:5
 
练习：统计目录下普通文件所占用的字节数
 
ls -lR | grep -E '^-'| awk '{print $9,$5;total+=$5}END{print total}'
 
结果: 
 
 
除此之外，还可以用find指令来查找对应大小的文件，但无法求和。
 
find . -size +100c -a -size -1000c -exec ls -l {} \;
 
cut
 
 
cut的功能是‘剪’，以行为单位进行文本处理。命令格式如下： 
 选项主要有三个： 
 -b：按照字节进行切割。 
 -c：按字符进行切割 
 -b与-c的区别在于，-b无法剪切中文，而一个中文也算一个字符，所以-c可以剪切中文。相对于英文字符来说，它们两个功能相同。 
 
 
-f 按域进行剪切。与-d搭配使用，-d指定分隔符，-f指定域。
 
 
sort
 
 
sort的功能是对指定的文件按照一定的规则进行排序。格式为：
 
sort option file
 
1、单独使用sort默认以字符的ACCIS码的值进行排序。 
 2、-u ，按照字符ACCIS码以升序排序，并去掉重复的行。 
 3、-r ，逆序排序 
 4、sort file -o file ，排序并修改源文件。 
 5、-n 按照数值大小进行排序。 
 6、按照指定的列进行排序，-t 指定分隔符，-k指定列数。 
 
 
7、-f，将小写字母转换为大写字母进行比较，即忽略大小写。 
 8、-c 检测文件是否已排好序，如果乱序，则输出第一个乱序的行的相关信息，最后返回1。 
 9、检查文件是否已排好序，如果乱序，不输出内容，仅返回1。 
 10，-M 按照月份来排序 
 
 
11、-b，忽略每一行前面的空白部分，从第一个可见字符开始比较。
 
eg：
 
[lzk@localhost ~]$ cat file
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
 
1、按照第二列人数进行排序。
 

[lzk@localhost ~]$ sort -t' ' -k 2n file
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
 
2、按照人数排序，当人数相同时，按照第三列工资进行排序。
 

[lzk@localhost ~]$ sort -t' ' -k 2n -k 3n file
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
 
3、按照公司名称第二个字母开始往后进行比较（即按照第一个域的第2个字母直到本域结束）
 

[lzk@localhost ~]$ sort -t' ' -k 1.2 file
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000
 
4、仅按照公司名称的第二个字母进行排序，如果相同，按照员工人数进行排序。 
 因为仅按照第一列的第二个字母进行排序，所以用1.2,1.2的方式表示，2，2表示只按照第2个域进行排序，如果只写一个2，则表示按照第2个域到最后一个域进行排序。
 
[lzk@localhost ~]$ sort -t' ' -k 1.2,1.2 -k 2,2n file
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000
 
uniq
 
 
这个命令读取输入文件，并比较相邻的行，在正常情况下，第二个以后以后更多个重复的行将被山区，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须统统。如果输入文件用‘-’表示，则从标准输入读取。 
 常用的选项如下： 
 -c：去掉连续的重复行，并在每行行首加上本行重复出现的此时。可以取代-u或者-d选项。
 
 
-d：只显示重复行。
 
 
-u：只显示文件中不重复的行。
 

 
 

  

   

    

     

      

       

        
在机器学习中，特征属性的选择通常关系到训练结果的可靠性，一个好的特征属性通常能起到满意的分类效果。凡是特征选择，总是在将特征的重要程度量化后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。接下来就介绍如何有效地进行文本的特征属性选择。
        


        
文本分类作为一种有效的信息检索和信息过滤的关键技术，能按预定义的类别将待分类的文本进行归类。文本分类中常用到向量空间模型（VSM），然而高维的向量空间模型严重影响了计算机的处理速度，因此需要对文本的向量进行降维，那么就需要对文本进行特征属性选择。目前在文本分类领域中常用的文本特征属性选择算法有：TF-IDF，信息增益，卡方检验，互信息等。
       
      
     
     
链接：http://blog.csdn.net/acdreamers/article/details/44661843
     
前面分享过文本常见特征TF-IDFTF-IDF不容小觑、N-Gram等，今天对以上常见属性做个总结，可以使我们有个整体把握。
    
   
  
  

   

    

     

      
TF-IDF与特征属性选择
     
    
   
  
  

   

    

     
TF即词频（Term Frequency），表示词条在某个文档d中出现的频率。
     
 IDF即逆向文件频率（Inverse Document Frequency），如果包含词条t的文档越少，那么IDF值越大，则说明词条t具有很好的类别区分能力。
     
 
     
   TF-IDF算法的主要思想是：如果某个词或短语在某一篇文章中的出现频率TF越高，而且在其它文章中很少出现，那么认为此词或者短语具有很好的类别区分能力，适合用来分类。举个例子如下所示：
    
   
  
  

   

    

     

      

       

        
假设某篇文档的总词语数为100个，而“蜜蜂”出现了5次，那么“蜜蜂”的词频就是0.05。如果“蜜蜂”这个词在100份文档中出现，而文档总数为1000000，那么逆向文件频率就是log10(1000000/100)=4。最后TF-IDF的值为0.05 * 4 = 0.2。公式如下所示。
       
      
     
    
   
  
  

   

    
   
  
  

   

    

     


    
   
  
  

   

    

     
当然在统计之前必须要过滤掉文档中的停用词。当然TF-IDF的精确度有时候可能不太高，它仍有不足之处，单纯地认为文本频率越小的单词就越重要，而文本频率越大的单词就越无用，显然这并不完全正确。
     
接下来就可以用上面所学的TF-IDF来对文本进行特征属性选择了。计算出文档中每个词的TF-IDF的值，然后按照降序排列，取前面的几个词作为特征属性。这里由于只取前K大的，有比较优秀的O(n)算法。
     


     
在文本分类中单纯地用TF-IDF来判断一个特征属性是否具有区分度是不够的，原因主要有如下两个：
    
   
  
  

   

    

     

      

       

        
没有考虑特征词在类间的分布
        
      如果一个特征词在各个类之间分布都比较均匀，那么这样的词对分类没有任何贡献；而如果一个特征词集中分布在某个类中，在其它类中都出现但是出现的频率很小很小，那么这个词能很好地代表这个类的特征属性，但是TF-IDF不能很好地区别这两种情况。
       
      
     
    
   
  
  

   

    

     

      

       

        
没有考虑特征词在类内部文档中的分布
        
      在类内部文档中，如果特征词均匀分布在其中，那么这个特征词能够很好地代表这个类的特征，如果只在几篇文档中出现，那么不能够代表这个类的特征。
       
      
     
    
   
  
  

   

    

     


    
   
  
  

   

    

     

      
信息增益与特征属性选择
     
    
   
  
  

   

    

     
信息增益（Kullback–Leibler divergence）又叫做information divergence，relative entropy 或者KLIC。在信息增益中，重要的衡量标准就是看这个特征能够为分类系统带来多少信息，带来的信息越多，那么该特征就越重要。通过信息增益选择的特征属性只能考察一个特征对整个系统的贡献，而不能具体到某个类别上，这就使得它只能做全局特征选择，即所有的类使用相同的特征集合。
    
   
  
  

   

    

     


    
   
  
  

   

    

     

      
卡方检验与特征属性选择
     
    
   
  
  

   

    

     
卡方检验是数理统计中一种常用的检验两个变量是否独立的方法。在卡方检验中使用特征与类别间的关联性来进行量化，关联性越强，特征属性得分就越高，该特征越应该被保留。 
     
卡方检验最基本的思想是观察实际值和理论值的偏差来确定理论的正确性。通常先假设两个变量确实是独立的，然后观察实际值与理论值的偏差程度，如果偏差足够小，那么就认为这两个变量确实是独立的，否则偏差很大，那么就认为这两个变量是相关的。
     
 
     
在文本特征属性选择阶段，一般用“词t与类别c不相关”作出假设，计算出的卡方值越大，说明假设偏离就越大，假设越不正确。文本特征属性选择过程为：计算每个词与类别c的卡方值，然后排序取前K大的即可。
     


     
接下来，就来学习如何计算卡方值。
     


    
   
  
  

   

    

     

      

       

        
假设 n 个样本的观测值分别为 x1,x2,...,xn，它们的均值（期望）为 E，那么卡方值计算如下
       
      
     
     

      

       
      
     
     

      

       

        
如果计算出的 X^2 值与事先设定的阀值进行比较，如果 X^2 小于阀值，则原假设成立，否则原假设不成立。
       
      
     
    
   
  
  

   

    

     
 
     
在文本特征选择阶段，我们关心的是一个词 t 与一个类别 c 之间是否独立，如果独立，则词 t 对类别 c 完全没有表征作用。然而，卡方检验也有缺陷，会对低频词有所偏袒，这就是著名的‘低频词缺陷’，因此经常需要同词频综合考虑来扬长避短。
     


    
   
  
  

   

    

     

      
互信息与特征属性选择
     
    
   
  
  

   

    

     
其实互信息相比前面几种特征属性选择方法来说，效果是最差的。互信息是事件A和事件B发生相关联而提供的信息量，在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。计算方法如下
     

    
   
  
  

   

    
   
  
  

   

    

     

     
低词频对于互信息的影响还是蛮大的，一个词如果频次不够多，但是又主要出现在某个类别里，那么就会出现较高的互信息，从而给筛选带来噪音。所以为了避免出现这种情况可以采用先对词按照词频排序，然后按照互信息大小进行排序，然后再选择自己想要的词，这样就能比较好的解决这个问题。
    
   
  
  

   

    

     


    
   
  
  

   

    
     
    

   
  
  

   

    

     
搜狗语料库：

     
http://www.sogou.com/labs/dl/c.html
    
   
  
 
 

  

   

    

     

      

       

        

        

         
 近期热文
        
       
      
     
    
   
  
 
 
从最大方差来看主成分分析PCA

 
常见文本相似度量方法总结

 
文本特征工程之N-Gram

 
文本分类特征提取之Word2Vec

 
干货|免费文本语料训练数据集
 
机器学习之决策树模型组合理解

 
机器学习之理解支持向量机SVM

 
机器学习之朴素贝叶斯分类器
 
... ...
 

  

   

    

     

      

       

      
     
     

      

       

        

         

          

           
接受过去和现在的模样，才会有能量去追寻自己的未来。
           


          
         
        
       
       

        

         

          

           
          
         
        
       
      
     
     

      

       

        

         

          

           
更多干货内容请关注微信公众号“AI 深入浅出”
          
         
        
       
       

        

         

          

           
长按二维码关注
          
         
        
       
      
     
    
   
  
 
 

 

          
 
一、前言
 
工欲善其事，必先利其器。对于一个程序员来说，文本编辑器是必不可少的有力武器之一。当然，常用的有很多，但是个人觉得好用、实用的不多。为了记录自己的工作心得，同时也希望能对像我一般的你有所帮助，特写这篇博客介绍一下我常用的NotePad++和UtraEdit。其中NotePad++是免费的，UtraEdit就要自己想一下办法了，如果经济条件允许的话最好购买正版的软件。
 
二、NotePad++简介
 
Notepad++是Windows操作系统下的一套文本编辑器(软件版权许可证:GPL)，有完整的中文化接口及支持多国语言编写的功能(UTF8技术)。
 Notepad++功能比Windows中的Notepad(记事本)强大，除了可以用来制作一般的纯文字说明文件，也十分适合编写计算机程序代码。Notepad++不仅有语法高亮度显示，也有语法折叠功能，并且支持宏以及扩充基本功能的外挂模组。(引用自：https://baike.baidu.com/item/Notepad++/10073989)
 
1.菜单栏
 
 
2.常用功能
 
使用它不仅可以对文本进行编辑，它对Java、Html等语言也有很好的支持。刚入门这些语言的时候，NotePad++的确是一个不错的选择。个人平时很多时候使用它来进行文本编辑、替换、对比、排错等。
 
(1)Ctrl+滚动滑轮可以放大缩小文本；
 
(2)Ctrl+F进行查找、替换、标记；
 
(3)找到文件名----》单击鼠标右键----》选择移动到另一试图，可以进行分屏显示。
 
 
三、UtraEdit简介
 
UltraEdit 是一套功能强大的文本编辑器，可以编辑文本、十六进制、ASCII 码，完全可以取代记事本（如果电脑配置足够强大），内建英文单字检查、C++ 及 VB 指令突显，可同时编辑多个文件，而且即使开启很大的文件速度也不会慢。
 UltraEdit 是 Windows 旗下一款流行的老牌文本/HEX 编辑器（非开源）。UltraEdit 正被移植到 Linux 平台。该移植名为 UEX，意即 UltraEdit forLinux。UEX具有原生的 Linux 外观，其界面、配置、热键等与 Windows 版并无二致。
 UltraEdit是一个49.95美元的共享软件，提供了友好界面的编程编辑器，支持语法高亮，代码折叠和宏，以及一大堆其他的功能，内置了对于HTML、PHP和JavaScript等语法的支持。(引用自：https://baike.baidu.com/item/ultraedit/138217?fr=aladdin)
 
1.菜单栏
 
 
2.常用功能
 
该编辑器提供了一个特殊的功能：列块编辑。为此，当我们在进行数据库表字段、Excel表内容的对比时，可以将文本复制到该编辑器下然后启用列编辑模式。
 
 
四、总结
 
对这两个编辑器功能的介绍我所做的只是冰山一角，还有其他许多强大功能没有介绍到，希望看到这篇博客的朋友可以多多分享其他的功能。
 
祝岁末愉快，也希望该文能对你有所帮助！