文本与文本处理（一）_萧风的博客-CSDN博客

三、文本的分类

 （一）简单文本

（二）丰富格式文本

（1）丰富格式文本;对纯文本排版后，增加了格式控制和结构说明信息。

（ 2）丰富格式文本组成;正文+标记。标记为∶<>…</>。

（ 3）常见的丰富格式文本扩展名;doc，pdf、html、rtf、hlp（帮助文件）。

（ 4）常见处理丰富格式的文本软件：Word、WPS、Adobe Acrobat、Dreamweaver、支持 MIME 协议 的电子邮件客户端软件等。

（三） 超文本——非线性结构、丰富格式文本

（1）超文本：可以对文本进行跳转、导航、返回的操作，实现文本更为方便的访问，采用网状结构组织 信息。WWW 网页就是典型的超文本结构。

（ 2）超链是有向的，起点位置称为链源，它可以是网页中的一个标题、一句句子、一个关键词、一幅画、 一个图标等。

（ 3）“超链”实际上就是一个指针，用于指向其他网页，也可以指向同一网页中的其他部分

（ 4）超文本也属于丰富格式文本。

（ 5）与超媒体组织结构一样，但是对象不同，超媒体的对象更为丰富（ 包括 文本、图像、视频 等 ）。

四、文本的编辑与排版

（一）文本格式

 （二）文本编辑

目的：确保文本内容正确无误
操作：对字、词、句和段落进行添加、删除、修改等操作
MS Word的功能：

• 在文本的任何位置都可以插入新的文字
• 从文本的任何位置都可以删除不需要的文字
• 将一段文字从一处移动到另一处
• 将一段文字从一处复制到另一处
• 在文本中自动查找指定的词语
• 用一个词语自动替换文本中指定的词语

（三）文本排版

目的：使文本清晰、美观、便于阅读
操作内容：对文本中的字符、段落乃至整篇文章的格式进行设计和调整，分成3个层次：

• 对字符格式进行设置
• 对段落格式进行设置
• 对文档页面进行格式设置

（四）文本的处理——对字词、句子和篇章的处理

定义：

使用计算机对文本中的字、词、短语、句子、篇章进行识别、转换、分析、理解、压缩、

加密和检索等有关的处理

• (1)字数统计，词频统计，简/繁体相互转换，汉字/拼音相互转换
• (2)词语排序，词语错误检测，文句语法检查
• (3)自动分词，词性标注，词义辨识，大陆/台湾术语转换
• (4)关键词提取，文摘自动生成，文本分类
• (5)文本检索（关键词检索、全文检索），文本过滤
• (6)文语转换（语音合成）
• (7)文种转换（机器翻译）
• (8)篇章理解，自动问答，自动写作等
• (9)文本压缩，文本加密，文本著作权保护

（五）文本展现 ——打印输出、屏幕显示

文件类型

      在理解文本文件和二进制之间的区别和联系之前，需要知道文件类型、ASCII码这些预备知识。

      文件类型，也被称为文件格式，是计算机对数据的编码方式，不同格式的文件使用不同的编码方式存储数据。我们平时遇到的文件有文本文件、二进制文件等不同格式，它们采用不同的方式存储数据。

      文件格式和文件的后缀名是两回事，后缀名的主要作用是给用户做备注或者告知操作系统在默认情况下用什么软件打开，后缀名与文件的具体编码没有关系，改变后缀名并不会改变文件格式，例如把后缀名为.mp4的文件改为.txt，再用mp4播放器打开，同样会正常打开视频。

      文本文件的后缀名一般为.txt，二进制文件的后缀名为.bin，若把文本文件的后缀名.txt改为.bin，然后使用打开二进制文件的软件打开，会出现乱码，这是因为文本文件存储的是用ASCII码编码后的数据，使用打开二进制文件的软件打开，相当于用的该软件的解码方式解码用ASCII码编码的数据，编码和解码不匹配，自然会出现乱码的情况了。

ASCII码

      计算机只能存储0和1，也就是说只能存储二进制数字，若我们打开记事本写入a这个字母，它在计算机中如何存储的呢？就要用到ASCII码了。

     上表为ASCII码表，ACSII码使用指定的8位二进制组合来表示128个可能的字符(最高位为0，主要用于奇偶检验)，存储记事本的数据时，记事本的每一个字符都会被计算机使用ACSII码编码，转换为二进制，然后存储到计算机中，如上表所示，字符a对应的ACSII值为97,97的二进制为01100001，因此计算机存储的数据为01100001，使用Binary Viewer(查看二进制的软件)查看，果然是01100001，验证了所述内容。

文本文件和二进制文件

     由上文我们知道，文本文件存储数据时是将值作为字符后存入其字符编码的二进制，文本文件用“字符”作为单位来表示和存储数据，比如对于1这个值，文本文件会将其看做字符‘1’。然后保存其ASCII编码值，这样在物理上就是00110001这个二进制值；记事本打开一个文本文件，首先读取文件物理上所对应的二进制比特流，然后按照ASCII形式来解释这个流，接下来，它8个比特8个比特地来解释这个文件流，最后将解释结果显示出来。

     二进制文件格式存储数据时直接保存该值的二进制值，存储5678时，文本文件格式存储为：00110101 00110110 00110111 00111000(存的是5 6 7 8的四个字符对应的ASCII编码的二进制，占四个字节)；二进制文件格式存储为：00010110 00101110(存的是5678的二进制)，占两个字节。

     如果程序本来就是按字符保存的，也就是char ch=‘1’，则二进制保存后值就是其ASCII码，因为该变量的二进制本来就是其ASCII码，此时文本文件和二进制文件存储没有区别。

程序

使用MATLAB编程，程序如下：

      test.txt是6*16个bit，该文件是文本文件(.txt文件)，上述程序的作用是将该数据转为二进制文件(.bin文件)存储。