Ubuntu版本：ubuntu-gnome-16.04-desktop-amd64，gnome版
 
-----------------------------------------------------------------------------------
 
 
 
Graph::Easy 是一个处理图形DSL的Perl模块，它有如下功能：
 
提供了一种易懂，可读性很强的图形描述语言
一种支持 ASCII Art 的基于网格的布局器
可以导出为 Graphviz, VCG (Visualizing Compiler Graphs), GDL (Graph Description LAnguages) 和 GraphML 格式。
可以从 Graphviz, VCG 和 GDL 导入图像。
 
 
总之，Graph Easy 是一个很 geek 的一个绘图工具。它基于 Command Line，可以轻松的绘制 ASCII 字符图，同时还能导出成 HTML，SVG 等多种格式。
 
 
 
1. 安装
 
1.1 首先需要安装 graphviz 软件包
 
执行：sudo apt-get install cflow graphviz
 
1.2 安装perl，Ubuntu系统自带
 
1.3 安装cpan，这个是perl的软件包管理，Ubuntu系统自带
 
1.4 安装Graph::Easy
 
执行：sudo perl -MCPAN -e shell
 
输入y后即可进入以下界面：
 
 
执行：install Graph::Easy
 
等待几分...OK。
 
 
 
2. 使用
 
2.1 使用Graph::Easy DSL的语法描述图像，存为文本文件，比如 simple.txt
 
2.2 在shell下使用 graph-easy 命令处理这个文件： graph-easy simple.txt
 
最简单的使用方式就是这样；当然，Graph::Easy 不仅仅支持自己的DSL语法，它还支持诸如dot 这种较为通用的图像描述语言；可以直接读取dot 格式的输入，产生其他的诸如 ascii，png，svg格式的图像。
 
2.3 实例
 
1）流程图or流向图
 
test.txt内容如下：
 
[ab] -> [cd] -> [hello wprld] -> {label: "feedback"} [ab]
 
[ef | gh | ij | ki]
 
输出：
 
 
2）表格：
 
[ef | gh | ij | ki ||
 
2 1 | 2 | 3 | 4 ||
 
3 a |b |c |d ]
 
输出：
 
 
 
 
 

利用python进行中文文本分类，主要包括以下几个流程①：
一、预处理
预处理主要是对训练集和测试集的语料库进行处理。
训练集语料库是已经分好类的资料，处理时按照不同的类放入不同的路径下，如./train_corpus/C3-Art，……，\train_corpus\C39-Sports
测试集语料库用于检测实际效果，也是已经分好类的语料库。
如果语料库是自己爬取到的网页等内容中获取的文本，需要将html标签去除
二、分词
分词是文本分类的核心，重要算法：基于概率图模型的条件随机场（CRF）
1.       概率图模型②
概率图模型是一类用图模式（节点和边）来表达基于概率相关的模型的总称。
常用的概率图模型包含三个基本问题：
（1）模型的表示：
       贝叶斯网络（有向无环图），可以表达事件的因果关系
       马尔可夫随机场（无向图），表达变量间的相互作用。（常用）
（2）模型的学习：
将图模型化为数学公式，模型 ，Ai是模型参数，Y称为状态（序列），指使用的标签，包括词性列表、组块标签列表、BIOES标注等，自然语言处理中，将数据集数字化为 ，oi称为观测序列，也就是输入序列，根据训练集得到每个观测序列对应不同标签的分布 ，然后套入模型估计出λ，使得模型得到最大的概率分布 
（3）模型的预测
对于一个新的输入样本，选择后验概率最大的最有可能的标签作为预测结果。
2、条件随机场③
一种判别式无向图模型，基本思路是对汉字进行标注即由字构词(组词)，不仅考虑了文字词语出现的频率信息，同时考虑上下文语境，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果；其不足之处是训练周期较长，运营时计算量较大，性能不如词典分词。
对一个字来说，CRF认为其有4种状态，分别是：词头（Begin）、词中（Middle）、词尾（End）、单字成词（Single），简称B、M、E、S。条件随机场的分词过程就是对词位进行标注后，将B和E之间的字，以及S单字构成分词。
训练集的数据是已经做好标注的语料库，然后进行特征学习，以字“我”为例，要学习的特征包括以下几点：
（1）这个字一共在语料库中出现的次数，如“我”字出现了256次；
（2）这个字出现为B、M、E、S的概率，即在这256次中，“我”作为词头、词中、词尾、单字的概率；
（3）这个字作为某一个状态的时候，他转移到下一个状态的概率，也就是他的下一个词的状态的概率分布，这一步会形成一个4*4的矩阵，也就是状态转移概率的计算；
（4）前三项的学习过程和隐马尔科夫过程类似，条件随机场和隐马尔科夫的区别在于，条件随机场会学习上下文关系。如当前状态为B的“我”，下一个字是“们”的概率，当前状态为S的“我”，上一个字是“的”的概率，下一个字是“爱”的概率。
经过特征学习，下一步是分词过程。以对于“希腊的经济结构较特殊”进行分词为例：
（1）将输入变为字符数组，即“希”、“腊”、“的”、“经”、“济”、“结”、“构”、“较”、“特”、“殊”；
（2）取出特征学习过程中学习到的每个字的特征；
（3）为确定每个字的状态，可以绘制一个表格
 
利用维特比算法求出概率最大路径，取出路径中对应的状态，分词工作基本上就完成了。
 
R是特征二，即每个字分别作为B、M、E、S的概率；
P是特征三，即每个字处于某状态时转移到下一状态的概率；
W前是特征四的上文部分，即每个字作为某种状态出现时，其上一个字是某个字的概率；
W后是特征四的下文部分即每个字作为某种状态出现时，其下一个字是某个字的概率。
例如，对于“腊”字，前一个字是“希”，后一个字是“的”，同时“希”可取的状态有B、M、E、S，计算出其在状态B上的值如下：
 
计算出值后，由于有取最大的操作，因此需要记录出选取的路径，对所有值计算后，选取最后一个字所对应的最大概率按照路径进行回溯，就可以得到分词结果。
这就是最基础的利用CRF进行分词的操作。
Jieba库采用的就是CRF进行分词。
具体代码为：

 
1.  seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式  
 
2.  print(", ".join(seg_list))  

jieba.cut()接受三个参数分别为：待分词的字符串、cut_all为布尔型变量，是否使用全模式，HMM布尔型变量，是否使用HMM模型
‘’.join()，引号里的内容是以什么来分开分好的词
分词完成后将分好的词的语料库存入某一路径，准备进行下一步操作。这里文本的存储方式为Bunch类型。
from sklearn.datasets.base import Bunch
bunch = Bunch(target_name=[],label=[],filenames=[],contents=[]) 
bunch里存入：target_name：整个数据集的类别的集合，label：所有文本的标签，filenames：所有文本文件的名字，contents：分词后的文本文件（一个 文本文件一行），四个参数均为list类型
三、结构化表示
将第二步中已经分好的词统一到一个词向量空间中。
1、去除垃圾词汇
去除语气助词、标点符号等停用词
2、得到以下两个值：
（1）词典，单词和单词对应的序号，序号应该是自定义的一个序列号，为方便引用，没有特殊含义。
（2）权重矩阵tdm，二维矩阵，tdm[i][j]表示第j个词在第i个类别中的TF-IDF值。Tdm的每一列都表示一个单词在整个类别中的权值，称这一列为一个词向量。
关于TF—IDF值：
词条的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降；也就是说词条在文本中出现的次数越多，表示该词条对该文本的重要性越高，同时词条在所有文本中出现的次数越少，说明这个词条对该文本的重要性越高（因为是该文本独特的词条）。TF(词频)指某个词条在文本中出现的次数，一般会将其进行归一化处理(在某一类中该词条数量/该类中所有词条数量)；IDF(逆向文件频率)指一个词条重要性的度量，一般计算方式为总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。TF-IDF实际上是：TF * IDF
值得注意的是，如果测试集中新出现的词不是训练集生成的TF-IDF词向量空间中的词，我们就都不予考虑。所以训练集中词的全面性很重要。
四、设计分类器
中文文本分类常用的分类器包括：决策树、人工神经网络、KNN、SVM、朴素贝叶斯、Adaboosting、Rocchio算法、LDA模型、深度学习等。
朴素贝叶斯算法有一个较强的假设，要求所有属性相互独立，但是在文本中各个词向量之间并不是相互独立的，词向量之间或多或少有一定的关系，这导致了以朴素贝叶斯作为分类器算法的正确率不会很高（可以考虑用聚类算法先将相关性较大的属性聚类），而且需要知道先验概率，但是，凭借着其坚实的数学基础，以及稳定的分类效率，几乎不需要参数估计以及对缺失数据并不敏感的优势，在属性相关性较少时，依旧是性能最为良好的分类方法。
朴素贝叶斯进行分类时，要判断一个文本属于哪个类，要计算所有类别的先验概率和该文本中所有词在相应类别下的后验概率，相乘，文本归于乘积最大的类，公式表示为：
 
 为某个类别的文本个数除以所有文本个数；
 为训练集中各个类别下面各种特征的条件概率。
这就是朴素贝叶斯对已经分好词的文本进行分类的过程。
 
 

　　在进行文本分类时，毫无疑问会涉及到对文本数据进行预处理，包括文档切分、文本分词、去停用词（包括标点、数字、单字和其它一些无意义的词）、文本特征提取、词频统计、文本向量化等操作。下面就这几方面作一个概括性的介绍，具体的实现还有待慢慢的研究。 
 文档切分 
 　　文档切分这个操作是可选的，取决于你获取到的文档集合的形式。如果你得到的文档集合本身就是一篇一篇文章分开的，那么这一步就可以省略了。反之，如果文档集合是一个单一的文件，所有的文章都存储在这个文件中，那么你就要将其中的文章提取出来单独存放在一个文件中，从而便于以后的操作。 
 　　一般来说，单一文件的文档集合中文章与文章之间都会使用一些标记来区分，比如用空行、特定符号等等。我做的课程作业中有一个人民日报语料库，语料库中文章与文章之间就是用空行来分隔的。 
 文本分词 
 　　文本分词是预处理过程中必不可少的一个操作，因为后续的分类操作需要使用文本中的单词来表征文本。目前文本分词已经有很多比较成熟的算法和工具，在网上搜索一下就会发现很多。 
 　　文本分词包括两个主要步骤，第一个是词典的构造，第二个是分词算法的操作。 
 　　词典的构造目前比较流行的有字典树即标准trie树，字典树的构造有很多方法，本人博客中也有一篇用java实现字典树的博文，但是空间利用率和效率可能不是很高。目前比较不错（节约空间和效率）的构造方法有双数组trie树等。 
 　　分词算法有简单的有复杂的，常见的主要有正向最大匹配、反向最大匹配、双向最大匹配、语言模型方法、最短路径算法等等，这些算法在网上都可以找到详细的资料。 
 去停用词 
 　　去停用词也是预处理过程中不可缺少的一部分，因为并不是文本中每一个单词或字符都能够表征这个文本，比如说“这个”、“的”、“一二三四”、“我 你 他”、“0 1 2 ……9”等等，那么这些词就应当从文本中清除掉。可以在网上下载一份中文的停用词表来作为去停用词的参考。 
 文本特征提取 
 　　这个是文本分类过程中很重要的一部分，但是并不是必要的，当然最好有这一部分。我们不能肯定的说文本中的某一个单词就能100%表征这篇文档，只能说这个单词能以某种程度来表征这篇文档，这个程度具体衡量的标准就是概率。概率越大，说明这个单词越能表征这篇文档；反之则越不能表征这篇文档，当概率小到一个阀值（人为设定）的时候，这个单词就可以舍弃了（不能表征，要你何用呢）。 
 　　表征的概率目前有两种使用比较广泛的方法，一种是差方统计（这个概率越小越好），另一种是信息增益（这个概率越大越好）。两种方法都比较晦涩难懂，但是网上资料很多，多看看相关资料就会明白了。如果嫌这一步麻烦，大不了不做这一步了（摆平不了，咱撤还不行吗），当然这就要牺牲一点分类的准确率了，有时候可不是一点点哦。 
 词频统计 
 　　这一步是必不可少的一个步骤。去停用词和文本特征提取之后，剩下的词是文本的精华所在了，这时就要涉及到另一个表征标准了—词频。显然，如果一个单词在文本中出现的频率很高，那么这个单词就越有可能（记住，只是可能而已，并不能肯定，这其中还涉及到一个反文档频率）表征这个文本。同时词频也是构造文本空间向量模型的必要元素，因此这一步至关重要。 
 　　词频统计方法也有很多成熟的方法，比如hash、改造的trie树等方法，搜搜更明白！ 
 文本向量化 
 　　进行如上操作以后，还差一步就会达到胜利的彼岸了，这个彼岸可不是分类完成，而是可以运用分类算法了。大都数分类算法都只适用于离散的数值类型，因此到目前为止预处理还差的最后一步就是将文本进行空间向量化，也就是用数学上的多维特征向量来表示一个文本。比如有如下两个文档： 
 　　　　d1 (A, B, C, D, E, F, G) 
 　　　　d2(C, E, F, G, A, B) 
 　　就已经表示成向量模型了，只不过括号内的每一维的值暂时用文档的特征词来表示了。那么我们应该将特征词转换成数值表示，这个数值就可以用概率来表示了。　　 
 　　概率的计算涉及两个方面，前面也说过，即特征单词在文档中出现的频率p（通常由该词在所属文档中出现的词频除以全部文档的特征词数），还有该词的反文档频率q（表示该词出现在多少个文本中的频率，如果一个单词在很多文档中出现的频率都很高，那么这个单词就太普遍了，不足以用来表征一篇文档）。那么某一维的表征概率值就是p和q的一个因式乘积，当然根据需要还有可能乘上另外一些影响因子。下面都简单介绍一下这两个概率是如何计算的： 
 　　特征词集合/文档 d1 d2 单词出现总数 
 　　　　A 2 1 3 
 　　　　B 2 2 4 
 　　　　C 2 1 3 
 　　　　D 1 0 1 
 　　　　E 4 3 7 
 　　　　F 2 1 3 
 　　　　G 2 2 4 
 　　文档单词总数 15 10 25 
 　　其中表格内面的数字表示特征单词在对应文档中出现的次数，下一步计算p并标准化（将数值映射到-1到1之间，以防止大值特征词对文本特征的控制，当然也可以便于后续的计算）： 
 　　计算p值 d1 d2 
 　　　　A 0.08（2 / 25） 0.04 
 　　　　B 0.08 0.08 
 　　　　C 0.08 0.04 
 　　　　D 0.04 0.00 
 　　　　E 0.16 0.12 
 　　　　F 0.08 0.04 
 　　　　G 0.08 0.08 
 　　q的计算需要利用公式log((1+|D|)/|Dt|)（这是前人总结出来的，咱只是站在了他们的肩膀上），其中其中|D|表示文档总数，|Dt|表示包含特征词t的文档数量。例子的q值计算结果如下： 
 　　计算q值 ln 
 　　　　A 0.4 
 　　　　B 0.4 
 　　　　C 0.4 
 　　　　D 1.1 
 　　　　E 0.4 
 　　　　F 0.4 
 　　　　G 0.4 
 　　最后将p、q相乘得到每个文档的最终向量表示： 
 　　计算p值 d1 d2 
 　　　　A 0.032 0.016 
 　　　　B 0.032 0.032 
 　　　　C 0.032 0.016 
 　　　　D 0.044 0.000 
 　　　　E 0.064 0.048 
 　　　　F 0.032 0.016 
 　　　　G 0.032 0.032 
 　　那么最终就可以将d1和d2表示成如下的空间向量： 
 　　　　d1 = (0.032, 0.032, 0.032, 0.044, 0.064, 0.032, 0.032) 
 　　　　d2 = (0.016, 0.032, 0.016, 0.000, 0.048, 0.016, 0.032) 
 　　其中向量对应的维度特征变量为A,B,C,D,E,F,G

背景
 
因为工作原因，需要经常往两个word模板里填写内容并生成新的word文件，模板大致如下图：
 
 
 
老的工作流程：
 
打开两个表，在表中对应位置填写个人信息，保存。这样一来，当需要填写的信息比较多的时候，工作就会繁琐。
 
新的工作流程：
 利用python-docx编写脚本，运行脚本-输入个人信息-自动生成两个word模板
 
脚本用到的python-docx库的功能：
 1、创建与合并表格
 2、添加文本
 3、设置文本属性（如大小、加粗、下划线、居中等）
 
安装python-docx：
 pip install python_docx
 
创建与合并表格
 在python-docx中有表格对象（Table）。我们可以把一个表格看成M行（Row）N列（Column）的矩阵。
 
表格中的一个“格子”就是一个cell对象，同时它还有rows（行）和columns（列）属性
 
首先创建一个新的文档
 
from docx import Document
 document = Document()
 
然后用Document类的add_table方法增加一个表格，其中rows是行,cols是列,style表格样式，具体可以查看官方文档：
 
table = document.add_table(rows=37,cols=13,style=‘Table Grid’)
 
上述代码就在word里插入了一个37行、13列的表格。（有37*13=481个cell）
 
生成的每个cell都是有“坐标”的，比如上面的表格左上角cell为（0，0），右下角cell为（36，12）
 
下面要做的就是合并一些cell，从而达到我们最终需要的表格
 
table.cell(0,0).merge(table.cell(2,2))
 
上述代码就将cell(0,0)到cell(2,2)之间的所有cell合并成一个cell
 
这里需要注意的是，虽然每个cell都合并了，但其实它还是存在的。比如合并了(0,0)和(0,1)两个cell，那么这个合并的cell其实就是(0,0;0,1)
 
如果cell较多，无法直观的看出坐标的话，可以用下列的代码将每个cell的坐标都标注出来，方便合并
 
document = Document()
 table = document.add_table(rows=37,cols=13,style=‘Table Grid’)
 document.save(‘table-1.docx’)
 document1 = Document(‘table-1.docx’)
 table = document1.tables[0]
 for row,obj_row in enumerate(table.rows):
 for col,cell in enumerate(obj_row.cells):
 cell.text = cell.text + "%d,%d " % (row,col)
 document1.save(‘table-2.docx’)
 
添加文本
 将所有cell依次合并后，就需要向合并后的cell里添加文本。
 
用table的row方法可以得到一个表格的一行list其中包含了这一行的所有cell
 hdr_cells0 = table.rows[0].cells
 
上面代码就得到了合并表格后的第一行所有cell，然后我们用hdr_cell0[0]就可以得到合并表格后的第一行的第一个cell。用add_paragraph方法即可像cell里添加文本
 
hdr_cells0[0].add_paragraph(‘院（系）\n’)
 
上面已经说过，合并的cell其实还是存在的。因为我所需要的表格第一个cell实际合并了(0,0)—(2,2)之间六个cell。所以hdr_cell0[0].add_paragraph其实就是向这六个cell里写入内容。
 
第二个cell合并的是(0,3)—(2,6)之间的cell。所以就应该向(0,3)写入文本，其实向这之间任一一个cell写入文本都是可以的，所以应该是
 
hdr_cells0[3].add_paragraph(‘院’)
 按照上面的方法依次类推，就可以将所需表格的整体部分做成。
 
设置文本属性（如大小、加粗、下划线、居中等）
 
合并表格并且添加了所需文本后，下面就需要设置表格内文本的各种属性了，比如大小、加粗、下划线、居中等
 
在python-docx中，word主要有两种文本格式等级：块等级（block-level）和内联等级（inline-level）。word中大部分内容都是由这两种等级的对象组成。
 
段落是word文件中主要的块对象，图片、表、标题、列表也是块对象
 
内联对象是块对象的组成部分块对象的所有内容都包含在内联对象中，一个块对象由一个或多个内联对象组成
 
run 是常用的内联对象，例如：
 
p = document.add_paragraph(‘This is paragraph’)
 p.add_run(‘bold’).bold = True
 p.add_run(’ and some ').font.size = Pt(14)
 p.add_run(‘italic.’).italic = True
 这个例子中一个段落（块对象）包含三个 run（内联对象），每一个 run 依次设置了粗体、大小、斜体三种属性
 
具体设置run属性直接用代码说明，更详细的请直接查阅官方文档
 
from docx import Document
 from docx.shared import Inches, Pt
 from docx.enum.text import WD_ALIGN_PARAGRAPH
 document = Document()
 #设置整个文档的默认字体
 document.styles[‘Normal’].font.name = u’宋体’
 document.styles[‘Normal’]._element.rPr.rFonts.set(qn(‘w:eastAsia’), u’宋体’)
 p1=document.add_paragraph()
 #设置p1段落居中
 p1.paragraph_format.alignment = WD_ALIGN_PARAGRAPH.CENTER
 #p1段落大小
 p1.paragraph_format.line_spacing = Pt(25)
 #给p1段落添加run对象r1，并设置文本
 r1 =p1.add_run(‘添加文本\r添加文本\n’)
 #文字大小
 r1.font.size = Pt(16)
 #粗体
 r1.bold = True
 #下划线
 r1.font.underline = True
 源代码已上传至：
 https://github.com/juventusryp/python-in-life
 
参考链接：
 
 
https://www.cnblogs.com/ontheway703/p/5266041.html
 
 
https://zhuanlan.zhihu.com/p/22614722