文档摘要自动提取算法——抽取式

    

    自动提取文档摘要的算法，主流方法分为两类：Extractive 抽取式、Abstractive 概要式。这篇我们主要将抽取式。

抽取式：

    从原始文档集中抽取一些具有代表性的文本片段构成摘要，这些片段可以是整个文档中的句子、子句、段落或者小节。

    抽取式方法有两个问题，如何对文本单元排序打分；如何抽取文本单元的一个子集生成摘要。分别对应着排序单元和抽取单元。

    通俗讲就是，先用排序单元把文档中的单元排序，选择排名靠前的单元，再用抽取单元去除选出来的单元之间的冗余信息，得到最后的自动摘要。

    

    两种实现思路：1）排序单元给句子打分，抽取单元抽取（去除冗余）句子子集作为摘要；2）排序单元给文档集中的概念打分，抽取单元抽取一组能够最大限度覆盖重要概念的句子。

    对于排序单元，有三种学习排序算法：

1） pointwise排序：孤立地处理每个样本（句子或者概念），把句子的特征和标记（排序等级）输入到机器学习算法中，学习出分类器；

2） pairwise排序：从一系列句子对或者概念对{(x_i, x_j)}中学习排序函数f(x_i)。考虑了两两样本之间的排序问题；

3） listwise排序：所有样本之间的排序都考虑在内。

一定程度上，学习排序算法（LTR）和多标记学习里的方法是类似的，一阶/二阶/高阶方法。

 

    对于抽取单元，需要从排序后的文本单元中，抽取一部分代表性的句子，生成抽取式摘要，在抽取的过程中，要尽可能地去除冗余。常用的是一个基于整数规划的抽取方法。

求解上面的整数规划，我们就可以得到哪些句子是需要抽取出来，组成摘要的。

参考文献：

文档摘要算法的研究与应用    金锋

一、需求

根据关键词，从Word文档里的表格中提取所需要的数据汇总到Excel中，并汇总到Excel中做台帐。

二、分析及思路

常规表格中，我们一般会通过横向填写或者竖向填写的方式来进行内容的填写，有些单元格还会有合并的情况，如下图所示，通过 python 的 docx 模块，可以完成 word 文档的信息提取：

2.1 遍历文件夹中，需要提取的 docx 文件（这里最好是把将要提取的文件放在一个文件夹中）
2.2 通过 docx 模块里面的 table 方法，通过读取行/列的方式，遍历所有表格及表格中的内容；
2.3 通过给定的关键词，筛选出需要的数据；
2.4 将获取到的所有数据通过 pandas 存储的方式保存至 excel 中。

三、整体代码

from docx import Document
from openpyxl import load_workbook
import pandas as pd
import glob

'''
关键词存储在excel表格中，先提取（也可以直接手动写一个字典用于存储关键词）
'''
workbook = load_workbook(filename = '1.xlsx')
sheet = workbook.active
data_size = sheet.dimensions
dic={}
for cell in sheet[data_size][0]:
	dic[cell.value]=''

'''
遍历docx文件，读取表格相关内容
'''
doc_ls=[]
dic1={}
for path in glob.glob('*.docx'):
	doc = Document(path)
	for table in doc.tables:
		try:
		# 按行的方式读取
			for rows in table.rows:
				for i in range(0,len(rows.cells)):
					if rows.cells[i].text in list(dic.keys()):
						key = rows.cells[i].text
						value = rows.cells[i+1].text
						dic1[key] = [value]
			doc_ls.append(pd.DataFrame(dic1))

		except:
		# 按列的方式读取
			for cols in table.columns:
				for i in range(0,len(cols.cells)):
					if cols.cells[i].text in list(dic.keys()):
						key = cols.cells[i].text
						value = cols.cells[i+1].text
						dic1[key] = [value]
			doc_ls.append(pd.DataFrame(dic1))

'''
文件的合并存储
'''
df = pd.concat(doc_ls)
df.to_excel('提取后数据.xlsx')

代码相对简单，测试数据目前相对较少，可能有bug。

四、截图：

4.1 关键词的存储方式

4.2 提取后的数据

目录

本文基于的被测系统

提取接口信息并分析

1. 登录接口信息的提取与分析

2. 发布文章接口信息的提取与分析

3. 修改文章接口信息的提取

4. 删除文章接口信息的提取

5. 查询文章接口信息的提取

6. 接口关联总结

---

随着市场需求的变化，大部分企业在招聘测试人员时，都会提出接口自动化测试的相关要求，为什么会这样呢？

目前，软件构架基本上都是前后端分离的，软件的主要功能由服务端提供。从整个软件测试市场来看，大部分的测试人员还是以功能测试和 UI 自动化测试为主，即以前端的页面测试为主，并不涉及过多的服务端测试。但由于软件开发成本提高，开发周期和迭代周期缩短，仅仅做前端的页面测试已不能满足软件对质量的各项要求。

服务端测试的主要对象是由服务端所提供的接口，因此也被称为接口测试。接口测试的优势在于，在一个前端页面的开发还未完成时，测试就可以提前介入。测试工作介入得越早，解决 Bug 的成本越低，产品也会更加稳定，因此接口自动化测试几乎成了 UI 自动化测试人员发展的必经之路。

接口测试也分为手工接口测试及接口自动化测试。手工接口测试一般可以通过 posman 或者 jmeter 等接口工具来完成；在接口的功能趋于稳定之后，便可以实现代码级的接口自动化测试及持续集成。

从目前的市场需求来看，接口自动化测试人才在市场中所占比例较低，薪资高，市场缺口巨大。

本文基于的被测系统

本书将ZrLog 博客系统（https://www.zrlog.com/）作为被测系统。

选择ZrLog 的原因如下：

部署过程相对简单，功能和业务逻辑不复杂。

其接口资源包含了增、删、改、查等常用操作，服务端响应的数据也是标准的JSON格式，这一些条件均为学习接口自动化测试框架提供了便利。

ZrLog 有多种部署方式，包括 Docker 的方式，本书采用该方式进行部署。Docker 是一种容器技术，容器就是在隔离的环境中运行的一个进程，如果进程停止，容器就会销毁。程序在这个虚拟容器里运行，就好像在真实的物理机上运行一样。所以，有了 Docker，就不用担心环境问题。

 下面展开如何设计 ZrLog 项目的测试用例。

提取接口信息并分析

接口测试主要是测试对服务端资源的增删改查操作，所以在 ZrLog 系统中提取了 5 个与增、删、改、查有关联的接口信息，分别是登录接口、发布文章接口、修改文章接口、删除文章接口、查询文章接口。在设计接口测试用例之前，需要对这5 个接口进行初步的了解与分析，并了解接口之间的关联关系，以便为设计接口用例做准备。

1. 登录接口信息的提取与分析

通过 Fiddler 工具获取到的登录接口的信息如图 1 所示。

■ 图 1 登录接口的信息

登录接口的信息分析如下。

从图 1 所示的信息可以看到，登录接口采用的是 POST 请求方法， 请求的数据类型为 JSON 格式，采用的是用户名和密码的登录方式。登录成功后，服务器在响应头当中封装了 cookies 信息，这说明如果下游的接口想请求服务器中的资源，需要在请求头当中携带此 cookies 信息。

在接口测试用例中，如何让下游的接口引用上游接口的 cookies 信息呢？需要将cookies 中的 admin-token 字段的值提取出来，放在一个变量中。下游接口直接引用这个变量就可以获取到 cookies 的值。

需要注意的是，当使用错误的用户名或密码进行登录时，会提示用户名或密码错误，且此时响应的业务状态码为 1。

2. 发布文章接口信息的提取与分析

通过 Fiddler 工具获取的发布文章接口的信息如图2 所示。

■ 图2 发布文章接口的信息

发布文章接口的信息分析如下。

从图2 所示的信息可以看到，发布文章接口采用的是 POST 请求方法， 请求的数据类型为 JSON 格式，且携带了 cookies 信息，这说明发布文章的接口在请求的信息中引用了登录接口所设置的变量信息（为 admintoken 字段的值所设置的变量）。

从请求的正文可以看到，title 的值为“付出”，这说明此次发布文章的标题就是“付出”。

从响应的正文可以看到，当文章发布成功后，服务端生成了一个 id 的参数，这个参数为文章的 id 号，此次发布文章的 id 为 1。但需要注意的是，此 id 号是动态变化的，因为每发布一次新的文章，生成的 id 号都是不一样的。如果下游接口要修改或删除此文章，则需要引用此 id 号。

在接口测试用例当中，如何让下游的接口引用上游接口的 id 信息呢？需要将 id 的值提取出来，放在一个变量中，下游接口直接引用这个变量就可以获取 id 的值。

3. 修改文章接口信息的提取

通过 Fiddler 工具获取的修改文章接口的信息如图3 所示。

■ 图3 修改文章接口的信息

修改文章接口的信息分析如下。

从图3 所示的信息可以看到，修改文章接口采用的是 POST 请求方法，请求的数据类型为 JSON 格式，且携带了 cookies 信息，这说明修改文章的接口在请求的信息中引用了登录接口所设置的变量信息（为 admintoken 字段的值所设置的变量）。

从请求的正文可以看到，此次修改的是 id 为 1 的文章，并且将文章的标题由原来的“付出”修改成“付出才能杰出”。但由于文章 id 是动态变化的，所以修改文章时需要引用发布文章接口所设置的 id 的变量。

4. 删除文章接口信息的提取

通过 Fiddler 工具获取的删除文章接口的信息如图4 所示。

■ 图4 删除文章接口的信息

删除文章接口的信息分析如下。

从图4 所示的信息可以看到，删除文章接口采用的是 POST 请求方法，请求的数据类型为表单格式，且携带了 cookies 信息，这说明删除文章的接口在请求的信息中引用了登录接口所设置的变量信息（为 admintoken 字段的值所设置的变量）。

从请求的正文可以看到，此次删除的是 id 为 1 的文章，但由于文章的id 是动态变化的，所以删除文章时需要引用发布文章接口中为 id 设置的变量。

5. 查询文章接口信息的提取

此次查询的内容为“付出才能杰出”，通过 Fiddler 工具获取的查询文章接口的信息如图5 所示。

 ■ 图5 查询文章接口的信息

查询文章接口的信息分析如下。

从图5 所示的信息可以看到，删除文章接口采用的是 GET 请求方法，所以要查询的内容直接放在接口地址里面，而不是放在请求的正文中。查询文章接口同样在请求头中携带了 cookies 信息，这说明查询文章接口在请求头中引用了登录接口所设置的变量信息（为 admin-token 字段的值所设置的变量）。

从响应的正文可以看到，error 字段的值为 0，说明业务查询成功，并且total 和 records 字段的值均为 0，这说明“付出才能杰出”这篇文章已彻底删除，已查询不到任何记录。

6. 接口关联总结

通过以上的接口分析，可以得出以下的结论。

发布文章接口和登录接口相关联。

修改文章接口既和登录接口相关联，又和发布文章接口相关联。

删除文章接口既和登录接口相关联，又和发布文章接口相关联。

查询文章接口和登录接口相关联。

好了 学习也就到此结束了 想了解更多相关知识请关注我吧！下面是小编想对读者大大们写的一封信哦！ 记住要认真读哦！
 感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接免费拿走：
①　2000多本软件测试电子书（主流和经典的书籍应该都有了）
②　软件测试/自动化测试标准库资料（最全中文版）
③　项目源码（四五十个有趣且经典的练手项目及源码）
④　Python编程语言、API接口自动化测试、web自动化测试、App自动化测试（适合小白

 ⑤ Python学习路线图（告别不入流的学习） 
上图的资料 在我的QQ技术交流群里（技术交流和资源共享，广告进来腿给你打断）
可以自助拿走，群号768747503备注(csdn999)群里的免费资料都是笔者十多年测试生涯的精华。还有同行大神一起交流技术哦
   ————————————————
「学习资料 笔记 工具 文档领取」

 扫描二维码，
备注“csdn999”
小姐姐邀你一起学习哦~~
和志同道合的测试小伙伴一起讨论测试技术吧！

   一定一定一定 要备注暗号：CSDN999
   ————————————————