开源情况

datafaker是笔者开发的一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，欢迎下载使用。github地址为：

https://github.com/gangly/datafaker

文档同步更新在github

工具产生背景

在软件开发测试过程，经常需要测试数据。这些场景包括：

• 后端开发
  新建表后，需要构造数据库测试数据，生成接口数据提供给前端使用。
• 数据库性能测试
  生成大量测试数据，测试数据库性能
• 流数据测试
  针对kafka流数据，需要不断定时生成测试数据写入kafka

经过调研，目前没有一个开源的测试数据生成工具，用来生成mysql 表结构相似的数据。常用方法是人工手动造几条数据写入数据库，这种方法带来的弊端是

• 浪费工时
  针对表的不同数据类型的字段，需要构造不同数据
• 数据量小
  如果需要构造大量数据，手动造数据无能为力
• 不够准确
  比如需要构造邮箱（满足一定格式），电话号码（确定的数字位数），ip地址（固定格式），年龄（不能为负数，有大小范围）等。这些测试数据有一定的限制或规律，手工构造可能不能满足数据范围或一些格式要求而导致后端程序报错
• 多表关联
  手动造的数据量较小，在多个表中用主键不一定能关联上，或者关联出来没数据
• 动态随机写入
  比如针对流数据，需要随机每隔几秒钟写入kafka。或者动态随机插入mysql，手工操作相对麻烦，而且不好统计写入数据条数

针对目前这些痛点，datafaker应运而生。datafaker是一个多数据源测试数据构造工具，可以模拟产生大部分常用数据类型，轻松解决以上痛点。datafaker具有以下功能：

• 多种数据类型。
  包括常见数据库字段类型（整型、浮点型、字符型）、自定义类型（IP地址，邮箱，身份证号码等）
• 模拟多表关联数据
  通过制定某些字段为枚举类型（从指定的数据列表里面随机选择），这样在数据量多的情况下能保证多表Join能关联上，查询到数据
• 支持批数据和流数据生成，可指定流数据间隔时间
• 支持多种数据输出方式，包括屏幕打印、文件和远程数据源
• 支持多种数据源。目前支持关系型数据库、Hive、Kafka。后面将扩展到Mongo，ES等数据源
• 可指定输出格式，目前支持text，json

软件架构

datafaker是用python编写，支持python2.7，python3.4+。目前版本0.08，已经发布在pypi上。

架构图完整的画出了工具的执行过程，从图可知工具经历了5个模块：

• 参数解析器。解析用户从终端命令行输入的命令。
• 元数据解析器。用户可以指定元数据来自本地文件或者远程数据库表。解析器获取到文件内容后按照规则将文本内容解析成表字段元数据和数据构造规则。
• 数据构造引擎。构造引擎根据元数据解析器产生的数据构造规则，模拟产生不同类型的数据。
• 数据路由。根据不同的数据输出类型，分成批量数据和流数据生成。流数据可指定产生频率。然后将数据转换成用户指定的格式输出到不同数据源中。
• 数据源适配器。适配不同数据源，将数据导入到数据源中。

安装流程

1）安装python

2）安装pip

3）pip install datafaker

使用举例

$代表终端提示符

• 查看版本号，查看参数使用说明

$ datafaker --version
0.0.8

$ datafaker --help
usage: datafaker [-h] [--meta [META]] [--interval INTERVAL] [--version]
                 [--outprint] [--outspliter OUTSPLITER] [--locale LOCALE]
                 [--outfile OUTFILE] [--format FORMAT]
                 [--withheader]
                 [dbtype] [connect] table [num]

Generates SQLAlchemy model code from an existing database.

positional arguments:
  dbtype                data source type
  connect               connect info to the database
  table                 table to process
  num                   number of records to generate

optional arguments:
  -h, --help            show this help message and exit
  --meta [META]         meta file path
  --interval INTERVAL   meta file path
  --version             print the version number and exit
  --outprint            print fake date to screen
  --outspliter OUTSPLITER
                        print data, to split columns
  --locale LOCALE       which country language
  --outfile OUTFILE     file to write output to (default: stdout)
  --format FORMAT       outprint and outfile format: json, text (default:
                        text)

• 从本地mysql的test数据库的stu表中读取表元数据，并构造10条数据写入stu表

$ datafaker mysql mysql+mysqldb://root:root@localhost:3600/test stu 10
generated records : 10
saved records : 10
time used: 0.038 s

• 从本地文件meta.txt中读取元数据，以,分隔符构造10条数据，打印在屏幕上

$ datafaker mysql mysql+mysqldb://root:root@localhost:3600/test stu 10 --outprint --meta meta.txt --outspliter ',,'
1,,鲍红,,人和中心,,高小王子,,3,,81,,55.6,,13197453222,,mwei@gmail.com,,192.100.224.255,,江苏省西宁市梁平朱路I座 944204
2,,刘东,,清华中学,,高小王子,,3,,31,,52.4,,15206198472,,lili@kong.cn,,203.0.190.6,,内蒙古自治区嘉禾市兴山呼和浩特街E座 706421
3,,匡静,,人和中心,,歌神,,9,,84,,72.51,,18944398099,,zouchao@gmail.com,,203.1.53.166,,安徽省永安市沈河惠州街x座 345415
4,,王宇,,猪场,,逗比,,6,,89,,19.3,,18628114285,,na58@cai.net,,169.4.126.215,,山西省梧州县朝阳何路y座 846430
5,,陆桂芝,,猪场,,逗比,,8,,99,,92.22,,13304570255,,na55@ti.cn,,168.136.127.200,,江苏省英县徐汇尹街C座 908240
6,,顾阳,,猪场,,歌神,,9,,32,,43.14,,18025578420,,linping@pr.net,,174.50.222.39,,黑龍江省惠州县梁平大冶街Z座 611736
7,,杨洁,,人和中心,,鬼泣,,6,,35,,81.25,,13654306263,,minzhong@xiaxia.cn,,100.57.79.2,,湖北省琳市沙湾汪街V座 544660
8,,申璐,,人和中心,,鬼泣,,6,,14,,73.61,,13866020503,,changxiulan@chaoxia.cn,,198.248.254.56,,陕西省合山县东丽宁德街Q座 810017
9,,申强,,广东中学,,逗比,,7,,48,,90.65,,13915915013,,ysun@chao.cn,,169.210.122.39,,甘肃省冬梅县城北六安街Z座 619755
10,,李丹丹,,旧大院,,鬼泣,,3,,67,,87.63,,18899812516,,xiulanmo@qin.cn,,192.52.218.133,,湖南省宜都县萧山澳门街E座 791911
generated records : 10
printed records : 10
time used: 0.458 s

这是个学生表描述。
其中meta.txt文件内容为：

id||int||自增id[:id]
name||varchar(20)||学生名字
school||varchar(20)||学校名字[:enum(names.txt)]
nickname||varchar(20)||学生小名[:enum(鬼泣, 高小王子, 歌神, 逗比)]
age||int||学生年龄
class_num||int||班级人数[:int(10, 100)]
score||decimal(4,2)||成绩[:decimal(4,2,1)]
phone||int(20)||电话号码[:phone_number]
email||varchar(64)||邮箱[:email]
ip||varchar(32)||IP地址[:ipv4]
address||text||地址[:address]

meta.txt文件中每行数据为元数据的一个字段描述，以||分割为三列

• 第一列：字段名
• 第二列：表字段类型
• 第三列：字段注释，其中包含构造规则标记
  每行代表字段为：
  表自增id，学生姓名，学校名称，学生小名，年龄，班级人数，学生成绩，电话号码，邮箱，家庭网络IP，家庭地址

构造规则优先级：
解析器将优先选择第三列的带规则标记的字段注释进行解析，如果不带标记，则选择第二列的字段类型进行解析。

这种好处是：
1）对应已经创建的数据表，用户可以用desc tablename 或者show full columns from tablename，将表shema查询复制下来，对用字段类型构造数据不满足的情况下，在注释里面进行打标机进行特殊处理
2）对于新表，在create table创建表时直接在注释里面打上标记。这种情况不用指定元数据文件。

后面将详细介绍构造规则说明
其中学校名字[:enum(names.txt)]表示从本地文件names.txt中读取枚举数据，内容为，表示学校名称只能从下面这5所学校中随机产生。

清华中学
人和中心
广东中学
猪场
旧大院

• 从meta.txt中读取元数据，产生10条数据写入到out.txt中

datafaker file out.txt hello 10 --meta meta.txt

• 从本地meta.txt参数数据，以1秒间隔输出到kafka的topic hello中

$ datafaker kafka localhost:9092 hello 1 --meta meta.txt --outprint
{"school": "\u4eba\u548c\u4e2d\u5fc3", "name": "\u5218\u91d1\u51e4", "ip": "192.20.103.235", "age": 9, "email": "chaokang@gang.cn", "phone": "13256316424", "score": 3.45, "address": "\u5e7f\u4e1c\u7701\u5b81\u5fb7\u5e02\u6d54\u9633\u5468\u8defu\u5ea7 990262", "class_num": 24, "nickname": "\u9017\u6bd4", "id": 1}
{"school": "\u4eba\u548c\u4e2d\u5fc3", "name": "\u6768\u4e3d", "ip": "101.129.18.230", "age": 3, "email": "min60@hv.net", "phone": "18183286767", "score": 22.16, "address": "\u8fbd\u5b81\u7701\u592a\u539f\u5e02\u53cb\u597d\u6c55\u5c3e\u8defG\u5ea7 382777", "class_num": 30, "nickname": "\u6b4c\u795e", "id": 2}
{"school": "\u6e05\u534e\u4e2d\u5b66", "name": "\u8d75\u7ea2", "ip": "192.0.3.34", "age": 9, "email": "fxiao@gmail.com", "phone": "18002235094", "score": 48.32, "address": "\u5e7f\u897f\u58ee\u65cf\u81ea\u6cbb\u533a\u65ed\u5e02\u6c88\u5317\u65b0\u6731\u8defc\u5ea7 684262", "class_num": 63, "nickname": "\u6b4c\u795e", "id": 3}
{"school": "\u6e05\u534e\u4e2d\u5b66", "name": "\u5f20\u7389\u6885", "ip": "198.20.50.222", "age": 3, "email": "xiulanlei@cw.net", "phone": "15518698519", "score": 85.96, "address": "\u5b81\u590f\u56de\u65cf\u81ea\u6cbb\u533a\u6d69\u53bf\u767d\u4e91\u4e4c\u9c81\u6728\u9f50\u8857s\u5ea7 184967", "class_num": 18, "nickname": "\u9017\u6bd4", "id": 4}
{"school": "\u732a\u573a", "name": "\u674e\u6842\u5170", "ip": "192.52.195.184", "age": 8, "email": "fxiao@konggu.cn", "phone": "18051928254", "score": 97.87, "address": "\u9ed1\u9f8d\u6c5f\u7701\u54c8\u5c14\u6ee8\u53bf\u6c38\u5ddd\u6d2a\u8857E\u5ea7 335135", "class_num": 46, "nickname": "\u9ad8\u5c0f\u738b\u5b50", "id": 5}
{"school": "\u4eba\u548c\u4e2d\u5fc3", "name": "\u5434\u60f3", "ip": "192.42.234.178", "age": 3, "email": "uliang@yahoo.com", "phone": "14560810465", "score": 6.32, "address": "\u5b81\u590f\u56de\u65cf\u81ea\u6cbb\u533a\u516d\u76d8\u6c34\u5e02\u5357\u6eaa\u7f57\u8857M\u5ea7 852408", "class_num": 12, "nickname": "\u9b3c\u6ce3", "id": 6}
^Cgenerated records : 6
insert records : 6
time used: 6.285 s

消费端验证:

命令参数

datafaker参数包含4个必选参数和一些可选参数，如下表所示

数据构造规则

1.数据库常用类型

这部分数据类型可以不用指定元数据文件

• 数值类型
  支持大部分标准SQL数值数据类型。
  这些类型包括严格数值数据类型( int、integer、smallint、decimal和numeric)，以 及近似数值数据类型(float、real和double, precision)

• 日期和时间类型
  表示时间值的日期和时间类型为datetime、date、timestamp、time和year。

• 字符串类型
  字符串类型指char、varchar、binary、varbinary、blob、text、enum和set。该节描述了这些类型如何工作以及如何在查询中使用这些类型。

2.可变数据库类型

enum类型

enum类型表示随机从列表里随机选取一个对象，例如：
enum(2, 4, 5, 18) 表示每次从2，4，5，8这四个整数中随机选择一个

如果enum数组中只有一个对象，则表示从文件读取数据列表，每行一个对象：
enum(data.txt) 表示从当前目录的data.txt文件中读取列表。

enum类型可用来构造多表关联，比如两个表的某些字段都用同一个enum数据列表产生数据。

3.自定义扩展类型

• address 地址

• 数值类型

• 公司

• 信用卡、货币

• 日期、时间

• internet

• 文本类型

• 人物信息相关

• 其他杂项

一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据在分为两个部分：1）训练数据；2）验证数据（Validation Data）。验证数据用于负责模型的构建。模型构建完后，需要利用数据验证模型的正确性，这部分数据被称为测试数据（Test Data）。测试数据不能用于模型构建之中，只能用于最后检验模型的准确性。

• 训练数据（Train Data）：用于模型构建
• 验证数据（Validation Data）：可选，用于辅助模型构建，可以重复使用。
• 测试数据（Test Data）：用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率。绝对不允许用于模型构建过程，否则会导致过渡拟合。

显然，

training set是用来训练模型或确定模型参数的，如ANN中权值等；

validation set是用来做模型选择（model selection），即做模型的最终优化及确定的，如ANN的结构；

而 test set则纯粹是为了测试已经训练好的模型的推广能力。当然，test set这并不能保证模型的正确性，他只是说相似的数据用此模型会得出相似的结果。

但实际应用中，一般只将数据集分成两类，即training set 和test set，大多数文章并不涉及validation set。

还有一篇介绍有监督学习的训练集（train)、验证集（validation）和测试集（test）分析：

原文

在有监督的机器学习中，经常会说到训练集（train)、验证集（validation）和测试集（test），这三个集合的区分可能会让人糊涂，特别是，有些读者搞不清楚验证集和测试集有什么区别。

I. 划分

如果我们自己已经有了一个大的标注数据集，想要完成一个有监督模型的测试，那么通常使用均匀随机抽样的方式，将数据集划分为训练集、验证集、测试集，这三个集合不能有交集，常见的比例是8:1:1，当然比例是人为的。从这个角度来看，三个集合都是同分布的。

如果是做比赛，官方只提供了一个标注的数据集（作为训练集）以及一个没有标注的测试集，那么我们做模型的时候，通常会人工从训练集中划分一个验证集出来。这时候我们通常不再划分一个测试集，可能的原因有两个：1、比赛方基本都很抠，训练集的样本本来就少；2、我们也没法保证要提交的测试集是否跟训练集完全同分布，因此再划分一个跟训练集同分布的测试集就没多大意义了。

II. 参数

有了模型后，训练集就是用来训练参数的，说准确点，一般是用来梯度下降的。而验证集基本是在每个epoch完成后，用来测试一下当前模型的准确率。因为验证集跟训练集没有交集，因此这个准确率是可靠的。那么为啥还需要一个测试集呢？

这就需要区分一下模型的各种参数了。事实上，对于一个模型来说，其参数可以分为普通参数和超参数。在不引入强化学习的前提下，那么普通参数就是可以被梯度下降所更新的，也就是训练集所更新的参数。另外，还有超参数的概念，比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。尽管现在已经有一些算法可以用来搜索模型的超参数，但多数情况下我们还是自己人工根据验证集来调。

III. 所以

那也就是说，从狭义来讲，验证集没有参与梯度下降的过程，也就是说是没有经过训练的；但从广义上来看，验证集却参与了一个“人工调参”的过程，我们根据验证集的结果调节了迭代数、调节了学习率等等，使得结果在验证集上最优。因此，我们也可以认为，验证集也参与了训练。

那么就很明显了，我们还需要一个完全没有经过训练的集合，那就是测试集，我们既不用测试集梯度下降，也不用它来控制超参数，只是在模型最终训练完成后，用来测试一下最后准确率。

IV. 然而

聪明的读者就会类比到，其实这是一个无休止的过程。如果测试集准确率很差，那么我们还是会去调整模型的各种参数，这时候又可以认为测试集也参与训练了。好吧，我们可能还需要一个“测试测试集”，也许还需要“测试测试测试集”...

算了吧，还是在测试集就停止吧。

一、概述

目前，业界都在追求测试提效，我们中通科技与信息中心同样也非常重视提效。先抛开开发测试比的问题，我们不妨问一下自己，测试同学对业务的贡献是什么，可能很多人会毫不犹豫地说——质量，那么保证质量之后呢？无疑是效率。在我看来，质量保证是测试的本份，而测试同学对业务的进一步贡献就是大幅提升测试效率，其中包括提升自身测试效率和提升开发测试效率。

那么如何提效呢？子曰：工欲善其事,必先利其器。如果纯粹靠人，显然是不现实的，技术改变工作，只有让测试最大程度的自动化起来才能解决测试效率，而要实现高度的自动化测试，我们就需要一套非常高效而流畅的测试工具平台。

本文介绍的是经过笔者亲自实践的业务辅助测试工具，主要用于造数据、结果验证、联调测试及复杂性数据校验等功能，目前在中通财金科技部推广，已经在多个版本迭代中使用。

二、 价值

1. 造数及数据验证

请看下面这段对话，发生在某一个需要联调测试的项目中：

到了下午：

 是不是要给它发工资了。

我之前做过一个项目，测试数据准备的时间是每个迭代最头痛的事情。我需要造订单、造基础数据、造测试场景数据，平均每个单子的成本有五分钟，每个迭代需要覆盖完场景的情况下，需要至少10条订单，非常费时费力。现在，只需要点一下按钮，1秒钟完成。

除此之外，开发同学在自测时，产品在验收的过程中都可以借助测试工具。

2. 辅助功能

结合实际工作，解决实际工作的痛点。比如，我觉得我每天发报告的时间比较多，那么我就可以做个一键生成报告的功能，复制粘贴即可。

比如下面这个功能，可以快速生成Batis的代码。

三、 实现方式

实现方式比较简单，后端springboot+mybatis，前端使用的layui。Layui官网（https://www.layui.com）集成了各种简单实用的组件，已经足够使用了，而且易上手，学习成本低，重要的是我觉得很好看！！！

下面简单介绍下后端的框架。

代码结构如下图：

我们造数据或者进行数据验证的时候，最关心的还是对数据库的增删改查，本文简单介绍下mybatis对数据库的增删改查操作；MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要花费精力去处理例如注册驱动、创建connection、创建statement、手动设置参数、结果集检索等jdbc繁杂的过程代码。Mybatis通过xml或注解的方式将要执行的各种statement配置起来，并通过java对象和statement中的sql进行映射生成最终执行的sql语句，最后由mybatis框架执行sql并将结果映射成java对象并返回。下面以注解式为例：

1. 可通过@Select @Update @Insert @Delete注解，把sql语句的返回解决映射在Map对象（或者自己写一个实体类），如：

2. 引入动态sql，通过注解@SelectProvider生成动态的sqlProvider，根据实际需要把查询条件放到入参Map对象里，实现动态查询，同样有@UpdateProvider @InsertProvider @DeleteProvider

3. 在service层进行数据库结果的逻辑处理

4. 在控制层输出http接口

5. 最后是前端通过Jquery调用后端http接口

综上，实现一个贴近业务的工具平台开发成本不高，但是收益却是非常明显的。

在实际使用中，我们可以维护一个字典表，以key:value的方式用来处理一些经常使用的变量，这样既可以保证工具的稳定性，也可以覆盖更多的场景。

四、 总结

在的日常工作中，对于测试同学不免会遇到各种问题，但是学习、提效一定是我们永恒不变的主题。只要在工作中不断思考，把一些反复的工作抽象化，那么我们的工作效率一定会不断提升，同时自己也在不断的进步。

质量之路，永无止尽！