一、前言

在软件系统开发过程中，每当我们新建一个表时，需要填充有效的模拟数据进行自测，通常我们的做法是手动填充或者执行insert语句。而手动填充数据库是一个耗时且费力的过程，即使是执行insert语句，也不是那么方便，因为有时我们不仅仅生成几条或者几十条数据，而是几千上万条，同时，每一条数据又有着不同的类型实体，可能会非常复杂。正好我发现了DBeaver ，它的Mock数据生成器可以轻松地帮我们生成模拟测试数据（企业版才有Mock数据生成器）。

注意：建议在开发环境中使用Mock数据生成器生成模拟测试数据，不应该在生产环境中使用它。

二、功能介绍

以下是DBeaver Enterprise Mock数据生成器的功能，主要有五个方面：

一、适用于DBeaver支持的所有关系型数据库管理系统（DB2，MS SQL Server，MySQL，Oracle，PostgreSQL，SQLite等）。
二、生成与你的数据库模式匹配的数据。

1. 生成的数据与数据库列类型匹配。
2. 支持所有基本数据类型。
3. 支持约束（PK，FK，多列FK，唯一）。

三、支持20多个可配置的数据生成器（常量，随机数，序列，名称，域，地址，价格，基于正则表达式等）。
四、根据列特征自动将列与生成器关联。
五、保存或覆盖旧的数据库数据。

三、操作说明

1、打开Mock生成器

2、Mock生成器界面介绍

• Remove old data：移除旧数据，勾选后每次点击开始生成数据都会提示是否清除原有数据，谨慎操作。
  

• Row count：每次操作生成的行数，即生成的数据条数。

• Batch size 批量操作大小，即每次insert的数量，比如Row count的值为1000，Batch size的值为10，将会执行100次insert操作，一次操作插入10个数据。经测试设为1时生成模拟数据的速度最快。

• Auto assign generators：自动分配生成模板。点击此按钮，将会根据数据表字段类型给相应字段自动分配一个模板，一般很少用到，因为打开Mock生成器时它已经为我们自动分配过了，可以把这个按钮当成一个重置所有字段模板来用。

• Reset：把当前修改过的模板初始化。

3、选择字段分配模板

4、模板参数配置

Skip

见名知意，此为跳过的意思，也就是选择它时，生成数据过程将会忽略它。一般字段是自动增长、默认值之类的设置时就可以使用这个模板。

Boolean Constant

生成固定的布尔型，参数配置介绍如下：

• % of NuLLs
  表示出现NULL的概率，值一般范围在0~100之间，超过100时基本上就是NULL值了，举个例子，当每次操作生成的行数（Row count）为10时，% of NuLLs的值为50时，那么这个字段生成的数据将会有50%左右是NULL，也就是这个字段10行数据中有5行左右的值是NULL的，有可能是4行，也有可能是6行。后面的每个模板中参数是% of NuLLs原理都相同，就不再重复介绍。
• Value
  当值被勾选时，每次生成的都是true，不勾选则是false。

Boolean Random

随机生成布尔型，只有一个% of NuLLs配置。

Boolean Sequence

生成的布尔型序列，参数配置介绍如下：

• Initial
  当Order的值是Constant时，如果勾选Initial，那么生成的都是false，不勾选Initial，生成的都是true；当Order的值是Alternately时，如果勾选Initial，那么第一个生成的是true，不勾选，第一个生成的是false。
• Alternately
  有两个值，第一个值是Constant，等同于Boolean Constant模板，第二个值是Alternately，使用此值时，会交替生成true和false。
  

Data Constant

生成固定的日期

Data Random

生成随机日期，参数配置介绍如下：

• Start date
  随机生成的开始日期，参数的配置格式为，DD-MM-YYYY，输出结果显示格式为YYYY-MM-DD。如果输入的开始日期大于结束日期，那么生成器会自动把开始日期判断为结束日期。
• End date
  随机生成的结束日期，参数的配置格式为，DD-MM-YYYY，输出结果显示格式为YYYY-MM-DD。

Date Sequence

生成日期序列，参数配置介绍如下：

• Start date
  随机生成的开始日期，参数的配置格式为，DD-MM-YYYY，输出结果显示格式为YYYY-MM-DD。
• Step
  增长因子，单位为天，表示下一个生成的日期是在n天之后还是n天之前，取决于Reverse order。
• Reverse order
  顺序，不勾选为升序，勾选为降序。

Numeric

数值类型，参数配置介绍如下：

• Minimun
  随机生成的最小数值。
• Maximun
  随机生成的最大数值。
• Precision
  随机生成的数值的精度，即有效数字。通常配合Scale进行使用。
• Scale
  比例，也可理解为有多少位小数。一般值的设置范围在1~10，即1-10位小数。示例如下图。特别说明，也许是我还不了解又或者是生成器的原因，当设置了Precision和Scale之后，会导致和Minimun、Maximun冲突，Maximun会失效，就和下图一样。

如想生成负数，Minimun和Maximun同样设置成负数即可。暂时还无法生成负小数。

Coordinate

随机坐标生成，参数已自动配好，参数含义参考Numeric。

Numeric Price

随机价格生成，参数已自动配好，参数含义参考Numeric。

Numeric Constant

生成固定的数值。参数中，Value设置成什么就会生成什么。

Numeric Sequence

生成数值序列，参数配置介绍如下：

• Start value
  随机生成的开始数值。
• Step
  增长因子，开始数值加上或减去增长因子即是第二个生成的数值，以此类推，即等差数列，加减取决于Reverse order。
• Reverse order
  顺序，不勾选为升序，勾选为降序。

Address

随机生成英国的地址，参数配置介绍如下：

• Lower Case：勾选则全部生成的地址为小写字母。
• Upper Case：勾选则全部生成的地址为大写字母。
  两个都勾选取Upper Case配置。

City

随机生成世界上叫得上号的城市，参数配置介绍如下：

• Lower Case：勾选则全部生成的地址为小写字母。
• Upper Case：勾选则全部生成的地址为大写字母。
  两个都勾选取Upper Case配置。

String Constant

生成固定的字符串，参数配置介绍如下：

• Value
  要生成的字符串，字母、数字、汉字都可以。
• Lower Case
  勾选后，当字符串中有字母时会把大写字母转为小写字母。
• Upper Case
  勾选后，当字符串中有字母时会把小写字母转为大写字母。

Country

随机生成一个国家的名字，参数配置介绍如下：

• Lower Case：勾选则全部生成的国家名字为小写字母。
• Upper Case：勾选则全部生成的国家名字为大写字母。
  两个都勾选取Upper Case配置。

Domain

随机生成一个域名，参数配置介绍如下：

• Lower Case：勾选则全部生成的域名为小写字母。
• Upper Case：勾选则全部生成的域名为大写字母。
  两个都勾选取Upper Case配置。

Email

随机生成一个电子邮箱，参数配置介绍如下：

• Gender
  邮箱前部分的姓名前缀是属于男性还是女性，没影响可忽略。
• With Surname
  邮箱前部分的是否加上姓名前缀，没影响可忽略。
• Numeric Suffix Size
  邮箱前部分的后缀数字的个数，没影响可忽略。
• Lower Case
  勾选后，生成的电子邮箱全是小写字母。
• Upper Case
  勾选后，生成的电子邮箱全是大写字母。

Random text (Finnegan)

随机生成Finnegan这篇英文小说的一段话，基本上用不到，略。

Random text (Markov)

随机生成Markov算法的一些文本，基本上用不到，略。

Name

随机生成个人姓名，参数配置介绍如下：

• Gender
  姓名是属于男性还是女性。
• With Surname
  是否给个人名加上姓。
• Lower Case
  勾选后，生成的个人姓名全是小写字母。
• Upper Case
  勾选后，生成的个人姓名全是大写字母。

Price

随机生成带价格标签的字符串，参数配置介绍如下：

• country
  哪个国家的价格，包括China、France、Germany、Italy、Japan、Russia、UK、USA。
• Minimum
  随机生成的最小价格。
• Maximum
  随机生成的最大价格。
  Lower Case、Upper Case这两个配置无用。

Regex Random

根据正则表达式生成字符串。生成器已帮我们写好了9种。包括Credit Card（信用卡号码）、Email（电子邮箱）、Gender（性别）、HEX Color（十六进制颜色）、IP4、IP6、Phone Number（电话号码）、Postal Code（邮政编码）、String Price（价格），可根据自已的需求进行微调。

Template

带有生成器指令的模板，支持的指令如下：
${sequence(1,1)} ，自增序列指令，第一个参数为开始数，第二个参数为自增因子。
${name(ALL,false)}，姓名生成指令，生成的都是外国英语人名，基本上用不到。
${regex(([0-9]{4}-){3}[0-9]{4})}，正则表达式指令。
使用示例如下图：

Text

随机截取文本，参数配置介绍如下：

• Template
  文本模板，随机生成的数据都是从该模板中截取。
• Min Length
  从文本模板中截取的最小长度
• Max Length
  从文本模板中截取的最大长度
• Lower Case
  当勾选时，如果文本模板中有字母，那么将会把其中的大写字母转为小写字母。
• Upper Case
  当勾选时，如果文本模板中有字母，那么将会把其中的小写字母转为大写字母。

UUID

随机生成UUID，参数配置介绍如下：

• Lower Case：勾选则全部生成的UUID为小写字母。
• Upper Case：勾选则全部生成的UUID为大写字母。
  两个都勾选取Upper Case配置。

NULL

只生成NULL值。

5、生成带外键id的数据

第一步，首先新建一个外键。

第二步，设置外键，注意，要设置外键的表必须为空表，否则有可能因存在数据而设置外键失败。

第三步，在Mock生成器中选择外键。

第四步，生成模拟数据，然后把前面生成的外键约束删除。之所以删除外键约束是因为实际开发项目数据库很少使用外键约束，外键虽然可以增强数据库数据的完整性和一致性，但是有外键约束的话，插入字段会进行检查，影响效率。同时，外键约束对数据库有额外开销，当主键表被锁定时，会引发外键表也被锁，而且删除主键表的数据时，需先删除外键表的数据，修改外键表字段时，还需重建外键约束。本步骤仅仅只是用来生成关联的数据。

这是一个自己写的用于生成基础MySQL数据的工具，仅供用于基础语法练习。该工具生成的所有数据均为虚拟，以上所有数据均为随机生成，需要者可自取。

https://download.csdn.net/download/weixin_43387492/85044527

开发语言为:C++

后续将会将这个非常简单的源码上传到gitee

解压安装后根据操作输入你的数据库信息就行了，目前生成的表的名字是写死了，不想改了，就这样，应该也够用了

安装好后是一个狗的图标

 

DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据

目录

数据生成之在原始数据上添加小量噪声进而实现构造新数据

输出结果

设计思路

---

相关文章
DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据
DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据实现

数据生成之在原始数据上添加小量噪声进而实现构造新数据

输出结果

[6.8, 7.0, 7.2, 7.8, 8.0, 8.2, 8.4, 8.6, 8.8, 9.0]
[7.2, 7.0, 7.0, 7.4, 8.2, 8.0, 8.0, 8.8, 8.8, 9.2]

[60, 65, 70, 75, 80, 85, 90, 95]
[63.88, 65, 68.06, 71.12, 81.94, 83.06, 86.12, 96.94]

设计思路

    import numpy as np
    lists_avg = np.mean(lists_temp)
    mid_float = round(lists_avg/20,3)
#     print(lists_avg,mid_float)
    
    lists_f = [-mid_float*2,-mid_float,-mid_float, 0,0,0, mid_float,mid_float,2*mid_float,3*mid_float]
    lists_float = [round(a,2) for a in lists_f]
#     print(lists_float)

    one_f = random.sample(lists_float, 1)[0]
#     print(one_f)