这是机器学习入门系列（2）–如何构建一个完整的机器学习项目的第二篇
 
上一篇机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)介绍了开始一个机器学习项目需要明确的问题，比如当前任务属于有监督还是无监督学习问题，然后性能指标需要选择什么，常用的分类和回归损失函数有哪些，以及实际开发中需要明确系统的输入输出接口问题。
 
第二篇，会介绍下如何获取数据集和构建测试集的方法。前者，对于机器学习来说，数据集的好坏对模型性能有很大的影响。而后者，主要是避免两个偏差–数据透视偏差和采样偏差。
 
 
2. 获取数据
 
2.1 常用数据集
 
在我们学习机器学习的时候，最好使用真实数据，即符合真实场景的数据集，而不是人工数据集，采用这种人工数据集在实际应用中会让系统表现很糟糕，因为人工数据集一般都和真实场景下的数据有较大的差异。幸运的是，现在有非常多的开源数据集，并且涵盖了多个领域，这里介绍几个常用的可以查找数据集的网站以及一些在计算机视觉常用的图像数据集：
 
Kaggle 数据集:每个数据集都是一个小型社区，用户可以在其中讨论数据、查找公共代码或在内核中创建自己的项目。包含各式各样的真实数据集。
Amazon 数据集：该数据源包含多个不同领域的数据集，如：公共交通、生态资源、卫星图像等。网页中也有一个搜索框来帮助用户寻找想要的数据集，还有所有数据集的描述和使用示例，这些数据集信息丰富且易于使用！
UCI机器学习资源库：来自加州大学信息与计算机科学学院的大型资源库，包含100多个数据集。用户可以找到单变量和多变量时间序列数据集，分类、回归或推荐系统的数据集。
谷歌数据集搜索引擎：这是一个可以按名称搜索数据集的工具箱。
微软数据集：2018年7月，微软与外部研究社区共同宣布推出“Microsoft Research Open Data”。它在云中包含一个数据存储库，用于促进全球研究社区之间的协作。它提供了一系列用于已发表研究的、经过处理的数据集。
Awesome Public Datasets Collection：Github 上的一个按“主题”组织的数据集，比如生物学、经济学、教育学等。大多数数据集都是免费的，但是在使用任何数据集之前，用户需要检查一下许可要求。
计算机视觉数据集：Visual Data包含一些可以用来构建计算机视觉(CV)模型的大型数据集。用户可以通过特定的CV主题查找特定的数据集，如语义分割、图像标题、图像生成，甚至可以通过解决方案(自动驾驶汽车数据集)查找特定的数据集。
 
常用的部分图像数据集：
 
Mnist: 手写数字数据集，包含 60000 张训练集和 10000 张测试集。（但该数据集通常只是作为简单 demo 使用，如果要验证算法模型的性能，最好在更大数据集上进行测试，实验结果才有足够的可信度）
Cifar：分为 Cifar10 和 Cifar100。前者包含 60000 张图片，总共10个类别，每类 6000 张图片。后者是 100 个类别，每个类别 600 张图片。类别包括猫狗鸟等动物、飞机汽车船等交通工具。
Imagenet：应该是目前最大的开源图像数据集，包含 1500 万张图片，2.2 万个类别。
LFW：人脸数据集，包含13000+张图片和1680个不同的人。
CelebA：人脸数据集，包含大约 20w 张图片，总共 10177个不同的人，以及每张图片都有 5 个位置标注点，40 个属性信息
 
2.2 准备开发环境
 
在找到数据集，并下载后，我们就需要开始准备开发环境，也就是需要采用的编程语言和相应的框架。
 
现在机器学习，一般都是采用 Python 语言，因为它简单易学，对程序员非常友好，而且也有相应很多应用于机器学习和深度学习方面的框架，比如 scikit-learn，opencv，深度学习方面的TensorFlow, Pytorch, Keras等。
 
而为了方便可视化数据，查看代码运行效果，通常会选择采用 Jupyter 这个模块。其他必要的 Python 模块有：
 
Numpy：一个运行速度非常快的数学库，主要用于数组计算，支持大量的维度数据和矩阵运算
Pandas：快速处理数据和分析数据
Matplotlib: 绘图，可视化数据
 
此外，python 比较不友好的问题就是 2.7 版本和 3.+ 版本的不兼容问题，所以我们需要有一个包管理工具，可以单独配置不同的开发环境，这里推荐使用的是 Anaconda。
 
这些模块的安装，网上都有非常多详细的教程，这里就不花时间介绍了。
 
2.3 创建测试集
 
在下载数据后，首先要做的是创建测试集，这是在分析数据前先排除测试集的数据，不会引入测试数据的规律，从而影响算法的选择，保证采用测试集进行测试的结果是客观可信的，而不会出现数据透视偏差的问题。
 
数据透视偏差：即由于选择模型时候参考了测试集的规律，导致在测试集上准确率很好，但实际应用的时候，系统表现很糟糕的情况。
 
一般我们会按照 8:2 的比例划分训练集和测试集，可以采用如下代码，随机划分出测试集：
 
import numpy as np

def split_train_test(data, test_ratio):
    shuffled_indices = np.random.permutation(len(data))
    test_set_size = int(len(data) * test_ratio)
    test_indices = shuffled_indices[:test_set_size]
    train_indices = shuffled_indices[test_set_size:]
    return data.iloc[train_indices], data.iloc[test_indices]

train_set, test_set = split_train_test(housing, 0.2)
 
当然，这个方法存在一个缺陷：每次运行会得到不同的测试集！
 
解决的办法有以下几种：
 
第一次运行该函数后就保存测试集，随后载入测试集；
调用函数np.random.permutation()前，设置随机数生成器的种子，比如np.random.seed(42)，以产生相同的洗牌指数(shuffled indices).
上述两个方法对于数据集不变的情况是有效的，但更新数据集后，都会失效。第三个解决方法就是根据每个实例的 ID来判断其是否应该放入测试集，比如，对于图片数据集，就可以根据图片的名字（保证更新训练集不会更新图片名字）来确定其属于训练集还是测试集。
 
划分数据集也可以采用Scikit-Learn库的一些函数，最简单也是最常用的就是 train_test_split函数，它和上述split_train_test函数作用相似，但增加了更多的功能：
 
random_state参数可以实现设置随机生成器种子的作用；
可以将种子传递给多个行数相同的数据集，可以在相同的索引上分割数据集。
 
简单使用例子如下：
 
from sklearn.model_selection import train_test_split

train_set, test_set = train_test_split(housing, test_size=0.2, random_state=42)
 
这里需要注意的是，我们采用的都是随机采样方法，对于大数据集，这方法通常可行。
 
但对于不大的数据集，这会出现采样偏差的风险。简单说，就是样本代表性不够，可能随机选择的都是同种类型的数据。
 
比如，当一个调查公司想要对 1000 个人进行调查，需要保证这 1000 个人对人群整体有代表性，例如，美国人口有 51.3% 是女性，48.7% 是男性。那么，在美国做这个调查，就需要保证样本也是这个比例，即选择 513 名女性，487 名男性。
 
这种采样称为分层采样：将人群分层均匀的子分组，称为分层，从每个分层去取合适数量的实例，以保证测试集对总人数有代表性。
 
所以上述调查公司的例子，就是先将人群按照性别划分两个子分组，然后分别再按照如年龄、职业等标准继续划分子分组。
 
分层采样的操作可以使用Scikit-Learn的StratifiedShuffleSplit函数，指定数据中指定的类别，代码例子如下：
 
from sklearn.model_selection import StratifiedShuffleSplit

split = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
for train_index, test_index in split.split(housing, housing["income_cat"]):
    strat_train_set = housing.loc[train_index]
    strat_test_set = housing.loc[test_index]
 
这里是给定一个房子信息数据housing，然后指定收入分类housing["income_cat"]，保证采样的数据集中包含根据收入分类的比例。
 
 
小结
 
第二篇，先介绍了几个寻找数据集的网站，和计算机视觉常用的图像数据集，然后介绍如何划分测试集，避免数据透视偏差和采样偏差的问题。
 
 
参考：
 
《hands-on-ml-with-sklearn-and-tf》第二节
https://towardsdatascience.com/top-sources-for-machine-learning-datasets-bb6d0dc3378b
 
 
欢迎关注我的微信公众号–机器学习与计算机视觉，或者扫描下方的二维码，大家一起交流，学习和进步！
 
 
往期精彩推荐
 
学习笔记
 
机器学习入门系列（1）–机器学习概览
[GAN学习系列] 初识GAN
[GAN学习系列2] GAN的起源
[GAN学习系列3]采用深度学习和 TensorFlow 实现图片修复(上）
 
数学学习笔记
 
程序员的数学笔记1–进制转换
程序员的数学笔记2–余数
程序员的数学笔记3–迭代法
 
Github项目 & 资源教程推荐
 
[Github 项目推荐] 一个更好阅读和查找论文的网站
[资源分享] TensorFlow 官方中文版教程来了
必读的AI和深度学习博客
[教程]一份简单易懂的 TensorFlow 教程
[资源]推荐一些Python书籍和教程，入门和进阶的都有！

 
 
流量：
 
android4.0以上版本可以用/proc/uid_stat/$uid/tcp_rcv和/proc/uid_stat/$uid/tcp_snd来获取某个程序的上下行流量；而4.0以下版本要用cat/proc/$pid/net/dev来查看上下行流量。uid和pid的关系，可以从/data/system/packages.list这个文件中获取，但是/proc/uid_stat/$uid这种方式，在Android 6.0系统中部分厂商可能是做了某些修改，在proc目录下没有显示uid_stat文件夹。
 
获取Android（Linux）流量信息：
 
在Linux系统有3个地方保存流量统计文件，对于Android系统同样也适用：
 
（1）在/proc/net/dev下可以查看各个网络接口的收发流量  (等同adb shell cat /proc/pid/net/dev，adbshell cat /sys/class/net/wlan0/statistics/rx_bytes);
 
（2）在/sys/class/net/下可以找到相关类别(如wlan0)的目录.在其子目录statistics下游rxbytes和txbytes记录收发流量;
 
（3）在/proc/uid_stat/{uid}/tcp_rcv记录该uid应用下载流量字节,/proc/uid_stat/{uid}/tcp_snd有该uid应用上传流量字节;
 
介绍5个地方统计的流量异同点如下：
 

 
 
 
 
推荐使用顺序：D > E > C > A> B 
 
推荐D和E（其他的方法自己可以根据提示的adb命令进行练习）
 

 
 

 
 
（备注：本来有截图的，但是复制过来就没有了，随后有空闲时间再上传好了，多担待；自动化数据收集脚本已经写好，感兴趣的可以交流交流）
 
这个文本编辑器他不好用，复制过来的格式有问题，所以直接放截图了
 
 

毫无疑问，稍复杂一点的系统，测试时都会遇到测试数据准备的问题，有些测试中，测试数据准备还是最困难最耗时的工作。
 
        前面提到测试数据产生的方法：1、GUI界面操作产生；2、调用API接口产生；3、通过操作数据库产生。三者各有特点，对需要把测试数据专门作为一项重要工作来对待的，一般都需要API接口+数据库混合的方式来准备数据。
 
        小型系统的测试，业务数据一般可以直接获取以前版本的数据，通过SQL数据或某些命令操作，取得当前需要使用的数据。
 
        对于复杂系统，测试数据准备可能需要封装一系列的API函数，例如一种策略就是先封装出一个完全API调用函数，里面有各种常规默认值，然后再这个基础上针对业务进行封装，面向该操作只需要设定某个特定值的，可以调用该特定封装函数。极个别的，可以直接调原始的完全封装。当然，考虑到一些大公司的情况，可能还需要考虑跨平台测试架构的情况，有些人提出进一步封装，提供RestFul的调用接口来屏蔽开发工具特性。其实，都只有一个目的，尽量把测试数据和产生方法隔离，而只侧重测试的业务属性。
 
  大量需要业务累积才能形成的测试数据，一般只有一个办法，就是通过大量实际数据脱敏。但如果涉及面向公众业务或国防业务之类，考虑到安全策略限制，就只能用笨办法就通过自动化操作来逐步实施模拟，但是这个方法就是太慢，并且不见得好用。
 
        对测试数据准备都需要有专人专责的一段时间来做的，就是很大系统很大业务了，这时很有必要对测试数据采取严格的版本管理和配置部署管理。用户需要首先注册数据，注明对应版本。测试运行时，平台会有统一生成的脚手架，对应脚本需要使用的数据必须标明版本。
 
         而考虑到自动化和灵活性，一般比较通用的方法还是先考虑实际数据脱敏，然后通过SQL脚本为基础，结合API调用，需要灵活配置的部分放到配置文件中，再加上配置管理来保证。这一般只在大型网站、大型系统有这个必要。
 
         实际测试时，针对测试数据，可能有以下一些策略：1、检索：只允许从现在系统中或已使用的数据中检索，没有的话直接生成数据失败；2、新创建：有些时候需要全新创建数据；3、智能：无所谓，只要有符合要求 ；4、out-of-box：使用缓冲池预先准备的数据。      

包括测试实际数据(内容)以及数据完整性,已经确保数据没有被误用以及规划的正确性,同时也对数据库应用(例如,Sql处理组件)进行功能性测试.通常会用到SqL脚本进行数据库测试.尽管不是所有的数据库都是适合Sql的,但是通过Sql数据库可以支持绝大部分数据操作,大多数的Web应用程序也是如此。
 
通常有两类由数据库错误引发的问题，它们是数据完整性错误以及输出错误。输出错误是在数据提取和操作数据指令过程中发生的错误引起的，这时源数据是正确的。
 
通常，数据操作包含了以下一些活动：
 
首次活动（例如安装过程）
 
1.      连接数据库
 
2.      创建新数据库
 
3.      创建表格,默认值和规则,填入默认数据
 
4.      编译存储过程和触发器
 
 
 
在成功安装过程完成之后，对数据库的使用由以下活动组成：
 
1.      连接数据库
 
2.      执行Sql语句,存储过程以及触发器
 
3.      释放与数据库的连接
 
 
 
在数据库活动中所包含的错误主要有以下几种常见类型:
 
1.      连接数据库失败,引起该类失败的许多潜在问题包括:
 
a.      非法的用户名，密码或者二者皆非法
 
b.      对于某些数据活动，如创建表和存储过程,用户拥有不适当的权限
 
c.      非法或错误的DSN
 
d.      与拥有必要的DSN文件的服务器连接失败
 
 
 
指令(存储过程,触发器等)中常见错误包括:
 
1.      数据库被配置为区分大小写的，但是代码却没有
 
2.      在Sql语句中使用了保留关键字,例如Select user from mytable.user为保留关键字
 
3.      NULL被传递给不接受NULL的记录字段
 
4.      在字符串字段中对单引号( ‘ )的错误处理
 
5.      在整型字段中对逗号( ，)的错误处理
 
6.      数值对于字段大小来说过大，字符串对于字段的长度来说过长
 
7.      超时—数据库执行完某个过程所用时间长于脚本中所设定的超时值
 
8.      非法或错误拼写的字段,列,表或者视图的名称,未定义的字段,表或视图的名称,非法或错误拼写的存储过程名称
 
9.      调用错误的存储过程
 
10.  缺少关键字
 
实例介绍 
 
缺少关键字的:create view student_view select * from student_tbl.其中语句缺少 as关键字.
 
 
 
 
 
 
 
数据库测试
 随着软件业的迅猛发展，我们的开发也从以前的单层结构进入了三层架构甚至现在多层架构的设计，而数据库从以前一个默默无闻的后台仓库，逐渐成为了数据库系统，而数据库开发设计人员成为了炙手可热的核心人员。以前我们往往把数据库操作写在应用层，从而提高各个模块的独立性和易用性，而现在越来越多的数据库操作被作为存储过程直接放在数据库上进行执行来提高执行效率和提高安全性。
 
　　数据库开发既然在软件开发的比重逐步提高，随之而来的问题也突出。我们以前往往重视对代码的测试工作，随着流程技术的日益完善，软件质量得到了大幅度的提高，但数据库方面的测试仍然处于空白。我们从来没有真正将数据库作为一个独立的系统进行测试，而是通过对代码的测试工作间接对数据库进行一定的测试。随着数据库开发的日益升温，数据库测试也需要独立出来进行符合自身特点的测试工作。数据库开发和应用开发并没有实质上的区别，所以软件测试的方法同样适用于数据库测试。
 
　　从测试过程的角度来说我们也可以把数据库测试分为：
 
　　系统测试
 
　　传统软件系统测试的测试重点是需求覆盖，而对于我们的数据库测试同样也需要对需求覆盖进行保证。那么数据库在初期设计中也需要对这个进行分析,测试.例如存储过程，视图，触发器，约束，规则等我们都需要进行需求的验证确保这些功能设计是符合需求的.另一方面我们需要确认数据库设计文档和最终的数据库相同，当设计文档变化时我们同样要验证改修改是否落实到数据库上。
 
　　这个阶段我们的测试主要通过数据库设计评审来实现。
 
　　集成测试
 
集成测试是主要针对接口进行的测试工作，从数据库的角度来说和普通测试稍微有些区别对于数据库测试来说，需要考虑的是：
 
  数据项的修改操作；
 
  数据项的增加操作；
 
  数据项的删除操作；
 
  数据表增加满；
 
  数据表删除空；
 
  删除空表中的记录；
 
  数据表的并发操作；
 
  针对存储过程的接口测试；
 
  结合业务逻辑做关联表的接口测试；
 
  同样我们需要对这些接口考虑采用等价类，边界值，错误猜测等方法进行测试。
 
 
 
　单元测试
 
　　单元测试侧重于逻辑覆盖，相对对于复杂的代码来说，数据库开发的单元测试相对简单些，可以通过语句覆盖和走读的方式完成系统测试相对来说比较困难，这要求有很高的数据库设计能力和丰富的数据库测试经验。而集成测试和单元测试就相对简单了。
 
　　而我们也可以从测试关注点的角度对数据库进行分类：
 
　　功能测试
 　　对数据库功能的测试我们可以依赖与工具进行。
 
　　DBunit
 　　一款开源的数据库功能测试框架，可以使用类似与Junit的方式对数据库的基本操作进行白盒的单元测试，对输入输出进行校验。
 
　　QTP
 　　大名鼎鼎的自动测试工具，通过对对象的捕捉识别，我们可以通过QTP来模拟用户的操作流程，通过其中的校验方法或者结合数据库后台的监控对整个数据库中的数据进行测试。个人觉得比较偏向灰盒。
 
　　DataFactory
 　　一款优秀的数据库数据自动生成工具，通过它你可以轻松的生成任意结构数据库，对数据库进行填充，帮助你生成所需要的大量数据从而验证我们数据库中的功能是否正确。这是属于黑盒测试。
 
　　数据库性能
 
　　虽然我们的硬件最近几年进步很快，但是我们需要处理的数据以更快的速度在增加。几亿条记录的表格在现在是司空见惯的，如此庞大的数据量在大量并发连接操作时，我们不能像以前一样随意的使用查询，连接查询，嵌套查询，视图，这些操作如果不当会给系统带来非常巨大的压力，严重影响系统性能。
 
　　性能优化分4部分：
 
1.      物理存储方面
 
2.      逻辑设计方面
 
3.      数据的参数调整
 
4.      SQL语句优化
 
 
 
 
 
我们如何对性能方面进行测试呢，业界也提供了很多工具。
 
　　通过数据库系统的SQL语句分析工具，我们可以分析得到数据库语句执行的瓶颈，从而优化SQL语句。
 
　　Loadrunner
 　　这个不用多说，我们可以通过对协议的编程来对数据库做压力测试。
 
　　Swingbench（这是一个重量级别的feature，类似LR，而且非常强大，只不过专门针对oracle而已）
 
　　数据库厂商也意识到这点，例如：
 
　　oracle11g已经提供了real applicationtest，提供数据库性能测试，分析系统的应用瓶颈。
 
　　还有很多第三方公司开发了SQL语句优化工具来帮助你自动的进行语句优化工作从而提高执行效率。
 
　　安全测试
 
　　软件日益复杂，而数据又成为了系统中重中之重的核心，从以往对系统的破坏现在更倾向于对数据的获取和破坏。而数据库的安全被提到了最前端。自从SQL 注入攻击被发现，冒失万无一失的数据库一下从后台变为了前台，而一旦数据库被攻破，整个系统也会暴露在黑客的手下，通过数据库强大的存储过程，黑客可以轻松的获得整个系统的权限。而SQL的注入看似简单缺很难防范，对于安全测试来说，如何防范系统被注入是测试的难点。业界也有相关的数据库注入检测工具，来帮助用户对自身系统进行安全检测。
 
　　对于这点来说业界也有标准，例如ISO IEC 21827，也叫做SSECMM3.0，是CMM和ISO的集成的产物，专门针对系统安全领域的另外一方面，数据库的健壮性，容错性和恢复能力也是我们测试的要点，我们也可以发现功能测试，性能测试，安全测试，是一个由简到繁的过程，也是数据库测试人员需要逐步掌握的技能，这也是以后公司对数据库测试人员的要求