项目内容
本案例选择>> 商品类目：沙发；
数量：共100页  4400个商品；
筛选条件：天猫、销量从高到低、价格500元以上。
项目目的
1. 对商品标题进行文本分析 词云可视化
2. 不同关键词word对应的sales的统计分析
3. 商品的价格分布情况分析
4. 商品的销量分布情况分析
5. 不同价格区间的商品的平均销量分布
6. 商品价格对销量的影响分析
7. 商品价格对销售额的影响分析
8. 不同省份或城市的商品数量分布
9.不同省份的商品平均销量分布
注：本项目仅以以上几项分析为例。
项目步骤
1. 数据采集：Python爬取淘宝网商品数据
2. 对数据进行清洗和处理
3. 文本分析：jieba分词、wordcloud可视化
4. 数据柱形图可视化 barh
5. 数据直方图可视化 hist
6. 数据散点图可视化 scatter
7. 数据回归分析可视化 regplot
工具&模块：
工具：本案例代码编辑工具 Anaconda的Spyder
模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。
原代码和相关文档后台回复“淘宝”下载
一、爬取数据
因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次100%爬取，所以 我增加了循环爬取，每次循环爬取未爬取成功的页 直至所有页爬取成功停止。
说明：淘宝商品页为JSON格式 这里使用正则表达式进行解析；
代码如下：
二、数据清洗、处理：
(此步骤也可以在Excel中完成 再读入数据)
代码如下：
说明：根据需求，本案例中只取了 item_loc, raw_title, view_price, view_sales 这4列数据，主要对 标题、区域、价格、销量 进行分析。
代码如下:
三、数据挖掘与分析：
【1】. 对 raw_title 列标题进行文本分析：
使用结巴分词器，安装模块pip install jieba
对 title_s（list of list 格式）中的每个list的元素（str）进行过滤 剔除不需要的词语，即 把停用词表stopwords中有的词语都剔除掉：
因为下面要统计每个词语的个数，所以 为了准确性 这里对过滤后的数据 title_clean 中的每个list的元素进行去重，即 每个标题被分割后的词语唯一。
观察 word_count 表中的词语，发现jieba默认的词典 无法满足需求：
有的词语（如 可拆洗、不可拆洗等）却被cut，这里根据需求对词典加入新词（也可以直接在词典dict.txt里面增删，然后载入修改过的dict.txt）
词云可视化：
安装模块 wordcloud：
方法1： pip install wordcloud
方法2： 下载Packages安装：pip install 软件包名称
软件包下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud
注意：要把下载的软件包放在Python安装路径下。
代码如下：
分析结论：
1. 组合、整装商品占比很高；
2. 从沙发材质看：布艺沙发占比很高，比皮艺沙发多；
3. 从沙发风格看：简约风格最多，北欧风次之，其他风格排名依次是美式、中式、日式、法式 等；
4. 从户型看：小户型占比最高、大小户型次之，大户型最少。
【2】. 不同关键词word对应的sales之和的统计分析：
（说明：例如 词语 ‘简约’，则统计商品标题中含有‘简约’一词的商品的销量之和，即求出具有‘简约’风格的商品销量之和）
代码如下：
对表df_word_sum 中的 word 和 w_s_sum 两列数据进行可视化
（本例中取销量排名前30的词语进行绘图）
由图表可知：
1. 组合商品销量最高 ；
2. 从品类看：布艺沙发销量很高，远超过皮艺沙发；
3. 从户型看：小户型沙发销量最高，大小户型次之，大户型销量最少；
4. 从风格看：简约风销量最高，北欧风次之，其他依次是中式、美式、日式等；
5. 可拆洗、转角类沙发销量可观，也是颇受消费者青睐的。
【3】. 商品的价格分布情况分析：
分析发现，有一些值太大，为了使可视化效果更加直观，这里我们结合自身产品情况，选择价格小于20000的商品。
代码如下：
由图表可知：
1. 商品数量随着价格总体呈现下降阶梯形势，价格越高，在售的商品越少；
2. 低价位商品居多，价格在500-1500之间的商品最多，1500-3000之间的次之，价格1万以上的商品较少；
3. 价格1万元以上的商品，在售商品数量差异不大。
【4】. 商品的销量分布情况分析：  
同样，为了使可视化效果更加直观，这里我们选择销量大于100的商品。
代码如下：
由图表及数据可知：
1. 销量100以上的商品仅占3.4% ，其中销量100-200之间的商品最多，200-300之间的次之；
2. 销量100-500之间，商品的数量随着销量呈现下降趋势，且趋势陡峭，低销量商品居多；
3. 销量500以上的商品很少。
【5】. 不同价格区间的商品的平均销量分布：
代码如下：
由图表可知：
1. 价格在1331-1680之间的商品平均销量最高，951-1331之间的次之，9684元以上的最低；
2. 总体呈现先增后减的趋势，但最高峰处于相对低价位阶段；
3. 说明广大消费者对购买沙发的需求更多处于低价位阶段，在1680元以上 价位越高 平均销量基本是越少。
【6】. 商品价格对销量的影响分析：
同上，为了使可视化效果更加直观，这里我们结合自身产品情况，选择价格小于20000的商品。
代码如下：
由图表可知：
1. 总体趋势：随着商品价格增多 其销量减少，商品价格对其销量影响很大；
2. 价格500-2500之间的少数商品销量冲的很高，价格2500-5000之间的商品多数销量偏低，少数相对较高，但价格5000以上的商品销量均很低 没有销量突出的商品。
【7】. 商品价格对销售额的影响分析：
代码如下：
由图表可知：
1. 总体趋势：由线性回归拟合线可以看出，商品销售额随着价格增长呈现上升趋势；
2. 多数商品的价格偏低，销售额也偏低；
3. 价格在0-20000的商品只有少数销售额较高，价格2万-6万的商品只有3个销售额较高，价格6-10万的商品有1个销售额很高，而且是最大值。
【8】. 不同省份的商品数量分布：
代码如下：
由图表可知：
1. 广东的最多，上海次之，江苏第三，尤其是广东的数量远超过江苏、浙江、上海等地，说明在沙发这个子类目，广东的店铺占主导地位；
2. 江浙沪等地的数量差异不大，基本相当。
【9】. 不同省份的商品平均销量分布：
代码如下：
热力型地图
http://www.aibbt.com/a/18575.html

本文梳理了学习大数据挖掘分析的思路和步骤，为大家提供了一些参考，希望能对大家有所帮助。
最近，很多人都咨询过，想学大数据，但不知道怎么开始，在哪里开始学习，需要学什么东西？对于初学者来说，学习大数据挖掘分析的逻辑是什么？本文从0开始梳理如何学习大数据挖掘分析和学习步骤，并给出一个学习建议。

希望可以帮助到大家
很多人认为数据挖掘需要掌握复杂、深刻的算法，掌握数据挖掘技术和分析技术是很有必要的。如果你钻研复杂的算法和技术开发，你只会让自己发疯，而且会越来越难。在公司的实际工作中，最好的大数据挖掘工程师必须是最熟悉和理解的人。对于大数据挖掘的学习，笔者认为学习数据挖掘必须结合实际的业务背景和案例背景进行研究，这是一种面向问题的学习方法。因此，一般来说，大数据挖掘分析的经典案例如下：
预测用户在下一段时间内是否会丢失或丢失。
该公司做了一个促销活动来预测活动的效果以及用户如何接受它。
评估用户的信用度。
细分现有客户市场，哪些客户是目标客户？
产品投放市场后，用户转换率和哪种运营策略最有效？
运营已经做了大量的工作，公司资源也投入了很多，如何提高产品投入产出比；
有些用户购买大量商品，哪些商品同时购买。
预测产品在未来一年的销售额和收入。
大数据挖掘需要将上述类似的业务运作问题转化为数据挖掘问题。
首先，如何将业务运营问题转化为大数据挖掘问题。
所以，问题是，我们应该如何将上述业务操作转化为数据挖掘问题？我们可以将数据挖掘问题细分为四类：分类、聚类、关联和预测。
1、分类问题
用户的流失率、促销活动的响应和用户度的评价属于数据挖掘的分类问题。我们需要掌握分类的特点，知道什么是监督学习，掌握常用的分类方法：决策树、拜厄斯、KNN、支持向量机、神经网络和Logistic回归。
2，聚类问题
细分市场和客户群细分属于数据挖掘的聚类问题。我们需要掌握聚类的特点，了解无监督学习，理解常用的聚类算法，如分区聚类、层次聚类、密度聚类、网格聚类、模型聚类等。
三。相关问题
交叉销售与相关问题相关，关联分析也被称为购物篮分析。我们需要掌握常用的关联分析算法：Aprior算法、CARMA算法、序列算法等。
4、预测问题
我们应该掌握简单的线性回归分析、多元线性回归分析、时间序列等。
二。你用什么工具做大数据挖掘？
有很多工具和方法来实现数据挖掘，如SPSS、SAS、Python、R等等，但是我们需要掌握什么或掌握什么来学习数据挖掘？这取决于你在做什么，你想去哪里。
第一层次：达到理解水平
理解统计和数据库。
二级：达到初级职场应用水平
数据库+统计+ SPSS（也可以是SPSS而不是软件）。
第三级：达到中层应用水平
SAS或R
第四级：达到数据挖掘的划分层次
SAS或R+Python（或其他编程语言）
三。如何使用Python学习大数据挖掘
只要我们能解决实际问题，我们用什么工具来学习数据挖掘并不重要。Python是这里首先要做的事情。如何使用Python来学习数据挖掘？关于Python你需要知道什么？
1大熊猫图书馆的运作
熊猫是一个非常重要的数据分析数据库。我们要掌握以下三点：
熊猫分组计算；
大熊猫指数和多重指数；
这个索引很难，但是很重要。
熊猫多桌经营与PivotTable
2元数值计算
数据计算是数据挖掘的主要应用，对于未来的机器学习、深入的学习来说，这也是一个必须掌握的库，我们必须掌握以下几点：
麻木阵列的理解；
数组索引操作；
数组计算；
广播（线性代数知识）
三。数据可视化- MatPultLIB和海运
Mat普罗蒂布文法
Python最基本的可视化工具是Matplotlib。让我们看看MatMattLIB有点像MatLabb。我们需要弄清楚两者之间的关系，这样就更容易学了。
海运的使用
Seabn是一个非常漂亮的可视化工具。
熊猫绘图功能
正如我之前所说的，熊猫正在做数据分析，但它也提供了一些绘图的API。
4。数据挖掘导论
这部分是最困难和最有趣的部分。我们应该掌握以下几个部分：
机器学习的定义
数据挖掘并没有什么区别。
成本函数的定义
培训/测试/验证
过拟合的定义与避免
5。数据挖掘算法
随着数据挖掘的发展，有很多算法。接下来，我们需要掌握最简单、最核心和最常用的算法。
最小二乘算法；
梯度下降；
矢量化；
极大似然估计；
逻辑回归；
决策树；
RandomForesr；
XGBoost；
6、数据挖掘实战
通过机器学习，最著名的图书馆SCIKIT学习了解模型。
以上是大数据挖掘的学习逻辑的逻辑。然而，这仅仅是个开始，在数据挖掘和数据科学家的道路上，我们必须学习文本处理和自然语言知识、Linux和火花知识、深入的学习知识等等，并且我们需要对数据挖掘保持持续的兴趣。

大数据时代需要大数据挖掘，我习惯把大数据分成四个领域：数据科学、网络科学、空间地理科学和可视化技术。

最近的主要兴趣在空间地理领域，学习如何获取POI，Polygon，经纬度，空间匹配算法和可视化，一个全新领域有带来诸多大数据分析工具的思考和整合。

恰巧看到一篇国外博客列举了大数据领域的分析工具，今天就接着把数据分析主要是大数据挖掘的工具集写下来，顺势俺再总结一下。

我了解和喜欢的大数据挖掘工具主要分成：提取，存储，清洗，挖掘，可视化，分析和集成语言领域。

Part 1

数据存储和管理

如果你要使用大数据，你需要考虑如何存储它。大数据个人一般玩起来常常是几百兆、或G；当然企业级就可能不是这个侧面了，T或P级，一个好的数据存储提供商应该为您提供一个基础架构，在其上运行所有其他分析工具以及存储和查询数据的地方。

对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解

想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家

并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。

Hadoop

Hadoop已经成为大数据的代名词。它是一个用于在计算机集群上分布式存储大型数据集的开源软件框架。这意味着可以上下扩展数据，而无需担心硬件问题。Hadoop为任何类型的数据提供大量的存储，巨大的数据处理能力和处理虚拟无限并发任务或作业的能力。Hadoop不适合数据初学者。要真正利用它，真的需要知道Java编程。

Cloudera

Cloudera本质上是一个Hadoop的品牌名称。它们可以帮助企业构建企业数据中心，以便您组织中的人员更好地访问您存储的数据。

虽然它是开源，Cloudera主要还是企业解决方案，帮助企业管理他们的Hadoop生态系统。基本上，利用它管理Hadoop很多艰苦的工作。还可提供一定量的数据安全性，如果您存储任何敏感或个人数据，这是非常重要的。

MongoDB

MongoDB的是现代，流行的非结构化数据库，但又可视为关系数据库的替代品。它适用于管理经常更改的数据或非结构化或半结构化的数据。

 



常见应用包括存储移动应用程序的数据，产品目录，实时个性化，内容管理和跨多个系统提供单个视图的应用程序。MongoDB也不适合数据新手，与任何数据库一样，您需要知道如何使用编程语言进行查询。

Talend

Talend是另一个伟大的开源数据库，提供了大量的数据产品。这里我们专注于他们的主数据管理（MDM-元数据管理）产品，它将实时数据，应用程序和过程集成与嵌入式数据质量和管理相结合。

 



它是开源的，Talend是完全免费的，Talend都是一个很好的选择。它可以节省您构建和维护自己的数据管理系统 ——这是一个非常复杂和困难的任务。

如果你是大数据的新手，数据库可能不是最好的开始。它们相对复杂，并且需要一定量的编码知识来操作（与下面提到的许多其他工具不同）。

然而，如果你真的想在大数据中工作，那么知道数据库的基础知识并且能够智能地谈论它们是必须的。我们需要全面了解大数据的技术，包括数据库和存储的历史，关系数据库和文档数据库之间的差异，大数据的挑战和必要的工具，以及Hadoop的介绍。

不过从个人玩大数据的角度，我个人推荐：PostgreSQL、MySQL，以及JSON、GeoJSON等数据存储形式，当然个人主要是CSV格式的数据包或数据集。

特别强调，对于数据库来讲重要的是需要掌握SQL查询语言。

Part 2

数据清洗

在您可以真正挖掘所谓大数据并能获取洞察信息建模之前，您需要清理它。拥有或创造一个干净，结构良好的数据集有时是不可能的。数据集可以有各种形状和大小的（有些好，有些不太好！），特别是当你从网络上获得它。下面的数据清洗软件工具将帮助您细化数据并将其重塑为可用的数据集。（部分工具都有特征工程的技术）

OpenRefine

OpenRefine（原GoogleRefine）是一个开源工具，专门用于清理杂乱的数据。我们可以轻松，快速地探索巨大的数据集，即使数据有点非结构化。

 



就数据软件而言，OpenRefine是非常用户友好的。虽然，良好的数据清洗的原则和基础知识肯定有帮助。OpenRefine的好处是它有一个巨大的社区，有很多贡献者意味着软件不断变得越来越好。你可以问（非常有帮助和患者）社区的问题，如果你陷入困境。你可以看看他们的Github上库在这里你还可以找到OpenRefine维基。

DataCleaner

数据处理是一项长期而艰苦的任务。数据可视化工具只能读取结构良好，“干净”的数据集。DataCleaner为我们做艰苦的工作，并将凌乱的半结构化数据集转换为所有可视化软件可以读取的干净可读的数据集。

DataCleaner还提供数据仓库和数据管理服务。该公司提供30天免费试用，然后是每月订阅费。

说明：我主要用于清洗的工具是refine。

Part 3

数据挖掘

这里不要与数据提取（后面讨论）混淆，数据挖掘是在数据库中发现洞察，而不是将数据从网页提取到数据库中的过程。数据挖掘的目的是对你手头的数据进行预测、建模和决策。

RapidMiner

RapidMiner是预测分析一个奇妙的工具。它是强大的，易于使用，并有一个开源社区背后。甚至可以通过其API将自己的专用算法集成到RapidMiner中。图形界面，这意味着你不需要知道如何代码。

IBM SPSS Modeler

在IBM SPSS Modeler中提供了一整套专用于数据挖掘解决方案套件。这包括文本分析，实体分析，决策管理和优化。他们的五个产品提供了一系列先进的算法和技术，包括文本分析，实体分析，决策管理和优化。

 



SPSS Modeler是一个重型解决方案，非常适合大公司的需求。它可以运行在几乎任何类型的数据库，可以与其他IBM SPSS产品，如SPSS协作与部署服务和SPSS分析服务器集成。

KNIME

它也是一个开源的数据挖掘软件，主要推荐理由：1-开源，2-拥有60多个案例，3-有社区和Labs，4-能够集成R和Python等

 



商业上真正的数据挖掘工具都会融入Oracle、TeraData等数据库产品中。

Kaggle

如果你被困在一个数据挖掘问题，或想尝试解决世界上最棘手的问题，Kaggle是世界上最大的数据科学社区。公司和研究人员发布他们的数据和统计人员和来自世界各地的数据挖掘者竞争产生最好的模型。

我主要用的挖掘软件工具：Modeler和Knime。

Part 4

数据分析

尽管数据挖掘是挖掘先前未知的知识，是一种自下而上的发现知识的过程，也称为KDD。数据分析往往是自上而下的基于理论假设下的探索过程和推断未知。Google Analytics（分析）是关于提出具体问题并在数据中找到答案。可以问关于未来会发生什么的问题！

Qubole

Qubole简化，速度和规模与存储在AWS上（亚马逊云计算）、谷歌数据大数据分析工作云计算平台。一旦IT策略到位，任何数量的数据分析人员都可以随着Hive，Spark，BigQuery等众多数据处理引擎的强大功能自由协作“点击查询”

 



Qubole是一个企业级解决方案，它们提供了一个免费试用。

BigML

BigML试图简化机器学习。它们提供了一个强大的机器学习服务，具有易于使用的界面，您可以导入数据并获取预测。您甚至可以使用他们的模型进行预测分析。

 



对模型的良好理解当然有帮助，但不是必要的，如果你想从BigML中获得分析，他们有一个免费版本的工具，允许您创建不到16mb的任务，以及有一个付费计划和虚拟私有云满足企业级的要求。

Statwing

Statwing将数据分析提高到一个新的水平，提供从美丽的视觉效果到复杂的分析。它使用起来很简单，你可以在5分钟内开始使用Statwing。

虽然它不是免费使用，定价计划是相当优雅。基本套餐是每月50美元，您可以随时取消。这允许您使用每个大小不超过50mb的无限数据集。还有其他企业计划，让您能够上传更大的数据集。

Part 5

数据可视化

数据可视化公司将使您的数据变得生机勃勃。对于任何数据科学家面临的挑战的一部分是从传送的数据的洞察到你的公司的其他部门。对于大多数人来说，MySQL数据库和电子表格依然会用。但可视化是传达复杂数据洞察的一种明亮而简单的方法。大部分可视化都不需要任何编码！

Tableau

Tableau是一个主要专注于商业智能数据可视化工具。您可以创建地图，条形图，散点图等等，而无需编程。他们最近发布了一个Web连接器，允许您连接到数据库或API，从而使您能够在可视化中获取实时数据。

 



SILK

silk是一个简单得多的数据可视化和比的Tableau的分析工具。它允许您通过构建交互式地图和图表，只需点击几下鼠标，带来您的数据。Silk还允许您与任意数量的人员进行可视化协作。

 



像很多这个名单上的可视化的公司，Silk不要求你是一个专家程序员。如果你是新的可视化数据，这是开始，因为他们的地方最新的功能试图无需你做任何事情会自动显示数据。

CartoDB

CartoDB是一个地图数据可视化工具，专门制作地图。它们使任何人都可以轻松地可视化位置数据，而无需任何编码。CartoDB可以管理数据文件和类型无数，他们甚至有样本数据集，

如果你有位置数据，CartoDB绝对值得一看。它可能不是最简单的系统使用，但一旦你得到它的悬念，它是令人难以置信的强大。

Chartio

Chartio可以让你在浏览器中的数据源相结合，执行查询。您只需点击几下即可创建强大的仪表板。Chartio的视觉查询语言允许任何人从任何地方获取数据，而不必知道SQL或其他复杂的模型语言。它们还允许您计划PDF报告，以便您可以将PDF文件导出为仪表板并通过电子邮件发送给任何您想要的人。

 



Chartio的另一个很酷的事情是，它通常不需要数据仓库。这意味着您将更快地启动和运行，并且您的实施成本将更低，更可预测。

Plot.ly

如果你想建立一个图和嵌入程序中Plot.ly是不错的选择。您可以创造惊人的2D和3D图表，所有不需要编程知识。

 



免费版本允许您创建一个私人图表和无限公共图表，或者您可以升级到企业包以制作无限的私人和公共图表，以及为您提供矢量导出和保存自定义主题的选项。

DataWrapper数据包

我们最终的可视化工具是Datawrapper。它是一个开源工具，在几分钟内创建可嵌入的图表。因为它是开源的，它将不断发展，因为任何人都可以贡献。他们有一个真棒图表库，你可以检查出的那种东西的人都与Datawrapper做。

 



它有一个免费工具和一个付费选项，付费选项是一个预先设置，自定义的Datawrapper包。

说明：俺提建议主要用百度的开源产品Echarts，部分考虑D3.js。

Part 6

数据集成

数据集成平台是每个程序之间的粘合剂。如果你想连接你使用Import.io与Twitter中提取的数据，或者您希望在Facebook上分享你用的Tableau或丝绸自动进行可视化，下面是集成服务工具。

Blockspring

Blockspring是类似在熟悉的如Excel和谷歌sheet的方式。您只需撰写Google Sheet公式，即可连接到整个主机的第三方程序。您可以从电子表格发布社交博客，查看您的关注者关注者，以及连接到AWS，Import.io和Tableau等等。

 



Blockspring可以免费使用，但它们也有一个包，允许您创建和共享私有函数，添加自定义标签，以方便搜索和发现，并为您的整个组织一次性设置API令牌。

Pentaho

Pentaho提供大数据集成所需的零编码。使用简单的拖放UI，您可以集成许多工具与最小的编码。他们还提供嵌入式分析和业务分析服务。

 



Pentaho是一个企业解决方案。

Part 7

数据语言

虽然今天的挖掘工具变得越来越强大和更容易使用，有时学会编程还是必要的，特别是工程和产品层面。即使你不是一个程序员，理解这些语言如何工作的基础知识将使你更好地了解这些工具有多少功能以及如何最好地使用它们。

R语言

R是用于统计计算和图形的语言。如果上面列出的数据挖掘和统计软件不能做你想要的，学习R是好方式。事实上，如果你打算成为一个数据科学家，知道R是必须的。

它可以在Linux，Windows和MacOS上运行，你可以下载开源R。有一个巨大的统计学家社区，人气很旺。

Python

另一种在数据社区越来越受欢迎的语言是Python。创建于20世纪80年代，从Monty Python的Flying Circus命名，它一直在世界排名前十的最流行的编程语言。如果数据收集工具无法获取他们需要的数据，许多记者使用Python编写自定义的爬虫。

人们喜欢它，因为与英语的相似之处。它使用诸如'if'和'in'这样的词语，你可以很容易地阅读脚本。

说明：俺主要用Jupyter或Ipython Notebook。

RegEx

RegEx或正则表达式是一组可以操作和更改数据的字符。它主要用于与字符串的模式匹配，或字符串匹配。

XPath

XPath是一种查询语言，用于从XML文档中选择某些节点。而RegEx操纵和更改数据组成，XPath将提取准备好RegEx的原始数据。

XPath最常用于数据提取。

说明：如果你需要编写爬虫或者抓取web网页，都需要学习正则表达和xpath，同时学习json数据格式，还要有一定的API接口技术。

对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解

想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家

并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。

小礼物走一走，来简书关注我

基于Weka 数据聚类分析银行用户的购买力
 通过分析对银行储户信息的分析，进行cluster分类，最终找到合适的消费


人群。

实验基本原理及目的 

聚类分析中的“类”（cluster）和前面分类的“类”（class）是不同的，对 cluster 更加准确的翻译应该是“簇”。聚类的任务是把所有的实例分配到若干的簇，使得同一个簇的实例聚集在一个簇中心的周围，它们之间距离的比较近；而不同簇实例之间的距离比较远。对于由数值型属性刻画的实例来说，这个距离通常指欧氏距离。
在本实验中，我们对前面的“bank-data”作聚类分析，使用最常见的 K 均值（K-means）算法。下面我们简单描述一下 K 均值聚类的步骤。 

K 均值算法首先随机的指定 K 个簇中心。然后：

（1）将每个实例分配到距它最近的簇中心，得到 K 个簇；（2）计分别计算各簇中所有实例的均值，把它们作为各簇新的簇中心。

重复（1）和（2），直到 K 个簇中心的位置都固定，簇的分配也固定。

本次实验的目的，是通过利用 Weka 中提供的 simpleKmeans 方法对“bank-data”进行聚类分析，更深刻的理解 k 均值算法，并通过对实验结果进行观察分析，找出实验中所存在的问题。

数据的准备及预处理
原始数据“bank-data.xls”是 excel 文件格式的数据，需要转换成 Weka 支持的 ARFF 文

件格式的。转换方法：在 excel 中打开“bank-data.xls”，选择菜单文件—>另存为，在弹出的对话框中，文件名输入“bank-data”，保存类型选择“CSV（逗号分隔）”，保存，我们便可得到“bank-data.csv”文件；然后，打开 Weka 的 Exporler，点击 Open file 按钮，打开刚才得到的 “ bank-data.csv ” 文件，点击 “ save ” 按钮，在弹出的对话框中，文件名输入

“bank-data.arff”，文件类型选择 “Arff data files （*.arff）”，这样得到的数据文件为 “ bank-data.arff”。 

K 均值算法只能处理数值型的属性，遇到分类型的属性时要把它变为若干个取值 0 和 1 的属性。WEKA 将自动实施这个分类型到数值型的变换，而且 WEKA 会自动对数值型的数据作标准化。因此，对于 ARFF 格式的原始数据“bank-data.arff”，我们所做的预处理只是删去属性 “id”，修改属性 “ children”为分类型。 修改过程如下：在 Ultredit 中打开

“bank-data.arff”，将@attribute children numeric 改成如下：

1

图 1 修改 children 为分类型

这样我们最终得到的数据文件为“bank-data.arff”，含 600 条实例。

实验过程及结果截图
用“Explorer”打开刚才得到的“bank-data.arff”，并切换到“Cluster”。点“Choose”按

钮选择“SimpleKMeans”，这是 WEKA 中实现 K 均值的算法。点击旁边的文本框，修改

“numClusters”为 6，说明我们希望把这 600 条实例聚成 6 类，即 K=6。下面的“seed”参

数是要设置一个随机种子，依此产生一个随机数，用来得到 K 均值算法中第一次给出的 K 个簇中心的位置。我们不妨暂时让它就为 10。

选中“Cluster Mode”的“Use training set”，点击“Start”按钮，观察右边“Clusterer output”

给出的聚类结果如下：

2

也可以在左下角“Result list”中这次产生的结果上点右键，“View in separate window”

在新窗口中浏览结果。

实验结果分析
4.1实验结果

下面对实验结果进行解释。观察图 1，首先我们注意到结果中有这么一行： 

    Within cluster sum of squared errors: 1604.7416693522332

这是评价聚类好坏的标准，数值越小说明同一簇实例之间的距离越小。也许你得到的数值会不一样；实际上如果把“seed”参数改一下，得到的这个数值就可能会不一样。我们应该多尝试几个“seed”，并采纳这个数值最小的那个结果。例如我让“seed”取 100，就得到：

Within cluster sum of squared errors: 1555.6241507629218

我们该取前面这个。当然再尝试几个“seed”，这个数值可能会更小。 

3 

接下来“Cluster centroids:”之后列出了各个簇中心的位置。对于数值型的属性，簇中心就是它的均值（Mean），如 cluster0 的数值型变量 age 的均值 37.1299；分类型的就是它的众数（Mode），如 cluster0 的分类型变量 children 的众数为 3，也就是说这个属性上取值为众数值3（有 3 个孩子）的实例最多。对于数值型的属性，还给出了它在各个簇里的标准差（Std Devs）。最后的“Clustered Instances”是各个簇中实例的数目及百分比。

为了观察可视化的聚类结果，我们在左下方“Result list”列出的结果上右击，点“Visualize cluster assignments”。弹出的窗口给出了各实例的散点图。最上方的两个框是选择横坐标和纵坐标，第二行的”color”是散点图着色的依据，默认是根据不同的簇“Cluster”给实例标上不同的颜色。

图 3 x轴为income y轴为age 

         实验结果可视化

可以在这里点 “Save”把聚类结果保存成 ARFF 文件。在这个新的 ARFF 文件中，“instance_number”属性表示某实例的编号，“Cluster”属性表示聚类算法给出的该实例所在的簇，如下图 4。

4

                    图 4 结果的 arff 文件


4.2 存在的问题

在本次实验中，我用了不同的“seed”值对数据进行了三阶段的实验分析：第一阶段不断增大 seed 值，直到为实例数目 600；通过观察第一阶段的实验结果，找到两个最小值点，在第二阶段和第三阶段中，在最小值点 seed 附近不断改变 seed 值，以逼近可能最小的“Within cluster sum of squared errors”值。我把部分实验结果整理如下表：

表 1 实验结果分析

通过上述分析结果，我们可以发现age和region与income影响较为直接

Chirlden 等等属性与income影响并无明显影响。

    我们知道，“Within cluster sum of squared errors”值越小说明同一簇实例之间的距离越小，聚类的结果也就越好。从表中我们可以看出“Within cluster sum of squared errors”的最小值有两个，即 seed取200 时的 1551.72650865326，seed取400 时的 1535.19232923634，这也是本次实验中最好的一个方案结果。我所遇到的问题是，如何迅速的找到是 “Within Cluster sum of squared errors” 的最小值的聚类方案？如何以最快的方法取获得最好的聚类方案，这个问题是不是可以在weka升级实现？