数据说明

数据参数
OrderNumber: 客户昵称
LineNumber:购买顺序，如前三行分别表示同一个客户购买的三样商品
Model:商品名

问题描述

基于购物篮的关联规则智能算法推荐的应用。

三个基本问题：
1、以获得最高的营销响应率为目标，该如何推送商品？
2、以最大化总体销售额为目标，该如何推荐商品
3、用户并未产生消费，为其推荐某样商品？

智能推荐算法有很多种，本文只对关联规则进行实践。

本文将专注于理解起来最容易且又十分经典常用的基于关联规则的购物篮推荐。商品的关联度分析对于提高商品的活力、挖掘消费者的购买力、促进最大化销售有很大帮助。

其建模理念为：物品被同时购买的模式反映了客户的需求模式。

适用场景：无需个性化定制的场景；有销售记录的产品，向老客户推荐；套餐设计与产品摆放。

购物篮简介

问：什么是购物篮？主要运用在什么场景？

答：单个客户一次购买商品的综合称为一个购物篮，即某个客户本次的消费小票。常用场景：超市货架布局：互补品与互斥品；套餐设计。

问：购物篮的常用算法？

答：常用算法有

不考虑购物顺序：关联规则。购物篮分析其实就是一个因果分析。关联规则其实是一个很方便的发现两样商品关系的算法。共同提升的关系表示两者是正相关，可以作为互补品，如豆瓣酱和葱一起卖也才是最棒的。替代品的概念便是我买了这个就不用买另外一个。
考虑购物顺序：序贯模型。多在电商中使用，比如今天你将这个商品加入了购物车，过几天又将另一个商品加入了购物车，这就有了一个前后顺序。但许多实体商店因为没有实名认证，所以无法记录用户的消费顺序。
问：求出互补品与互斥品后对布局有什么用？

答：根据关联规则求出的商品间的关联关系后，可能会发现商品间存在强关联，弱关联与排斥三种关系。每种清醒有各自对应的布局方式。

强关联：关联度的值需要视实际情况而定，在不同的行业不同的也业态是不同的。强关联的商品彼此陈列在一起会提高双方的销售量。双向关联的商品如果陈列位置允许的话应该相关联陈列，即A产品旁边有B，B产品边上也一定会有A，比如常见的剃须膏与剃须刀，男士发油与定型梳；而对于那些单向关联的商品，只需要被关联的商品陈列在关联商品旁边就行，如大瓶可乐旁边摆纸杯，而纸杯旁边则不摆大瓶可乐，毕竟买大可乐的消费者大概率需要纸杯，而购买纸杯的顾客再购买大可乐的概率不大。
弱关联：关联度不高的商品，可以尝试摆在一起，然后再分析关联度是否有变化，如果关联度大幅提高，则说明原来的弱关联有可能是陈列的原因造成的。
排斥关系：指两个产品基本上不会出现在同一张购物小票中，这种商品尽量不要陈列在一起。
根据购物篮的信息来进行商品关联度的分析不仅仅只有如上三种关系，它们仅代表商品关联度分析的一个方面（可信度）。全面系统的商品关联分析必须有三度的概念，三度包括支持度，可信度和提升度。

关联规则

直接根据关联三度所定义的概念去理解会有不少难度，尤其是可信度喝提升度中的“ 谁对谁 ”的问题。其实可以换一种方式来看：

规则 X 的支持度 = 规则 X 的交易次数 / 交易的总数。理解：支持度表示规则 X 是否普遍。
规则 X(A→B) 的置信度 = 规则 X 的交易次数/规则X中商品B 的交易次数。理解：置信度是一种条件概率，表示购买了A产品的客户再购买B产品的概率。

问：仅看支持度和置信度是否靠谱？

答：看一个案例：食堂卖饭，1000份打饭记录中，买米饭的有800人次，买牛肉的有600人次，两个共同买的有400人次，那么可以得出对于规则(牛肉 - > 米饭)Support=P(牛肉&米饭)= 400/1000=0.40;Confidence=P(米饭|牛肉)=400/600=0.67置信度和支持度都很高，但是给买牛肉的人推荐米饭有意义吗？显然是没有任何意义的。因为无任何条件下用户购买米饭的概率:P(米饭)=800/1000=0.8，都已经大过买了牛肉的前提下再买米饭的概率 0.67，毕竟米饭本来就比牛肉要畅销啊。

这个案例便引出了提升度的概念：提升度 = 置信度/无条件概率=0.67/0.8。规则 X(A→B) 的提升度为 n 时：向购买了 A 的客户推荐 B 的话，这个客户购买 B 的概率是 TA 自然而然购买 B 的 n × 100% 左右。生活理解：消费者平时较少单独购买桌角防撞海绵，可能偶尔想到或自己小孩碰到的时候才会想起购买，如果我们在桌子(书桌饭桌)的成功下单页面添加桌角防撞海绵的推荐，则很大程度上可以提高防撞海绵的销量。这也符合我们希望通过畅销商品带动相对非畅销商品的宗旨。

问：除了公式的含义，关联三度（支持度，置信度，提升度）还有什么关联吗？

答：可以这样理解：

支持度代表这组关联商品的份额是否够大

置信度(可信度)代表关联度的强弱

而提升度则是看该关联规则是否有利用价值和值得推广，用了(客户购买后推荐)比没用(客户自然而然的购买)要提高多少。

所以 1.0 是提升度的一个分界值，刚才的买饭案例中给买了牛肉的用户推荐米饭的这种骚操作的提升度小于 1 也就不难理解了。另外，高置信度的两个商品(假设达到了 100%，意味着它们总是成双成对的出现)，但如果支持度很低(意味着份额低)，那它对整体销售提升的帮助也不会大。

关联规则Python代码

导入基本包

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
# 各种细节配置如 图像大小、轴标签、刻度、文字大小，图例文字等杂项
large = 22; med = 16; small = 12
params = {'axes.titlesize': large,
          'legend.fontsize': med,
          'figure.figsize': (16, 10),
          'axes.labelsize': med,
          'axes.titlesize': med,
          'xtick.labelsize': med,
          'ytick.labelsize': med,
          'figure.titlesize': large}
plt.rcParams.update(params)
plt.style.use('seaborn-whitegrid')
sns.set_style("white")
plt.rc('font', **{'family': 'Microsoft YaHei, SimHei'})  # 设置中文字体的支持
# sns.set(font='SimHei')  # 解决Seaborn中文显示问题，但会自动添加背景灰色网格

plt.rcParams['axes.unicode_minus'] = False
# 解决保存图像是负号'-'显示为方块的问题

数据概览

#读取文件使用utf-8会出现解码错误，需要更改为gbk解码
bike=pd.read_csv("C://Python//分享资料3//bike_data.csv",encoding='gbk')
print(bike.head())
print(bike.info())

OrderNumber: 客户昵称
LineNumber:购买顺序，如前三行分别表示同一个客户购买的三样商品
Model:商品名

探索性数据分析EDA

#查看缺失值
print(bike.isnull().sum())
#查看重复值
print(bike.duplicated().sum())

商品种类探索

model=bike['Model'].nunique()
modelnames=bike['Model'].unique()
print("共有"+str(model)+"种商品\n")
print("商品名分别为：\n")
#每行显示5个
for i in range(0,len(modelnames),5):
    print(modelnames[i:i+5])

#最畅销的15种商品
bestseller = bike.groupby('Model')['Model'].count().sort_values(ascending=False).reset_index(name='count')
bestseller.head(15)

top_15 = bestseller.head(15)
sns.barplot(x='count',y='Model',data=top_15)
plt.title('最畅销的15种商品')
plt.grid(True)

top_15 = top_15['Model'].tolist()
print('由销量排名，该自行车店排名前15的畅销单品为：')
for i in range(0,15,5):
    print(top_15[i:i+5])

使用Apriori算法求解关联规则

from mlxtend.frequent_patterns import apriori as apri
# 生成购物篮：将同一个客户购买的所有商品放入同一个购物篮
baskets =bike.groupby('OrderNumber')['Model'].apply(lambda x :x.tolist())
baskets = list(baskets)
#导入关联规则算法的包
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules
#转换为算法可接受模型（布尔值）
te = TransactionEncoder()
baskets_tf = te.fit_transform(baskets)
df = pd.DataFrame(baskets_tf,columns=te.columns_)
print(df.head(5))

编码后的数据：

维度是(21255, 37)，行表示共有21255个用户，列表示对应用户下商品是否购买，如果购买了则该商品下为true，否则false。当用户量与商品量非常巨大时，矩阵维度也会非常大。

#设置支持度求频繁项集
frequent_itemsets = apriori(df,min_support=0.01,use_colnames= True)
#求关联规则,设置最小置信度为0.15
rules = association_rules(frequent_itemsets,metric = 'confidence',min_threshold = 0.1)
#设置最小提升度
# rules = rules.drop(rules[rules.lift <1.0].index)
#设置标题索引并打印结果
rules.rename(columns = {'antecedents':'lhs','consequents':'rhs','support':'sup','confidence':'conf'},inplace = True)
rules = rules[['lhs','rhs','sup','conf','lift']]
print(rules)

• lhs: 被称为左手规则，通俗理解即用户购买的商品 - 山地车内胎
• 被称为右手规则，通俗理解即根据用户购买某商品来推荐的另一件商品 - ll山地胎
• support: 支持度，山地车内胎 和 ll山地胎 同时出现在一张购物小票中的概率
• confidence: 置信度，购买了 山地车内胎 的前提下，同时购买 ll山地胎 的概率
• lift：向购买了 山地车内胎 的客户推荐 ll山地胎 的话，这个客户购买 ll山地胎 的概率是这个客户自然而然购买 ll山地胎 的 400% 左右，即高了 300% 多，通俗理解：消费者平时较少单独购买桌角防撞海绵，可能偶尔想到的时候或自己小孩碰到的时候才会想起购买，如果我们在桌子(书桌饭桌)的成功下单页面添加桌角防撞海绵的推荐，则很大程度上可以提高防撞海绵的销量。这也符合我们在探索性数据分析中发现的前 15 名畅销商品后并希望通过畅销商品带动“相对非畅销商品”的宗旨。

筛选互补品和互斥品

# 互补品
# lift 提升度首先要大于1，然后再排序选择自己希望深究的前 n 个
complementary = rules[rules['lift'] > 1].sort_values(by='lift', ascending=False).head(20)

# 互斥品
#lift提升都首先要小于1，然后再排序选择自己希望深究的前n个
exclusive = rules[rules['lift'] < 1].sort_values(by='lift', ascending=True).head(20)

### 根据关联规则结果推荐产品
需要结合业务需求

• 获得最大营销响应度？-- 看置信度，越高越好
• 销售最大化？-- 看提升度，越高越好
• 用户未产生消费，我们向其推荐商品？

1、获得最高的营销响应率

如果一个客户刚刚下单了山地车英骑这个产品，那么在他付费成功页面上最应该推荐什么产品才能获得最高的营销响应率。

# 使用的是左手规则：lhs(left hand rules)，lhs 表示的是购买的产品
 ## 使用 frozenset 来对字典的键进行选择
purchase_good = rules[rules['lhs'] == frozenset({'山地英骑'})]
print(purchase_good.sample(3))

# 根据置信度排序
print(purchase_good.sort_values(by='conf', ascending=False))
# 根据下表，应该首先推荐山地车挡泥板

1、获得最大化销售额

如果一个新客户刚下单了 山地英骑 这个产品，

如果希望最大化提升总体的销售额，那么在他付费成功的页面上应该推荐什么产品？

print(purchase_good.sort_values(by='lift', ascending=False))
# 由下表可知，应该首推 hl 山地车外胎

提升度是相对于自然而然购买而言，A对B的提升度为4.0的理解如下

向购买了A的用户推荐B，则该用户购买B的概率是该用户单独
（即自然而然的购买）购买B的概率的 400%

向购买了A的用户推荐B，则该用户购买B的概率比该用户单独
（即自然而然的购买）购买B的概率 \textbf{高} 300%

3、用户并未产生消费，我们为其推荐某样商品

# 如果希望推荐山地英骑自行车，应该如何制定营销策略？
 ## 这里应该选出右手规则，因为直接就是推荐的产品，
 ##没有产生消费，消费了的即买了的才使用左手规则
purchase_good = rules[rules['rhs'] == frozenset({'山地英骑'})].sort_values('lift')
# 根据置信度或提升度排序都可以，因为直接根据右手规则选出来的数据框中，
 ## confidence 和 lift 成正比例关系，你高我就高
print(purchase_good)
# 所以山地英骑跟山地车水壶架，山地车挡泥板，hl山地外胎一起推荐比较好

实验目的

进一步理解关联规则算法（Apriori算法、FP-tree算法），利用weka实现数据集的挖掘处理，学会调整模型参数，读懂挖掘规则，解释规则的含义

实验要求

（1）随机选取数据集为对象，完成以下内容：（用两种方法：Apriori算法、FP-tree算法）

1. 文件导入与编辑；
2. 参数设置说明；
3. 结果截图；
4. 结果分析与对比。

（2）以下表，做关联规则挖掘

5. 文件生成与编辑；
6. 参数设置说明；
7. 结果截图；
8. 结果分析。

supermarket数据实验过程

1. 文件导入与编辑

用“Explorer”打开“supermarket.arff”，如图1.1所示，打开的数据为离散型数据，可直接进行关联规则分析，切换到“Associate”选项卡进行分析。

2. 参数设置说明

2.1 参数说明

• car：如果设为真，则会挖掘类关联规则而不是全局关联规则。
• classindex：类属性索引。如果设置为-1，最后的属性被当作类属性。
• Delta：以此数值为迭代递减单位。不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。
• lowerBounfMinSupport：最小支持度下界
• merticType：度量类型，设置对规则进行排序的度量依据。可以是：置信度（类关联规则只能用置信度挖掘），提升度（lift），平衡度（leverage），确信度（conviction）。
• MinMtric：度量的最小值
• numRules：要发现的规则数
• outputItemSets： 如果设置为真，会在结果中输出项集。
• removeAllMissingCols： 移除全部为缺失值的列。
• significanceLevel ：重要程度。重要性测试（仅用于置信度）。
• upperBoundMinSupport： 最小支持度上界。 从这个值开始迭代减小最小支持度。
• verbose： 如果设置为真，则算法会以冗余模式运行。

2.2 参数设置

挖掘支持度在10%到100%之间，并且置信度超过0.9且置信度排在前10位的关联规则。

• “lowerBoundMinSupport”和“upperBoundMinSupport”分别设为0.1和1
• “metricType”设为confidence
• “minMetric”设为0.9
• “numRules”设为10

Apriori方法参数设置如下图2.2.1所示。

FP-tree方法参数设置如下图2.2.2所示。

3. 结果截图

参数设定完成后单击start按钮，weka开始进行关联规则分析，Apriori算法结果如图3.1所示，FP-tree算法结果如图3.2所示。

将Apriori方法中参数outputItemSets设置为TRUE，部分运行结果如图3.3所示。

4. 结果分析

从图3.1，3.2中看出，挖掘出的前十条强关联规则中最大的置信度为0.92，其中一条是：biscuits=t frozen foods=t fruit=t total=high ==> bread and cake=t，图3.1显示一、二、三、四、五、六级频繁项目集在最小支持度为0.1的情况下分别有44，380，910，633，105，1个。
观察图3.3可以看到，相比较于图3.1，结果图中展示出了各级频繁项目集的详细信息。观察图3.1和3.2两种挖掘算法的结果图，可以看出两个算法在数据集以及设置参数一样的情况下，挖掘出的关联规则是相同的。
在运行过程中可以观察到在用Apriori算法挖掘关联规则时，程序右下方的小鸟动了3-4次，而FP-Tree算法挖掘时，小鸟只动了1次。小鸟动的次数直观的体现出程序的运行时间，由此可见在用Apriori做关联规则挖掘时要比FP-Tree算法多耗费2-3倍的时间。但又由图3.1，图3.3可以看出，Apriori挖掘出的结果信息可根据需求得到更详细的信息。

表格数据实验过程

1. 文件生成与编辑

将已给数据集进行处理，如图1.1所示，并将该数据集写入到csv文件中。

看到数据集的文字部分是乱码的。打开weka安装目录，找到RunWeka.ini配置文件，找到fileEncoding=Cp1252，改成fileEncoding=Cp936（图1.3），点击保存关闭，再重新打开weka即可。

重新打开weka，并导入数据，如图1.4所示，可看到中文显示正常。

2. 参数设置说明

设置最小支持度下界为0.4，最小置信度为0.6，挖掘规则数为10。
Apriori方法参数设置如图2.1所示。

FP-tree方法参数设置如图2.2所示。

3. 结果截图

参数设定完成后单击start按钮，weka开始进行关联规则分析，Apriori算法结果如图3.1所示，FP-tree算法结果如图3.2所示。

4. 结果分析

观察图3.1，可以看到用Apriori算法挖掘出一、二、三级频繁项目集分别为4，5，2个，没有生成四级频繁项目集。挖掘出两条置信度最大为1的强关联规则，分别为：啤酒 -> 尿布；牛奶，啤酒 -> 尿布。
观察图3.2，可以看到用FP-tree算法挖掘出7条强关联规则，其中有一条置信度最大为1的强关联规则为：啤酒 -> 尿布。

什么是关联分析

关联分析是数据挖掘领域常用的一类算法，主要用于发现隐藏在大型数据集中有意义的联系。

举一个大家最耳熟能详的例子，就是尿布和啤酒，表示成关联规则的形式就是｛尿壶｝ —>｛啤酒｝。这就是使用关联分析方法所得到的结果，而关联分析所得到的结果，我们可以用关联规则或者频繁项集的形式表示。在进行关联分析时，我们常常会遇到这样两个问题：

A. 从大型数据集中发现模式一般来说需要在计算上付出巨大的代价，甚至往往是impossible的，我们往往采用置信度和支持度的剪枝来解决这个问题。

B. 所发现的某些模式可能是虚假的，这个我们需要采用一些关联规则的评估来解决这个问题。

概念

独立事件：P(AB) =P(A) P(B)，称A,B 相互独立。概念上就是AB同时发生的概率等于事件A发生的概率乘以事件B发生的概率。

A. 项集：在关联分析中，包含0个或者多个的项的集合称为项集。如果一个项集包含k个项，那么就称为k-项集。比如｛牛奶，咖啡｝则称为2项集。

B. 支持度： 支持度用来确定指定项集的频繁程度，即给定项集在所有的数据集中出现的频率，例如Support(X,Y) = N(X,Y)/N，N(X,Y)表示同时包含X，Y的项集数量，N表示数据集总数量。

C. 置信度： 置信度则是用来确定Y在包含X的项集中出现的频繁程度，即Confidence(X==>Y) = N(X,Y)/N(X)

支持度和置信度的意义在于，支持度是一个重要的度量，如果支持度很低，代表这个规则其实只是偶然出现，基本没有意义。因此，支持度通常用来删除那些无意义的规则。而置信度则是通过规则进行推理具有可靠性。用c(X->Y)来说，只有置信度越高，Y出现在包含X的事务中的概率才越大，否则这个规则也没有意义。通常我们在做关联规则发现的时候都会设定支持度和置信度阈值 minsup 和minconf ， 而关联规则发现则是发现那些支持度大于等于minsup 并且置信度大于 minconf的所有规则。所以，提高关联分析算法效率最简单的办法则是提高支持度和置信度的阈值。

支持度、置信度的局限

我们来考虑一下支持度-置信度框架的局限性。

首先是支持度，举例来说，在图书市场中，文学类书籍的数量远大于物理类书籍，那么物理类书籍的规则支持度就会很低，这样就导致很多物理类书籍的关联规则都被过滤掉了。

接下来是置信度，举例来说，我们对1000个交易记录分析，假设这1000条记录只有四种行为：购买商品A，不购买商品A，购买商品B，不购买商品B。发现有500条购买记录包含商品A，包含商品A的500条记录又有300条记录包含商品B，那么我们通过置信度计算发现Confidence (商品A==商品B)=0.6这个的置信度非常高，我们于是可以推算出买商品A的人都喜欢买商品B。但是其实我们看接下来的调查，另外没有购买商品A的500条记录中，有400条购买了商品B。综上所述，我们可以发现，其实购买商品A和购买商品B是两个独立事件。所以我们可以概括一下，置信度的缺点，就是忽略了不在规则事件中的项集的支持度。

提升度，Lift

还是以上面的1000个交易记录为例子，500个交易包含购买商品A，700个交易包含购买商品B，300个交易同时包含购买A、B商品。Support(AB)=0.3，且Confidence(A==>B)= 0.6。不管支持度和置信度看上去都很高。但是这样的关联规则是有问题的。

Confidence(A==>B)= 0.6表示用户在购买了商品A后有0.6的概率的去购买商品B，而在没有任何前提条件时，用户反而有(700/1000=0.7)的概率去购买商品B，也就是说在购买了商品A的条件反而会降低用户去购买商品B的概率。这样看来使用(A==>B)这条规则来进行推荐，还不如不推荐，随机对顾客推荐好了。为此，引入另外一个量，即提升度(Lift)，以度量此规则是否可用。

Lift的物理含义，直接参考：http://www.cnblogs.com/zgw21cn/archive/2009/05/31/1492809.html。我这里直接截图了：

也就是说这lift指标表示了一条关联规则是否有效，这里表示度量（A==>B）这条规则有效程度的值为1.32。满足最小支持度和最小置信度的规则，叫做“强关联规则”。然而，强关联规则里，也分有效的强关联规则和无效的强关联规则。

如果Lift(X→Y)>1，则规则“X→Y”是有效的强关联规则。

如果Lift(X→Y) <=1，则规则“X→Y”是无效的强关联规则。

特别地，如果Lift(X→Y) =1，则表示X与Y相互独立。

这里再推荐一篇博客（http://blog.csdn.net/rav009/article/details/8985322）的结论：

参考

理论方面：

http://book.douban.com/annotation/16911003/

http://www.cnblogs.com/zgw21cn/archive/2009/05/31/1492809.html

http://blog.csdn.net/rav009/article/details/8985322

代码实现：

mahout版本：http://www.cnblogs.com/ValiancyHe/archive/2013/07/06/3174944.html

java版本：http://www.cnblogs.com/zhangchaoyang/articles/2198946.html

python版本：http://lxneng.iteye.com/blog/471067

spark版本：https://spark.apache.org/docs/latest/mllib-frequent-pattern-mining.html#fp-growth