目标：特征降维处理主成分分析APA

方法：

关联表：user_id---->aisle

交叉表：构造每个用户购买了哪些物品细分类别的商品及数量

降维处理：主成分分析APA

数据来源：https://www.kaggle.com/c/instacart-market-basket-analysis/data

·order_products_prior.csv：订单与商品信息
    。字段：order_id，product_id，add_to_cart_order，reordered
    。解释：订单id，产品id,加入购物车订单,再次订购（不止一次订购）
·products.csv：商品信息
    。字段：product_id，product_name，aisle_id，department_id
    。解释：产品id,产品名称，物品类别id,产品大分类id
·orders.csv：用户的订单信息
    。字段：order_id，user_id，eval_set，order_number，order_dow，order_hour_of_day，days_since_prior_order
    。解释：订单编号，用户编号，评价等级，订单数量，星期几，当天的购买时段h，距离预定日期的天数
·aisles.csv：商品所属具体物品类别
    。字段：aisle_id，aisle 
    。解释：物品细分类别id,物品细分类别名称

import numpy as np
import pandas as pd
#获取数据
aisles = pd.read_csv(r"E:\instacart-market-basket-analysis\aisles.csv",sep=",",encoding="utf-8")
orders = pd.read_csv(r"E:\instacart-market-basket-analysis\orders.csv",sep=",",encoding="utf-8")
products = pd.read_csv(r"E:\instacart-market-basket-analysis\products.csv",sep=",",encoding="utf-8")
order_products_prior = pd.read_csv(r"E:\instacart-market-basket-analysis\order_products__prior.csv",sep=",",encoding="utf-8")

#查验数据
display(aisles.head(3))
display(orders.head(3))
display(products.head(3))
display(order_products_prior.head(3))

import time
#关联表：user_id---->aisle
data01 = pd.merge(orders,order_products_prior,how='inner',on=["order_id","order_id"])
time.sleep(15)
data02 = pd.merge(data01,products,on=["product_id","product_id"])

data03 = pd.merge(data02,aisles,on=["aisle_id","aisle_id"])
time.sleep(3)

display(data03.shape,data03.tail(10000))

(32434489, 14)

10000 rows × 14 columns

#构造交叉表user_id---->aisle
data04 = pd.crosstab(data03["user_id"],data03["aisle"])
display(data04.shape,data04.head(10))

(206209, 134)

10 rows × 134 columns

# 主成分分析，保留n.n% 的信息
from sklearn.decomposition import PCA
import pandas as pd
import numpy as np
 
# 1、数据：使用上面代码生成的data04
data = data04

#2.实例化一个转换器类
transfer = PCA(n_components=0.9) #实例化一个转换器类
    # n_components： ·小数：表示保留百分之多少的信息 ·整数：减少到多少特征
#3.#调用fit_transform()
xi = transfer.fit_transform(data) #调用fit_transform()
#查看构成新的几个变量,查看单个变量的方差贡献率
print(xi.shape,transfer.explained_variance_ratio_)  
#4.输出新构造出来的主成分变量
Fi=[ ]
for i in range(1,xi.shape[1]+1):
    F="F" + str(i)
    Fi.append(F)
data02 = pd.DataFrame(xi,columns=Fi)
display(data02.head(3))

(206209, 27) [0.48237998 0.09585824 0.05185877 0.03590181 0.0293466  0.02393094
 0.01899492 0.0183208  0.01487788 0.0134451  0.01121877 0.01102918
 0.01052171 0.00980307 0.00832174 0.00726185 0.00712991 0.00683061
 0.00640343 0.00580483 0.00534075 0.00487297 0.00477908 0.00462158
 0.00444346 0.00413755 0.00408034]

3 rows × 27 columns