转载请注明出处：http://blog.csdn.net/gamer_gyt

博主微博：http://weibo.com/234654758

Github：https://github.com/thinkgamer

公众号：搜索与推荐Wiki

个人网站：http://thinkgamer.github.io


推荐系统在我们的生活中无处不在，比如购物网站，视频音乐网站，新闻网站等，那么推荐系统是如何工作的，他是基于什么方式实现的？可以在《推荐系统开发实战》这本书中进行系统的了解和学习，本篇文章是该系列文章的开篇之作，带领大家认识一下基于最近相似用户的推荐。以下内容摘自于《推荐系统开发实战》


嗨，Susan，最近有什么好看的电影吗？
Thinkgamer，我觉得《芳华》不错，推荐你可以去看下。

这样的场景相信我们会经常遇到，当我们不知道要看哪部电影时，会咨询一下身边的朋友，从他们那里得到一些意见。当我们在咨询别人时，往往会有自己的判断，Thinkgamer喜欢文艺片，他不会去征求喜欢动画片的Jake，但是他会去咨询同样喜欢文艺片的Susan。
基于上边的描述，我们可以总结出UserCF的算法过程：

计算用户相似度
寻找给定用户最相近的K个用户
将K个用户喜欢的且给定用户没有行为的物品推荐给给定用户

简单的讲就是：给用户推荐“和他兴趣相投的其他用户”喜欢的物品。


上图所示是一个基于用户的协同过滤推荐的例子，用户A和用户C同时喜欢电影A和电影C，用户C还喜欢电影D，因此将用户A没有表达喜好的电影D推荐给用户A。
针对上述过程，可以分为以下步骤：
构建用户物品评分表
假设用户与物品所表达的喜好程度（即评分），如下表所示：




用户
物品a
物品b
物品c
物品d
物品e




A
3.0
4.0
0
3.5
0


B
4.0
0
4.5
0
3.5


C
0
3.5
0
0
3


D
0
4
0
3.5
3


相似度计算
计算用户之间相似度的方法有很多，这里选用的是余弦相似度，如下：



针对用户u和v，上述公式中的参数如下。

N(u)：用户u有过评分的物品集合；
N(v)：用户v有过评分的物品集合；
Wuv：用户u和用户v的余弦相似度。

结合上表，可以分别求得用户C和其他三个用户的相似度，见下面三公式：



从计算结果来看，D用户与C用户相似度最大。
从表中也可以直接看出，用户D和C都在b和e物品上进行了评分，用户A、B和C也都在b物品上进行了评分。
计算推荐结果
用户C进行评分的物品是b和e，接下来计算用户C对物品a、c、d的偏好程度，见下面三公式：



从上面的计算可以得到，在用户C没有进行评分的物品中倒序排列为a→c→e。这样就可以根据需要取前 K个物品推荐给C用户。
完整代码可参考《推荐系统开发实战》
算法复杂度优化
但是上面的计算存在一个问题——需要计算每一对用户的相似度。代码实现对应的时间复杂度为O(|U|*|U|)，U为用户个数。
在实际生产环境中，很多用户之间并没有交集，也就是并没有对同一样物品产生过行为，所以很多情况下分子为0，这样的稀疏数据就没有计算的必要。
上面的代码实现将时间浪费在计算这种用户之间的相似度上，所以这里可以进行优化：

（1）计算出的用户对（u，v）；

（2）对其除以分母得到u和v的相似度。
针对以上优化思路，需要两步：

（1）建立物品到用户的倒排表T，表示该物品被哪些用户产生过行为；

（2）根据倒查表T，建立用户相似度矩阵W：

在T中，对于每个物品i，设其对应的用户为j、k，
在W中，更新对应位置的元素值，W[j][k]=W[j][k]+1，W[k][j]=W[k][j]+1。

以此类推，这样在扫描完倒查表T之后，就能得到一个完整的用户相似度矩阵W了。

这里的W对应的是前面介绍的余弦相似度中的分子部分，然后用W除以分母，便能最终得到两个用户的兴趣相似度。

以上表为例，总共有4个用户，那么要建一个4行4列的倒排表，具体建立过程如下：

（1）由用户的评分数据得到每个物品被哪些用户评价过，如图5-6所示。



（2）建立用户相似度矩阵W，如图5-7所示。



得到的相似度矩阵W对应的是计算两两用户相似度的分子部分，然后除以分母得到的便是两两用户的相似度。
还是以C用户为例。从图5-7可知，A、B用户与C用户相似度计算的分子都为1，D用户与C用户相似度计算的分子部分为2。其他用户与C用户的相似度计算如下：



得到用户的相似度之后，就可以计算用户对未评分物品的可能评分了。采用的计算方式依旧是：



其中各参数说明如下。

P(u,i)：用户u对物品i的感兴趣程度；
S(u,K)：和用户u兴趣最接近的K个用户；
N(i)：对物品i有过行为的用户集合；
Wuv：用户u和用户v的兴趣相似度；
rvi：用户v对物品i的兴趣，即用户对物品的评分。

依据上式，分别计算用户C对物品a、c、d的可能评分：


同样，对比优化前后的计算可知，结果是一致的。
具体的代码实现可参考：《推荐系统开发实战》一书。
惩罚热门物品
如果两个用户都买过《新华字典》，这并不能说明他们兴趣相同，因为绝大多数中国人都买过《新华字典》。

但如果两个用户都买过《机器学习实战》，那可以认为他们的兴趣比较相似，因为只有研究机器学习的人才可能买这本书。

因此，John S. Breese在论文中提出了式（5.4），根据用户行为计算用户的兴趣相似度：


分子中的倒数部分，惩罚了用户u和用户v共同兴趣列表中热门物品，减小了热门物品对用户相似度的影响。
N(i)是对物品i有过行为的用户集合。物品i越热门，N(i)越大。

对此，修改用户相似度的计算方式，具体的代码实现如函数userSimilarityBest()所示。
具体的代码实现可参考：《推荐系统开发实战》一书。
案例实战
在了解完UserCF的算法原理之后，来开发一个电影推荐系统。这里我们选用的MovieLens数据集，该数据集在《实战》一书中的第三章有详细介绍。
搭建一个推荐系统的步骤包括：

准备数据
选择算法
模型训练
效果评估

这里不过多进行介绍，欢迎关注小编图书。

注：文中多次提到的《推荐系统开发实战》是小编近期要上的一本图书，预计本月（7月末）可在京东，当当上线，感兴趣的朋友可以进行关注！



【技术服务】，详情点击查看：
https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg





扫一扫 关注微信公众号！号主 专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

Hive电商推荐系统开发实战
1.构建数据仓库
2.数据清洗
3.推荐算法实现
4.数据ETL


项目的主要流程：


1.构建数据仓库
（1）创建数据仓库
create database if not exists tmall ;
use tmall ;

创建数据仓库是基础，数据清洗才是最有挑战的地方，在数据清洗的时候，要对数据有足够的敏感性，才能做好数据清洗工作.
（2）创建原始数据表
create external table if not exits tmall.tmall20201125(uid string ,itme string ,price string ,pname string , number int ,pid string) row format delimited by '\t' stored as textFile location '/tmall/20201125';

可以通过desc来查看表的详细信息。
（3）加载数据到数据仓库

首先查看Hadoop上面有没有location ’/tmall/20201125‘，没有的话就创建
hadoop fs -ls /
hadoop fs -mkdir /tmall/20201125

上传文件到HDFS上
hadoop fs -put tmall-2020-1125.csv /tmall/20201125
hadoop fs -ls /tmall/2020/1125

这样数据就放到了Hive数据仓库中，接下来去验证数据结果。
（4）验证数据结果

这个就比较简单了，通过命令大概查看与原数据是否一致

1）统计总条数
	select count(*) from tmall.tmall_20201125

查出来的结果与原数据进行比较，原数据的数量可以通过
wc -l tmall-20201125.csv

2)查看前三行
select * from tmall.tmall_20201125 limit 3;

2.数据清洗
数据清洗是一件很麻烦的事情，在本例中，只对uid和pid两个字段进行了清洗，主要思路是通过创建临时表来完成数据的清洗，这样会麻烦一些，但是可以更好的理解内部表和外部表的区别。优点是中间结果可以在HDFS文件系统上做一个临时的备份。

(1)创建临时表
create table if not exits tmall.tmall_20201125_uid_pid(uid string,pid string) row format delimited fields terminated by '\t' stored as textfile;

(2)数据清洗详细步骤

1）初步填充、检查结果
insert overwrite table tmall.tmall_20201125_uid_pid select uid , pid from tmall.tmall_20201125

验证结果的方式就是提取出来的数据从HDFS加载到本地
hadoop fs -get /user/hive/warehouse/tmall.db/tmall_20201125_uid_pid/00000_0

这样抽取的数据就加载到了本地，通过vi查看数据中的内容，发现有一些uid字段为空，像这样的数据我们称为噪声数据，现在的目的就是将这些噪声数据过滤掉。

2）初步清洗

通过抽取正则函数来实现：regexp_extract(string subject,string patten ,int index)
3.推荐算法实现
4.数据ETL

转载请注明出处：http://blog.csdn.net/gamer_gyt

博主微博：http://weibo.com/234654758

Github：https://github.com/thinkgamer

公众号：搜索与推荐Wiki

个人网站：http://thinkgamer.github.io


不管是电商网站，还是新闻资讯类网站，推荐系统都扮演着十分重要的角色。一个优秀的推荐系统能够推荐出让人满意的物品，但这不仅是推荐算法的功劳，整个推荐架构所扮演的角色也举足轻重。

学术界往往更加关注推荐算法的各项评估指标。从基本的协同过滤到点击率预估算法，从深度学习到强化学习，学术界都始终走在最前列。一个推荐算法从出现到在业界得到广泛应用是一个长期的过程，因为在实际的生产系统中，首先需要保证的是稳定、实时地向用户提供推荐服务，在这个前提下才能追求推荐系统的效果。
在生产系统中，不管是用户维度、物品维度还是用户和物品的交互维度，数据都是极其丰富的，学术界对算法的使用方法不能照搬到工业界。当一个用户访问推荐模块时，系统不可能针对该用户对所有的物品进行排序，那么推荐系统是怎么解决的呢？对应的商品众多，如何决定将哪些商品展示给用户？对于排序好的商品，如何合理地展示给用户？
架构介绍
图14-1所示是业界推荐系统通用架构图，主要包括：底层基础数据、数据加工存储、召回内容、计算排序、过滤和展示、业务应用。

底层基础数据是推荐系统的基石，只有数据量足够多，才能从中挖掘出更多有价值的信息，进而更好地为推荐系统服务。底层基础数据包括用户和物品本身数据、用户行为数据、用户系统上报数据等。

图14-2～图14-4所示为用户本身数据、物品本身数据和用户行为数据。



得到底层基础数据之后，就要对数据进行加工处理和分析了，如结合用户属性信息和行为信息构建用户画像，结合物品属性信息和用户对物品的行为信息构建物品画像。基于用户对物品的行为数据构建特征工程，同时进行相关的数据分析。

数据在处理之后存储到相应的位置（业务推荐系统使用的数据一般存储在redis中），供推荐系统实时调用。
召回内容
电商网站、内容网站、视频网站中数据量很大，并不能直接把所有的物品数据全部输送到推荐系统进行排序，那么如何对物品进行筛选就成了很关键的问题。

第4章中介绍了一些常用的数据挖掘算法和应用场景，在进行物品召回时可以基于一些常用的机器学习算法构建用户偏好模型、用户兴趣模型、物品相似模型、物品互补模型等。在进行内容召回时，只召回和用户有偏好关系、和用户有直接关联、和用户有直接关系的相关物品，输入排序模型，进行打分排序。

例如，在某新闻类网站中，根据用户对新闻的相关行为信息构建用户对新闻标签的兴趣模型，在为用户推荐时就可以推荐用户偏好标签下的新闻数据，如图14-5所示。

在物品召回过程中，重点是如何构建合适的用户偏好模型，只有保证偏好模型的准确性才能确保用户召回物品的准确性。
计算排序
特征工程
“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。特征工程能使模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。
特征工程在机器学习中起着非常重要的作用，一般认为包括特征构建、特征提取、特征选择三部分。 特征提取与特征选择都是为了从原始特征中找出最有效的特征。它们之间的区别是：

特征提取强调通过特征转换的方式得到一组具有明显物理意义或统计意义的特征；
特征选择是从特征集合中挑选一组具有明显物理意义或统计意义的特征子集。

两者都能帮助减少特征维度、数据冗余，特征提取有时能发现更有意义的特征属性，特征选择的过程经常能表示出每个特征对于模型构建的重要性。

特征工程的标准化流程主要分为以下几步：

（1）基于业务理解，找到对因变量有影响的所有自变量，即特征。

（2）评估特征的可用性、覆盖率、准确率等。

（3）特征处理：包括特征清洗、特征预处理（特征预处理可参考第4章“数据预处理”部分）、特征选择。

（4）特征监控：特征对算法模型的影响很大，微小的浮动都会带来模型效果的很大波动，因此做好重要特征的监控可防止特征异常变动带来线上事故。
特征分类
在工业界的推荐系统中，典型的特征主要分为以下四类。

相关性特征：评估内容的属性与用户是否匹配。显性的匹配包括关键词匹配、分类匹配、来源匹配、主题匹配等。
环境特征：包括地理位置、时间。这些既是偏差特征，又能以此构建一些匹配特征。
热度特征：包括全局热度、分类热度、主题热度及关键词热度等。内容热度信息在大的推荐系统中特别是在用户冷启动时非常有效。
协同特征：可以在一定程度上帮助解决所谓算法越推越窄的问题。协同特征并不考虑用户已有历史，而是通过用户行为分析不同用户间的相似性，如点击相似、兴趣分类相似、主题相似、兴趣词相似，甚至向量相似，从而扩展模型的探索能力。

排序算法
在得到召回的物品之后，就要考虑如何对这些物品进行正确的排序。目前业界在机器学习领域最普遍的做法是将排序推荐模型作为二分类模型来训练，即在构造样本集的过程中对应的标签为0或1（未点击或点击）。常用的排序算法包括但不局限于GBDT、LR、XGBoost等，当然也有很多把GBDT和LR结合起来使用的，但是模型融合后的效果在不同的业务场景中带来的提升并不是很大。
物品过滤和展示

过滤和展示直接影响用户体验，因此在做推荐系统时一定要注意相关的过滤和展示规则。

物品过滤
经常会听到人们说“电商网站经常给我推荐我已经买过的东西”。其实在做推荐系统的过程中会有相关的过滤规则，在电商推荐系统中，最常用的过滤规则是：用户购买过滤，即在进行商品召回时过滤掉用户过去一段时间内已经购买过的商品和相似商品。例如，用户昨天买了一个机械键盘，今天的推荐系统就不会再给该用户推荐机械键盘了。

同时也会有一些其他过滤规则如：

项目指定的一些敏感词汇或敏感商品等过滤。
刷单商品过滤。
曝光商品过滤（有时会认为那些曝光过的商品是用户不感兴趣的，即看到了没有进行点击）。
无货商品过滤。

至于为什么推荐系统会给用户推荐已经购买过的商品，是因为在用户购买该商品之后，又对该类型的商品产生了新的行为，所以推荐系统会再次进行推荐。
物品展示
展示即用户看到的推荐结果。不同类型的推荐系统中展示的规则不一样，但基本原则是：品类隔离展示，即同类型的商品不能出现在相邻的位置。例如推荐系统返回的推荐结果集中有两个手机，这两个手机就不能在相邻的位置展示。
有的推荐系统会要求第一屏内不能出现同类型的商品，如推荐系统给用户的第一屏展示了8个商品，那么这8个商品中就不能出现同类型的商品（如不能出现两个手机）。
效果评估
无论是推荐架构最开始的召回内容、计算排序，还是最后的过滤和展示，每次新上一个方案之后都要进行效果统计，生产系统中最常用的效果评估方法就是ABTest，更多关于ABTest的使用介绍可以参考第10章。

在生产系统中，进行ABtest之后，往往会将不好的方案下线，保留效果更好的一方，同时也会不断上线新的召回、排序特征等，迭代优化模型，提升线上效果。

注：《推荐系统开发实战》是小编近期要上的一本图书，预计本月（7月末）可在京东，当当上线，感兴趣的朋友可以进行关注！



【技术服务】，详情点击查看：
https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg





扫一扫 关注微信公众号！号主 专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

    

                    

                    

                    
                    
                    
经历近一年的时间，《推荐系统开发实战》终于在各大电商网站上线了，在这一年中，前半年是集中时间写稿，后半年则是修正，历时艰辛，但结果还是好的，终于等到了他——《推荐系统开发实战》。在此特别感谢以下六位大咖老师写的推荐语（送书福利在文末）：
黄文坚 老师：墨宽投资CEO，《TensorFlow实战》作者
洪强宁 老师：爱因互动CTO&创始人
兜哥：百度安全实验室AI安全负责人，三本关于安全书籍的作者
杨宏志 老师：字节跳动系统架构高级工程师，前知乎首页架构负责人
杨旭东 老师：阿里巴巴算法专家
崔娜 老师：京东商城个性化应用组算法负责人
这本书是一本关于推荐系统从入门到进阶的读物，采用“理论+实践”的形式展开，不仅对各种类型的推荐算法进行了介绍，还对算法所涉及的基础理论知识进行了补充。
全书共分为14个章节，如下：
本书共包含34 个实例，其中最后三个为完整的推荐系统实例，在读者进行基础知识学习的同时，可通过相应的实例加深对理论的理解。最后三个完整的实例更是将读者从一个分散化的学习状态带入一个完整的推荐系统开发中来，对学习和工作都有很强的指导意义。
书中的实例开发几乎都是基于公开的数据集进行的，当然也涉及一些网络中获取的数据，其最终目的都是让读者能够更好地理解推荐算法，更直观地认识推荐系统。书中所涉及的数据集和实例代码都会提供给读者，这不仅在一定程度上方便读者学习，而且为以后的工作提供了便利。
如果你想要知道书中的大概内容，可参考：值得收藏  |  推荐系统开发实战系列文章汇总
下面是图书的实拍图：
 
购买
目前本书已经在京东，当当和天猫上线，感兴趣的朋友可以关注购买了！
京东自营，二维码识别购买
当当自营，二维码识别购买         
淘宝扫码，识别购买
福利
答疑解惑
        本书的读者，可以加作者微信，作者拉你进读者交流群，一起探讨。作者微信为：
签售
        如果大家有想要签名版的图书，可以加上图作者微信，付款，统一进行发货，具体操作可加微信私聊！
送书
三种渠道：
本公众号后台回复「抽奖」，共送出5本，8月19日（下周一）晚8点开奖；
在本篇帖子下留言，写下你想了解的推荐系统相关知识或者对小编后面的期待，点赞数最多的两条留言的作者，小编自费送书，截止到周六中午十二点(相同点赞数留言时间靠前者送书，靠后者发红包)；
关注下方「搜索与推荐Wiki」公众号，回复「抽奖」参与，8月22日（下周四）上午11点开奖；

如果你真的愿意去努力，你人生最坏的结果，也不过是大器晚成。
Thinkgamer
长按识别二维码，关注「搜索与推荐Wiki」


你点的每个“在看”，我都认真当成了喜欢