转载请注明出处：http://blog.csdn.net/gamer_gyt

博主微博：http://weibo.com/234654758

Github：https://github.com/thinkgamer

公众号：搜索与推荐Wiki

个人网站：http://thinkgamer.github.io


推荐系统在我们的生活中无处不在，比如购物网站，视频音乐网站，新闻网站等，那么推荐系统是如何工作的，他是基于什么方式实现的？可以在《推荐系统开发实战》这本书中进行系统的了解和学习，本篇文章是该系列文章的开篇之作，带领大家认识一下基于最近相似用户的推荐。以下内容摘自于《推荐系统开发实战》


嗨，Susan，最近有什么好看的电影吗？
Thinkgamer，我觉得《芳华》不错，推荐你可以去看下。

这样的场景相信我们会经常遇到，当我们不知道要看哪部电影时，会咨询一下身边的朋友，从他们那里得到一些意见。当我们在咨询别人时，往往会有自己的判断，Thinkgamer喜欢文艺片，他不会去征求喜欢动画片的Jake，但是他会去咨询同样喜欢文艺片的Susan。
基于上边的描述，我们可以总结出UserCF的算法过程：

计算用户相似度
寻找给定用户最相近的K个用户
将K个用户喜欢的且给定用户没有行为的物品推荐给给定用户

简单的讲就是：给用户推荐“和他兴趣相投的其他用户”喜欢的物品。


上图所示是一个基于用户的协同过滤推荐的例子，用户A和用户C同时喜欢电影A和电影C，用户C还喜欢电影D，因此将用户A没有表达喜好的电影D推荐给用户A。
针对上述过程，可以分为以下步骤：
构建用户物品评分表
假设用户与物品所表达的喜好程度（即评分），如下表所示：




用户
物品a
物品b
物品c
物品d
物品e




A
3.0
4.0
0
3.5
0


B
4.0
0
4.5
0
3.5


C
0
3.5
0
0
3


D
0
4
0
3.5
3


相似度计算
计算用户之间相似度的方法有很多，这里选用的是余弦相似度，如下：



针对用户u和v，上述公式中的参数如下。

N(u)：用户u有过评分的物品集合；
N(v)：用户v有过评分的物品集合；
Wuv：用户u和用户v的余弦相似度。

结合上表，可以分别求得用户C和其他三个用户的相似度，见下面三公式：



从计算结果来看，D用户与C用户相似度最大。
从表中也可以直接看出，用户D和C都在b和e物品上进行了评分，用户A、B和C也都在b物品上进行了评分。
计算推荐结果
用户C进行评分的物品是b和e，接下来计算用户C对物品a、c、d的偏好程度，见下面三公式：



从上面的计算可以得到，在用户C没有进行评分的物品中倒序排列为a→c→e。这样就可以根据需要取前 K个物品推荐给C用户。
完整代码可参考《推荐系统开发实战》
算法复杂度优化
但是上面的计算存在一个问题——需要计算每一对用户的相似度。代码实现对应的时间复杂度为O(|U|*|U|)，U为用户个数。
在实际生产环境中，很多用户之间并没有交集，也就是并没有对同一样物品产生过行为，所以很多情况下分子为0，这样的稀疏数据就没有计算的必要。
上面的代码实现将时间浪费在计算这种用户之间的相似度上，所以这里可以进行优化：

（1）计算出的用户对（u，v）；

（2）对其除以分母得到u和v的相似度。
针对以上优化思路，需要两步：

（1）建立物品到用户的倒排表T，表示该物品被哪些用户产生过行为；

（2）根据倒查表T，建立用户相似度矩阵W：

在T中，对于每个物品i，设其对应的用户为j、k，
在W中，更新对应位置的元素值，W[j][k]=W[j][k]+1，W[k][j]=W[k][j]+1。

以此类推，这样在扫描完倒查表T之后，就能得到一个完整的用户相似度矩阵W了。

这里的W对应的是前面介绍的余弦相似度中的分子部分，然后用W除以分母，便能最终得到两个用户的兴趣相似度。

以上表为例，总共有4个用户，那么要建一个4行4列的倒排表，具体建立过程如下：

（1）由用户的评分数据得到每个物品被哪些用户评价过，如图5-6所示。



（2）建立用户相似度矩阵W，如图5-7所示。



得到的相似度矩阵W对应的是计算两两用户相似度的分子部分，然后除以分母得到的便是两两用户的相似度。
还是以C用户为例。从图5-7可知，A、B用户与C用户相似度计算的分子都为1，D用户与C用户相似度计算的分子部分为2。其他用户与C用户的相似度计算如下：



得到用户的相似度之后，就可以计算用户对未评分物品的可能评分了。采用的计算方式依旧是：



其中各参数说明如下。

P(u,i)：用户u对物品i的感兴趣程度；
S(u,K)：和用户u兴趣最接近的K个用户；
N(i)：对物品i有过行为的用户集合；
Wuv：用户u和用户v的兴趣相似度；
rvi：用户v对物品i的兴趣，即用户对物品的评分。

依据上式，分别计算用户C对物品a、c、d的可能评分：


同样，对比优化前后的计算可知，结果是一致的。
具体的代码实现可参考：《推荐系统开发实战》一书。
惩罚热门物品
如果两个用户都买过《新华字典》，这并不能说明他们兴趣相同，因为绝大多数中国人都买过《新华字典》。

但如果两个用户都买过《机器学习实战》，那可以认为他们的兴趣比较相似，因为只有研究机器学习的人才可能买这本书。

因此，John S. Breese在论文中提出了式（5.4），根据用户行为计算用户的兴趣相似度：


分子中的倒数部分，惩罚了用户u和用户v共同兴趣列表中热门物品，减小了热门物品对用户相似度的影响。
N(i)是对物品i有过行为的用户集合。物品i越热门，N(i)越大。

对此，修改用户相似度的计算方式，具体的代码实现如函数userSimilarityBest()所示。
具体的代码实现可参考：《推荐系统开发实战》一书。
案例实战
在了解完UserCF的算法原理之后，来开发一个电影推荐系统。这里我们选用的MovieLens数据集，该数据集在《实战》一书中的第三章有详细介绍。
搭建一个推荐系统的步骤包括：

准备数据
选择算法
模型训练
效果评估

这里不过多进行介绍，欢迎关注小编图书。

注：文中多次提到的《推荐系统开发实战》是小编近期要上的一本图书，预计本月（7月末）可在京东，当当上线，感兴趣的朋友可以进行关注！



【技术服务】，详情点击查看：
https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg





扫一扫 关注微信公众号！号主 专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

2020/5/26
最近开始学习推荐系统开发实战这本书，这是学习的第一个python程序，里面有很多地方需要做笔记。
1、python 中os模块 os.path.exists() 含义
os.path模块主要用于文件的属性获取,exists是“存在”的意思，所以顾名思义，os.path.exists()就是判断括号里的文件是否存在的意思，括号内的可以是文件路径。如果不存在，返回的则是FALSE。
2、Python os.listdir() 方法
os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。
3、Python format 格式化函数
4、Python中    with open ( file_abs,  'r' ) as f :     的用法以及意义
要以读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标示符：
标示符   'r'  表示读，这样我们就成功地打开了一个文件。
如果文件不存在，open()函数就会抛出一个 IOError的错误，并且给出错误码和详细的信息告诉你文件不存在：
如果文件打开成功，接下来，调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示：
最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的：
由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：
每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法：
这和前面的try ... finally是一样的，但是代码更佳简洁，并且不必调用f.close()方法。
调用read()会一次性读取文件的全部内容，如果文件有20G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。
另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。因此，要根据需要决定怎么调用。
如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：
写文件：
写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：
可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：
要写入特定编码的文本文件，请给open()函数传入encoding参数，将字符串自动转换成指定编码。要读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数，例如，读取GBK编码的文件：
遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：
5、Python strip()方法
Python strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。
6、Python3 endswith()方法
endswith() 方法用于判断字符串是否以指定后缀结尾，如果以指定后缀结尾返回 True，否则返回 False。
Python startswith()方法
Python startswith() 方法用于检查字符串是否是以指定子字符串开头，如果是则返回 True，否则返回 False。
7、Python split()方法
Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串
8、Python的random.sample
用于从 list(users)中随机抽取1000个数据，生成新的列表 users_1000
9、python中的随机数种子seed()
给随机数对象一个种子值，用于产生随机序列。
对于同一个种子值的输入，之后产生的随机数序列也一样。
通常是把时间秒数等变化值作为种子值，达到每次运行产生的随机系列都不一样
seed() 省略参数，意味着使用当前系统时间生成随机数。
10、json 中的 load、loads、dump、dumps分别是什么？
dump 和 dumps 都实现了序列化
load 和 loads 都实现反序列化
变量从内存中变成可存储或传输的过程称之为序列化 ，序列化是将对象状态转化为可保存或可传输格式的过程。
变量内容从序列化的对象重新读到内存里称之为反序列化  ，反序列化是流转换为对象。
load 和 loads (反序列化)
load：针对文件句柄，将json格式的字符转换为dict，从文件中读取 (将string转换为dict)
loads：针对内存对象，将string转换为dict (将string转换为dict)
dump 和 dumps(序列化)
dump：将dict类型转换为json字符串格式，写入到文件 (易存储)
dumps：将dict转换为string (易传输)
11、Python 字典(Dictionary)
(1)setdefault() 方法
如果字典中包含有给定键，则返回该键对应的值，否则返回为该键设置的值。
(2)dict.keys() 方法：获取所有的 key 值
(3)dict.items() 方法：以列表返回可遍历的(键, 值) 元组数组。

Hive电商推荐系统开发实战
1.构建数据仓库
2.数据清洗
3.推荐算法实现
4.数据ETL


项目的主要流程：


1.构建数据仓库
（1）创建数据仓库
create database if not exists tmall ;
use tmall ;

创建数据仓库是基础，数据清洗才是最有挑战的地方，在数据清洗的时候，要对数据有足够的敏感性，才能做好数据清洗工作.
（2）创建原始数据表
create external table if not exits tmall.tmall20201125(uid string ,itme string ,price string ,pname string , number int ,pid string) row format delimited by '\t' stored as textFile location '/tmall/20201125';

可以通过desc来查看表的详细信息。
（3）加载数据到数据仓库

首先查看Hadoop上面有没有location ’/tmall/20201125‘，没有的话就创建
hadoop fs -ls /
hadoop fs -mkdir /tmall/20201125

上传文件到HDFS上
hadoop fs -put tmall-2020-1125.csv /tmall/20201125
hadoop fs -ls /tmall/2020/1125

这样数据就放到了Hive数据仓库中，接下来去验证数据结果。
（4）验证数据结果

这个就比较简单了，通过命令大概查看与原数据是否一致

1）统计总条数
	select count(*) from tmall.tmall_20201125

查出来的结果与原数据进行比较，原数据的数量可以通过
wc -l tmall-20201125.csv

2)查看前三行
select * from tmall.tmall_20201125 limit 3;

2.数据清洗
数据清洗是一件很麻烦的事情，在本例中，只对uid和pid两个字段进行了清洗，主要思路是通过创建临时表来完成数据的清洗，这样会麻烦一些，但是可以更好的理解内部表和外部表的区别。优点是中间结果可以在HDFS文件系统上做一个临时的备份。

(1)创建临时表
create table if not exits tmall.tmall_20201125_uid_pid(uid string,pid string) row format delimited fields terminated by '\t' stored as textfile;

(2)数据清洗详细步骤

1）初步填充、检查结果
insert overwrite table tmall.tmall_20201125_uid_pid select uid , pid from tmall.tmall_20201125

验证结果的方式就是提取出来的数据从HDFS加载到本地
hadoop fs -get /user/hive/warehouse/tmall.db/tmall_20201125_uid_pid/00000_0

这样抽取的数据就加载到了本地，通过vi查看数据中的内容，发现有一些uid字段为空，像这样的数据我们称为噪声数据，现在的目的就是将这些噪声数据过滤掉。

2）初步清洗

通过抽取正则函数来实现：regexp_extract(string subject,string patten ,int index)
3.推荐算法实现
4.数据ETL

	

《推荐系统开发实战》这本书上市已经半年了，鉴于有很多读者对于最后三章的案例复现出现的一些问题和疑问，这里再详细说明一下。
关于代码获取 
可在书籍的前几页查看获取方式，之前把这三大案例的代码放到了github上，方便大家下载，但是有“不法分子”在闲鱼等平台进行交易，售价高达299元，我表示也很无奈，所以就把github上的三个库设置为private了，现在获取代码的唯一方式就是通过查看图书前几页的说明进行获取。
复现过程 
以新闻推荐系统为例。
Step 1：分别在编译器中NewsRec和NewsRec-Vue项目
例如我这里后端项目(NewsRec)是用PyCharm打开的，前端项目(NewsRec-Vue)是用Sublime打开的。
PyCharm打开后端项目
Step 2：查看本机IP
Linux/MAC终端输入：ifconifg
Windows终端输入：ipconfig
比如我查看我的IP为：
Step 3：修改后端和前端中涉及的IP地址
后端
NewsRec/NewsRec/setting.py
ALLOWED_HOSTS = ['192.168.199.165','127.0.0.1']
将上面的 192.168.199.165换成你自己的IP地址
前端前端有两个地方需要修改(具体如下图所示)
NewsRec-Vue/config/index.js
NewsRec-Vue/src/assets/js/linkBase.js
Step 4：将newsrec.sql 导入到mysql库中并修改后端mysql的信息
这里使用Navicat for mysql进行文件的导入，首先创建newsrec数据库，然后将sql文件导入，导入成功之后显示为：
后端mysql信息修改配置
Step 5：项目运行
后端运行，在编译器中执行(注意端口一定是8000，因为和前端交互中写好了)：
python manage.py runserver 0.0.0.0:8000
前端运行，在终端运行(如果是WebStorm打开的花，也可以在编译器中执行)：
npm installnpm run dev
看到前端项目显示下面这样的话，表示成功。
 1 1 1 1 1 1 1 1 1 1 1 95% emitting                 DONE  Compiled successfully in 3856ms    21:27:50 I  Your application is running here: http://localhost:8001
常见问题 
因为这里采用的是前后端分离进行项目构建的，在工业界也是这样，前端和后端之间通过API接口进行数据访问。所以访问IP的准确性显得格外重要，大多数案例复现不成功均是由于IP没有配置正确造成。
登录时，下拉无用户可供选择
点击下一步没反应
小主请稍等，正在加载中
界面无新闻、音乐信息、图书信息等数据
如果还有其他问题，可在下方评论区留言，进行解答。
解决方法：
检查IP配置！检查IP配置！检查IP配置！
在浏览器上进行元素审查(F12)
eg：我把后端项目停了，保证前端项目运行，下拉无用户选择，可以通过f12进行元素审查，如下图所示
好了，关于三大案例的复现说明就介绍到这里，如果还有什么问题，可以在评论区留言，放拜年其他人查看！