{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台；社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":"https://developer.aliyun.com/group/?spm=a2c6h.12883283.1377930.25.7287201c9RKTCi&groupType=other","link":"https://developer.aliyun.com/","icon":"https://img.alicdn.com/tfs/TB1TlXBEkT2gK0jSZPcXXcKkpXa-200-200.png","btn2":"开发者藏经阁","tip":"打通开发者成长路径，学习中心   。全线阿里云技术大牛公开课，立即查看","btn1":"技术与产品技术圈","link2":"https://developer.aliyun.com/topic/ebook?spm=a2c6h.12883283.1362932.15.7287201c9RKTCi","title":"阿里云开发者社区"}],"search":[{"txt":"学习中心","link":"https://developer.aliyun.com/learning?spm=a2c6h.13788135.1364563.41.299f5f24exe3IS"},{"txt":"技能测试中心 ","link":"https://developer.aliyun.com/exam?spm=a2c6h.13716002.1364563.42.6cac18a3JWCM5U"},{"txt":"开发者云 ","link":"https://developer.aliyun.com/adc/?spm=a2c6h.13716002.1364563.59.6b0818a3DV0vzN"},{"txt":"在线编程 ","link":"https://developer.aliyun.com/coding?spm=5176.13257455.1364563.57.701e7facHvqi5r"},{"txt":"学习中心 ","link":"https://developer.aliyun.com/learning?spm=a2c6h.12883283.1364563.41.5f1f201c5CLDCC"},{"txt":"高校计划 ","link":"https://developer.aliyun.com/adc/college/?spm=a2c6h.13716002.1364563.58.6cac18a3JWCM5U"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}}}
{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台；社区覆盖了云计算、大数据、人工智能、IoT、云原生、数据库、微服务、安全、开发与运维9大技术领域。","link1":"https://developer.aliyun.com/group/?spm=a2c6h.12883283.1377930.25.7287201c9RKTCi&groupType=other","link":"https://developer.aliyun.com/","icon":"https://img.alicdn.com/tfs/TB1TlXBEkT2gK0jSZPcXXcKkpXa-200-200.png","btn2":"开发者藏经阁","tip":"打通开发者成长路径，学习中心   。全线阿里云技术大牛公开课，立即查看","btn1":"技术与产品技术圈","link2":"https://developer.aliyun.com/topic/ebook?spm=a2c6h.12883283.1362932.15.7287201c9RKTCi","title":"阿里云开发者社区"}],"search":[{"txt":"学习中心","link":"https://developer.aliyun.com/learning?spm=a2c6h.13788135.1364563.41.299f5f24exe3IS"},{"txt":"技能测试中心 ","link":"https://developer.aliyun.com/exam?spm=a2c6h.13716002.1364563.42.6cac18a3JWCM5U"},{"txt":"开发者云 ","link":"https://developer.aliyun.com/adc/?spm=a2c6h.13716002.1364563.59.6b0818a3DV0vzN"},{"txt":"在线编程 ","link":"https://developer.aliyun.com/coding?spm=5176.13257455.1364563.57.701e7facHvqi5r"},{"txt":"学习中心 ","link":"https://developer.aliyun.com/learning?spm=a2c6h.12883283.1364563.41.5f1f201c5CLDCC"},{"txt":"高校计划 ","link":"https://developer.aliyun.com/adc/college/?spm=a2c6h.13716002.1364563.58.6cac18a3JWCM5U"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}}}}

Movies Recommendation：
MovieLens
基本内容：
MovieLens数据集由GroupLens研究组在 University of Minnesota — 明尼苏达大学(与我们使用数据集无关)中组织的。 MovieLens是电影评分的集合，有各种大小。 数据集命名为1M，10M和20M，是因为它们包含1,10和20万个评分。 最大的数据集使用约14万用户的数据，并覆盖27,000部电影。 除了评分之外，MovieLens数据还包含类似“Western”的流派信息和用户应用的标签，如“over the top”和“Arnold Schwarzenegger”。 这些流派标记和标签在构建内容向量方面是有用的。内容向量对项目的信息进行编码，例如颜色，形状，流派或真正的任何其他属性 - 可以是用于基于内容的推荐算法的任何形式。
MovieLens的数据在过去20年中已经由大学的学生以及互联网上的人们进行收集了。 MovieLens有一个网站，您可以注册，贡献自己的评分，并接收由GroupLens组实施的几个推荐者算法这里之一的推荐内容。
Yahoo!
基本内容：
Movie, Music, and Images Ratings Data Sets.
Cornell University
基本内容：
Movie-review data for use in sentiment-analysis experiments.
Netflix Prize Dataset
基本内容：
MovieTweetings
基本内容：
Jester
基本内容：
当你让一批学者写一个笑话评分系统，你会得到什么？Jester！ Jester是由Ken Goldberg和他在加州大学伯克利分校的小组发展的，包含150个笑话大约600万的评分。 像MovieLens一样，Jester评分由互联网上的用户提供。 你可以在这里贡献你自己的评分。
与我们使用的其他数据集相比，Jester有两个方面是特殊的：它使用-10到10的连续等级，并且在量级上具有最高的评分密度。评分密度的意思是大概“平均每个用户评价多少个项目”？如果每个用户都对每个项目进行了评分，那么评级密度将为100％。 如果没有人评价过任何东西，那将是0％。 Jester的密度约为30％，这意味着一个用户平均对30％的笑话进行了评分。 作为比较，MovieLens 1M的密度为4.6％(其他数据集的密度低于1％)。当然不是那么简单。 不是每个用户都评价相同数量的项目。 相反，一些用户对许多项目进行评分，大多数用户只评价一些。 这可以在以下直方图中看到：
评分图
Music Recommendation**:
Last.fm
基本内容：
Music Recommendation Data Sets
Yahoo!
基本内容：
Movie, Music, and Images Ratings Data Sets
Audioscrobbler
基本内容：
Music Recommendation Data Sets
Amazon
基本内容：
Audio CD recommendations.
Books Recommendation:
Institut für Informatik, Universität Freiburg
基本内容：
Book Ratings Data Sets
BookCrossing数据集
基本内容：
BookCrossing 数据集包含用户对图书的行为信息,包含 3 个文件。
- BX-Users.csv ,包含用户的 ID 、位置和年龄。
- BX-Books.csv ,包含图书的 ISBN 、标题、作者、发表年代、出版社和缩略。
- BX-Book-Ratings.csv ,包含用户对图书的评分信息。
Products Data:
Amazon product data
基本内容：
-Description
This dataset contains product reviews and metadata from Amazon, including 143.7 million reviews spanning May 1996 - July 2014.
This dataset includes reviews (ratings, text, helpfulness votes), product metadata (descriptions, category information, price, brand, and image features), and links (also viewed/also bought graphs).
Files
**Complete review data
Please see the per-category files below, and only download these (large!) files if you absolutely need them:
Food Recommendation:
Chicago Entree
基本内容：
Food Ratings Data Sets
Mobile Recommendation：
Data Set for Mobile App Retrieval
基本内容：
Frappe
基本内容：
Ali_Mobile_Rec
基本内容：
Mobile App User Dataset
基本内容：
Healthcare Recommendation:
Nursing Home
基本内容：
Provider Ratings Data Set
Hospital Ratings
基本内容：
Survey of Patients Hospital Experiences
Dating Recommendation:
Dating website recommendation
基本内容：
www.libimseti.cz - Dating website recommendation (collaborative filtering)
Scholarly Paper Recommendation:
National University of Singapore
基本内容：
Scholarly Paper Recommendation
Wikipedia
基本内容：
维基百科是其用户撰写的协作百科全书。维基百科除了为最后一刻拼写学期论文的学生提供信息外，还为每个用户提供每篇文章的每个编辑的数据转储。该数据集已广泛用于社交网络分析，图形和数据库实现测试，以及维基百科用户行为研究。还可以将用户采取的编辑操作，作为隐性评分，表明他们因某些原因关心该页面，并允许我们使用数据集来提出推荐。
由于维基百科不是为了提供推荐者数据集而设计的，所以它确实存在一些挑战。其中一个是从页面中提取有意义的内容向量，但是幸运的是，大多数页面被很好地分类，为每个页面提供了一种类型。构建维基百科的内容向量的挑战与现实世界数据集的推荐面临的挑战相似。所以我们认为这是建立一些这样做的专门知识的好机会。
-下载地址：
Link_1
Others：
OpenStreetMap
基本内容：
OpenStreetMap是一个协作的地图项目，类似于维基百科。 像维基百科一样，OpenStreetMap的数据由用户提供，整个编辑历史的完整转储也是可用的。 数据集中的对象包括道路，建筑物，兴趣点，以及您可能在地图上找到的任何其他内容。 这些对象由键值对标识，因此可以从中创建一个基本的内容向量。 然而，键值对是自由的，所以选择正确的设置是一个挑战。 一些键值对由编辑软件(例如“highway =住宅”)进行标准化和相同的使用，但通常它们可以是用户决定进入的任何内容 - 例如“FixMe !! = Exact location unknown”。
下载链接：
Link_1**
Python Git Repositories
基本内容：
我们收集的最终数据集，也许最不传统的，基于Git存储库中包含的Python代码。 我们写了几个脚本(在Hermes GitHub repo中 在此获取)从互联网上下载存储库，提取其中的信息，并将其加载到Spark中。 从那里我们可以从用户编辑中构建一组隐含的评分。
我们目前通过查看所有导入的库并调用函数从每个Python文件中提取内容向量。 将来我们计划将库和函数本身作为建议的项目。
Delicious数据集
基本内容：
Delicious数据集中包含132 000 000个标签和420 000 000条标签行为记录。该数据集每行是一条标签行为记录,由4部分组成——用户ID、日期、网页URL和标签,代表了一个用户在某一天对某个网页打上了某个标签的行为。
reference：

1、协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法（user-based collaboratIve filtering），和基于物品的协同过滤算法（item-based collaborative filtering）。
1）基于用户的协同过滤算法是通过用户的历史行为数据发现用户对商品或内容的喜欢（如商品购买，收藏，内容评论或分享），并对这些喜好进行度量和打分。根据不同用户对相同商品或内容的态度和偏好程度计算用户之间的关系。在有相同喜好的用户间进行商品推荐。
2）基于物品的协同过滤算法与基于用户的协同过滤算法很像，将商品和用户互换。通过计算不同用户对不同物品的评分获得物品间的关系。基于物品间的关系对用户进行相似物品的推荐。这里的评分代表用户对商品的态度和偏好。
2、这里做了初步的实现基于用户的协同过滤，相关理论可以进一步查阅。
# -*- coding: utf-8 -*-
'''
Created on 2017年9月18日
@author: Jason.F
'''
import time
import pandas as pd
import math
import numpy as np
from operator import itemgetter
def Recommend(user,df_test,W,TopK=3):
rvi=1 #用户v对物品i的兴趣，默认为1
#TopK：与用户user兴趣最接近的k个用户
rank=dict()
#df_itemU=df_sample[df_sample['userid'] == user]
#u_items=list(set(df_itemU['itemid'].values))
for v,wuv in sorted(W[user].items(),key=itemgetter(1),reverse=True)[0:TopK]:
df_itemV=df_test[df_test['userid'] == v]
v_items=list(set(df_itemV['itemid'].values))
for i in v_items:
#if i in u_items:
#    continue
if i not in rank.keys():
rank[i]=0
rank[i] +=wuv*rvi
return rank #返回推荐的物品
def UserSimilarity(df_sample):#计算用户相似度
#建立物品到用户的倒排表
item_users=dict()
item_list = list(set(df_sample['itemid'].values))#获取物品列表
for item in item_list:
item_users[item]=set()
df_user=df_sample[df_sample['itemid'] == item]
user_list= list(set(df_user['userid'].values))#获取物品对应的用户列表
for user in user_list:
item_users[item].add(user)
#计算用户之间物品相似度
C = dict()
N = dict()
#初始化
for u in list(set(df_sample['userid'].values)):
N[u]=0
for v in list(set(df_sample['userid'].values)):
if u!=v:
AddTwoDict(C,u,v,0)
W=C #初始化相似度字段
#计算
for item,users in item_users.items():
for u in users:
N[u] += 1
for v in users:
if u==v:
continue
#根据用户行为计算用户相似度，改良余弦相似度公式
C[u][v] +=( 1/math.log(1+len(users)) )
#计算用户相似度矩阵
for u,related_users in C.items():
for v,cuv in related_users.items():
W[u][v]=cuv/math.sqrt(N[u]*N[v])
return W
#二维词典插入
def AddTwoDict(theDict, key_a, key_b, val):
if key_a in theDict:
theDict[key_a].update({key_b: val})
else:
theDict.update({key_a:{key_b: val}})
#计算准确率指标
def Precision(df_test,W,N=5):
hit=0
all=0
#N最靠前的5个物品
for user in list(set(df_test['userid'].values)):
rank=Recommend(user,df_test,W)
df_item=df_test[df_test['userid'] == user]
for item,pui in sorted(rank.items(),key=itemgetter(1),reverse=True)[0:N]:
if item in list(set(df_item['itemid'].values)):
hit+=1
all += N
return hit/(all*1.0)
#召回率
def Recall(df_test,W,N=5):
hit=0
all=0
#N最靠前的5个物品
for user in list(set(df_test['userid'].values)):
rank=Recommend(user,df_test,W)
df_item=df_test[df_test['userid'] == user]
for item,pui in sorted(rank.items(),key=itemgetter(1),reverse=True)[0:N]:
if item in list(set(df_item['itemid'].values)):
hit+=1
all += len(df_item)
return hit/(all*1.0)
if __name__ == '__main__':
start = time.clock()
#导入数据
df_sample = pd.read_csv("D:\tmp\ratings.csv",names=['userid','itemid','ratings','time'],header=0)
df_sample_=df_sample[['userid','itemid']]
#模型训练
W=UserSimilarity(df_sample)
#模型预测
#rank=Recommend(1,df_sample,W)#user=1
#print (rank)
#模型评估，准确率指标
df_test=df_sample.sample(frac=0.2)#抽20%来测试
print (Precision(df_test,W))#准确率
print (Recall(df_test,W))#准确率
end = time.clock()
print('finish all in %s' % str(end - start))
要结合实际业务定义相关参数，以及采集样本（兴趣度或偏好）。
基于物品的协同过滤实现类似。

基于内容推荐概要
基于内容的信息推荐方法的理论依据主要来自于信息检索和信息过滤，所谓的基于内容的推荐方法就是根据用户过去的浏览记录来向用户推荐用户没有接触过的推荐项。主要是从两个方法来描述基于内容的推荐方法：启发式的方法和基于模型的方法。启发式的方法就是用户凭借经验来定义相关的计算公式，然后再根据公式的计算结果和实际的结果进行验证，然后再不断修改公式以达到最终目的。而对于模型的方法就是根据以往的数据作为数据集，然后根据这个数据集来学习出一个模型。一般的推荐系统中运用到的启发式的方法就是使用tf-idf的方法来计算，跟还有tf-idf的方法计算出这个文档中出现权重比较高的关键字作为描述用户特征，并使用这些关键字作为描述用户特征的向量；然后再根据被推荐项中的权重高的关键字来作为推荐项的属性特征，然后再将这个两个向量最相近的(与用户特征的向量计算得分最高)的项推荐给用户。在计算用户特征向量和被推荐项的特征向量的相似性时，一般使用的是cosine方法，计算两个向量之间夹角的cosine值。
基于内容推荐的步骤
1、对数据内容分析，得到物品的结构化描述
2、分析用户过去的评分或评论过的物品的，作为用户的训练样本
3、生成用户画像
a.可以是统计的结果(后面使用相似度计算)
b.也可以是一个预测模型(后面使用分类预测计算)
4、新的物品到来，分析新物品的物品画像
5、利用用户画像构建的预测模型，预测是否应该推荐给用户U
a.策略1：相似度计算
b.策略2：分类器做预测
6、进一步，预测模型可以计算出用户对新物品的兴趣度，进而排序
7、进一步，用户模型在变化，通过反馈更新用户画像(用户画像在这里就是预测模型)
反馈-学习，构成了用户画像的动态变化
基于内容推荐的层次结构
* 内容分析器
文档的数据处理
得到结构化的数据，存储在物品库中
* 信息学习器
收集有关用户偏好的数据特征，泛华这些数据，构建用户特征信息(机器学习)
通过历史数据构建用户兴趣模型(通过分类的方法，提取特征，特征就是组建用户画像的基础)
生成兴趣特征(正样本)和无兴趣特征(负样本)
* 过滤组件
将用户的个人信息和物品匹配
生成二元或连续性的相关判断(原型向量和物品向量的余弦相似度)
基于内容推荐(CB)的推荐算法
就目前看，Collaborative Filtering Recommendations (协同过滤，简称CF) 还是目前最流行的推荐方法，在研究界和工业界得到大量使用。但是，工业界真正使用的系统一般都不会只有CF推荐算法，Content-based Recommendations (基于内容推荐，CB) 基本也会是其中的一部分。
CB根据用户过去喜欢的产品(items)，为用户推荐和他过去喜欢的产品相似的产品。例如，一个推荐饭店的系统可以依据某个用户之前喜欢很多的烤肉店而为他推荐烤肉店。 CB最早主要是应用在信息检索系统当中，所以很多信息检索及信息过滤里的方法都能用于CB中。
推荐过程：
CB的推荐过程一般包括下面三步：
Item Representation：即对items做特征工程，通俗来说即对items的属性表达出来，如item = 农夫山泉(品类：矿泉水，价格：1-5，etc)；
Profile Learning：利用一个用户(id)过去喜欢(以及不喜欢)的item的特征数据，来学习出此用户的喜好特征(profile)，如id=我，喜欢=(农夫山泉，麦当劳)，不喜欢=(槟榔，香烟)，etc。
Recommendation Generation：通过比较上一步得到的用户profile与候选item的特征，为此用户推荐一组相关性最大的item。
例子：
对于个性化阅读来说，一个item就是一篇文章，第一步我们要提取文章中的关键词组来表示文章的主题，可以采用的方法例如TF-IDF找文章中词的权重，例如在python文章中“python”是主要被提及的字眼，那么该词是关键字，利用这种方法，我们就可以把文章向量化。第二步是找出用户之前喜欢的文章，通过上述TF-IDF方法，将其向量化，然后求平均值，来代表用户大致喜欢的文章。如果用户喜欢python语言，那么该用户的profile中［‘python’］的权重占比较大。第三步就是通过以上二步得到的所有item和该用户的profile进行匹配，计算方式一般用余弦相似度。
详细过程
1.Item Representation
Item一般都会有一些描述它的属性。这些属性通常可以分为两种：结构化(structured)和非结构化(unstructured)属性。所谓结构化属性就是可以被量化，可直接使用的属性，如人有性别、学历、地域等属性。而非结构化属性就是需要再进行二次解析，无法直接利用的属性，如人的购买记录，一篇文章的内容等。像文章这种非结构化数据可以利用TF-IDF和word2vec等算法把文章中的关键词向量化表示出来。
如果用TF-IDF表示文章对应关键词的权重，那么可以得到以下矩阵：
2.Profile Learning
假设用户(id)已经对一些item做出了喜欢的判断，对另一部分item做出了不喜欢的判断，且这些item我们已经有了对应的向量化表示，那么这就是用户的profile，如何简单计算用户的profile呢？公式如下：
其中x是用户喜欢的item，a是喜欢item的总数，y是用户不喜欢的item，b是不喜欢item的总数。这时我们得到另一个用户矩阵：(当然这里不是协同过滤，无需把全部用户列成矩阵项，实际应用单个用户id即可)
3.Recommendation Generation
通过以上二步得到的所有item和所有用户的profile，那么要对一个用户的profile和所有item进行匹配，此时我们计算的方式一般用余弦相似度。余弦相似度的计算方法如下，假设向量a、b的坐标分别为(x1，y1)、(x2，y2) 。则：
余弦值的范围在［-1，1］之间，值越趋近于1，代表两个向量的方向越接近；越趋近于-1，他们的方向越相反。如上述例子我们可以计算以下结果：
所以最终会把余弦值最大(跟用户最相关的文章)的前N篇推荐给用户。
优缺点
优点：可以使用当前的用户评价来构建用户的个人信息；由于过程简单解释性强，推荐的结果容易被人接受；对于新物品来没有任何用户评分的也可以推荐给用户。
缺点：可分析的内容有限，且新颖度较差，新用户需要用户的偏好信息，无法解决冷启动问题。