精华内容
下载资源
问答
  • 推荐系统应用

    2020-11-25 12:37:05
    天猫首页作为用户打开手机天猫App的第一印象,所推荐的商品极大地决定了用户接下来的行为,对用户流量的承接与分发、提升用户购物体验和呈现天猫货品的性价比、品质感及品牌力起到至关重要的作用,成为提升天猫用户...

    天猫首页作为用户打开手机天猫App的第一印象,所推荐的商品极大地决定了用户接下来的行为,对用户流量的承接与分发、提升用户购物体验和呈现天猫货品的性价比、品质感及品牌力起到至关重要的作用,成为提升天猫用户体验的关键环节之一。

    1、场景介绍

    天猫首页的场景主要包括大促会场入口和日常频道两大类,如图1所示。其中左图为大促会场入口,包括主会场入口和行业会场入口;主会场入口通过为用户推荐7个商品(3个在中间动态轮播)给大促主会场进行引流,引流 UV 达数千万以上;行业会场入口通过为用户推荐4个个性化会场和商品为数万的会场引流。右图为日常频道,包括限时抢购、天猫好物、聚划算、天猫闪降和精选频道;首页通过个性化推荐商品为各个特色的频道引流,通过各个频道来培养用户心智,让用户在天猫逛起来。

     

    过去的首页推荐更多的是在相关性推荐的单一数据目标上进行优化,如今天猫首页的推荐系统不仅仅考虑推荐结果的相关性,还在推荐结果的发现性、多样性等方面上做了更深度的优化,"效率和体验并重"成为天猫首页新的优化目标。Graph Embedding、Transformer、深度学习、知识图谱等新的技术已先后在天猫首页的推荐系统成功落地,为场景带来了两位数的点击率提升和两位数的疲劳度下降。

    2、推荐框架

    天猫首页的个性化推荐系统可以分为召回、排序和机制三个模块。其中,召回模块主要是从全量的商品素材中检索出用户感兴趣的 TopK 个候选商品,排序模块专注于用户对商品的 CTR 预估,机制模块负责后期的流量调控、体验优化、策略调控等和最终的商品排序。整个推荐系统采用 Graph Embedding、Transformer、深度学习、知识图谱、用户体验建模等新的技术构建起来,后面章节将介绍这个推荐系统的关键技术点。

    3、召回

    3.1 Ranki2i

    Item-CF 是目前应用最广泛的召回算法,其原理是根据两个商品被同时点击的频率来计算两个商品之间的相似度 simScore,得到 i2i 表;然后通过用户的 trigger 去查询 i2i 表,扩展用户感兴趣的商品。Item-CF 的基本算法虽然简单,但是要获得更好的效果,往往需要根据实际的业务场景进行调优。清除爬虫、刷单等噪声数据,合理选择计算商品之间相似度的数据的时间窗口,引入时间衰减,只考虑同一个类目下商品对,归一化、截断、打散等策略对优化 Item-CF 的效果都有很大的帮助。

    Ranki2i 是一种改进的 Item-CF 算法,其在 item-CF 得到的两个商品之间的相似度 simScore 的基础上再乘以该 trigger item 所召回的该 target item 在过去一段时间内的 ctr (注意 ctr 的计算需要进行适当的平滑),对 i2i 的 simScore 进行修正,使得 i2i 表不仅考虑了两个商品的点击共现性,还考虑了召回商品的点击率。

    我们基于全网的点击数据和天猫首页场景内的日志来计算 Ranki2i 表,并部署在检索系统 Basic Engine 上,对每个访问天猫首页的用户,从基础特征服务系统 ABFS 中获取用户的 trigger,并以此查询 Ranki2i 表来召回用户感兴趣的商品。

    经典 Item-CF 类算法直接根据两个商品被同时点击的频率来计算两个商品之间的相似度,在寻找用户点击商品的相似、相关以及搭配商品上都有很大的优势,且其具有简单、性能高等特点,已成为目前应用使用最为广泛的召回算法。然而由于经典 Item-CF 类算法的召回结果的候选集限定在用户的历史行为类目中,并且算法难以结合商品的 Side Information,导致其推荐结果存在发现性弱、对长尾商品的效果差等问题,容易导致推荐系统出现“越推越窄”的问题,从而制约了推荐系统的可持续发展。为了跟精准地给用户推荐心仪的商品,同时维护推荐系统的可持续发展,解决推荐系统的发现性推荐和长尾推荐等问题,我们团队提出了 S3Graph Embeeding 算法和 MIND 算法。

    3.2 S3 Graph Embedding

    Graph Embedding 是一种将复杂网络投影到低维空间的机器学习技术,典型的做法是将网络中的节点做向量化表达,使节点间的向量相似度接近原始节点间在网络结构、近邻关系、Meta信息等多维度上的相似性

    我们团队提出的 S3 Graph Embeeding 算法利用全网数以十亿的用户对十亿规模的商品的序列化点击行为构建千亿规模的 Graph,结合深度随机游走技术对用户行为进行"虚拟采样",并引入商品的 Side Information 增加泛化学习能力,将全网的商品进行 embedding,统一成同一维度的向量表示。该向量被直接用在 Item-CF 中商品相似度的计算中,相比经典 Item-CF 以共同点击次数来衡量商品相似度的做法,该算法不需要两个商品被同时点击过也能计算出商品间的相似度,并且引入 Side Information 的使其能更好的处理长尾的商品和冷启动的商品

    我们基于 Behemoth X2Vec 平台,利用全网的点击数据和商品 Side Information 构建全网商品的 embedding,并以此来计算 Graph Embedding i2i 表,部署在Basic Engine 上,对每个访问天猫首页的用户,从 ABFS 中获取用户的 trigger,并以此查询 Graph Embedding i2i 表来召回用户感兴趣的商品。

    3.3 MIND

    Multi-Interest Network with Dynamic Routing (MIND) 是我们团队提出的一种向量召回的方法,其通过构建多个和商品向量在统一的向量空间的用户兴趣向量来表示用户的多个兴趣,然后通过这多个兴趣向量去检索出TopK个与其近邻的商品向量,得到 TopK个 用户感兴趣的商品。

    传统 DeepMatch 方法为每个用户生成一个兴趣向量,但在实际的购物场景中,用户的兴趣是多样的,不同兴趣之间甚至可能是不相关的,比如用户可能同时期望购买服装、化妆品、零食,而一个长度有限的向量很难表示用户这样的多个兴趣。我们的 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度。

    我们基于实时排序服务 RTP 和召回引擎 Basic Engine(BE) 开发了一整套 MIND 在线服务体系。对每个访问场景的用户,先通过部署在 RTP 中的 MIND 模型的 Multi-interest Extractor Layer 提取出用户的多个兴趣向量,然后利用这些兴趣向量在 Basic Engine 中通过 aitheta 检索引擎召回用户感兴趣的商品。

    3.4 Retargeting

    Retargering 是一种将用户点击、收藏或加购的商品再次推荐给用户的一种推荐策略。在电商的推荐系统中,用户的行为包含浏览、点击、收藏、加购和下单等行为,我们当然希望用户每一个行为流最终都能到达转化的环节,但是事实并非如此。当用户产生了下单行为的某些上游行为时,会有相当一部分用户因为各种原因没有最终达成交易,但是用户当时没有产生下单行为并不代表用户对当前商品不感兴趣,当用户再次来到天猫时,我们根据用户之前产生的先验行为理解并识别用户的真正意图,将符合用户意图的商品再次推荐给用户,引导用户沿着行为流向下游,最终达到下单这个最终的行为。

    Retargering 的召回策略更多是在大促促成交的场景下使用,其召回量更需要严格控制。

    3.5 Crowd-based Filtering

    上述的召回策略都能跟着用户的历史行为等信息召回用户感兴趣的商品,但是对于未登录用户或是冷启动的用户,这些召回策略所能召回的商品是有限的。Crowd-based Filtering 是一种替补的召回策略,是一种基于人群属性来推荐的方法,其通过将用户按照性别、年龄段、收货城市等粗粒度的属性划分为若干个人群,然后为基于每个人群的行为数据挑选出该人群点击率高的 TopK 个商品作为该人群感兴趣的商品。

    3.6 融合与调制

    为了结合不同召回策略的优点,同时提高候选集的多样性和覆盖率,我们将以上召回策略召回的商品融合在一起。融合的过程中根据各个召回策略召回结果的历史表现和流量调控的需求,对各个召回算法的召回比例进行适当的调制。

    4、 排序

    4.1 排序特征

    排序特征在排序的效果中起到了非常重要的作用,天猫首页推荐系统排序模型的特征可以抽象为五类:

    • User Profile Features:用户侧的基础特征,如用户的性别、年龄、城市、购买力等。

    • Item Features:商品侧的特征,如商品 ID、类目 ID、店铺 ID、标签等。

    • Context Features:上下文特征,如 match_type、位置、页码等。

    • Cross Features:交叉特征,如用户侧特征与商品侧特征的交叉等。

    • Sequence Item Features:用户对商品的行为特征,如用户点击的商品序列、点击的类目序列及相应的 Positional Bias。

    4.2 排序样本

    排序样本的选取也会影响排序模型的效果。排序的样本来自于场景产生的曝光和点击日志,对场景日志进行有效的清洗去噪,准实时计算场景活跃用户、黑名单用户,保留对场景有感知的部分用户,过滤数据中混杂的刷单爬虫等作弊行为数据,过滤大促0点下单和红包雨等异常时段用户的非正常行为日志等对提升模型效果有一定的帮助。

    4.3 排序模型

    ★ 4.3.1 经典 Deep 排序模型

    Google 提出的 WDL 模型奠定了目前 Deep 排序模型的基本框架。

    DeepFM/PNN/DCN/DeepResNet 等模型把传统离散 LR 中特征工程的经验搬到DL 中来,用人工构建的代数式先验来帮助模型建立对某种认知模式的预设,帮助模型更好的建模。DIN 等模型引入了用户行为数据,通过 Attention 来捕捉了用户兴趣的多样性以及与预测目标的局部相关性,对大规模离散用户行为数据的进行建模。

    ★ 4.3.2 BST

    类似 DeepFM/PNN/DCN/DeepResNet 等模型更多的在探索如何更好的利用 id features 和 bias features 去逼近 id features 和 bias features 所能达到的模型上限,很少探索如何有效利用 seq features;DIN 等模型在这些模型的基础上进行 seq features 建模的探索,其用打分 item对seq features 做 attention 后对其进行weighted sum pooling,虽然可以很好地表达打分 item 和用户行为序列的相关性,但不能抽象用户行为序列内部的相关性。

    为了解决 WDL 和 DIN 等模型存在的上述问题,受 Transformer 在 NLP 任务中有效地处理词序列的启发,我们提出了 Behavior Sequence Transformer (BST) 模型,该模型用 Transformer 来建模用户的行为序列,学习用户行为序列内部的相关性及其与打分 item 之间的相关性。

     

    BST 模型的结构如图5所示,模型将用户行为序列(包括打分 item)、用户侧特征、商品侧特征、上下文特征、交叉特征作为输入;首先通过 Embedding 技术将其 embeds 为低维稠密向量;为了更好的学习用户行为序列内部的相关性及其与打分item之间的相关性,通过 Transformer 来学习每个用户行为序列的深度表示;然后将用户侧特征、商品侧特征、上下文特征、交叉特征和 Transformer 层的输出concat 在一起得到样本的特征表示向量,并利用三层的 MLP 网络来进一步学习特征表示向量更抽象的表达和特征之间的交叉关系;最后通过 Sigmoid 计算模型的输出。

    模型通过 Transformer 来建模用户行为序列,首先通过 Self-Attention 学习用户行为序列内部之间的相关性及其与打分 item 之间的相关性。考虑向量的物理意义,使用内积来计算attention,这样两个 item 越相近,内积越大,attention 增益越大。并采用 Mutil-Head Attention 的方式,有效的将序列特征放到多个平行的空间进行计算,提升模型的容错性与精准度。

    其中,为投影矩阵,E 是用户行为序列与当前打分Q进行拼接后的 Embedding 表示,,h 是 head 数。

    为进一步增强网络的非线性表示能力,将 Self-Attention 的输出做一层 Point-wise Feed-Forward Networks (FFN) 。

    我们基于实时排序服务 RTP,在 GPU 集群上部署了量化后的 BST 模型,对于每一个打分 item 列表,RTP 将其拆分后并行打分,实时预测用户对打分 item 列表中每一个item的点击率。

    5、机制

    5.1 视觉体验优化

    ★ 5.1.1 基于知识图谱的标准类目扩展

    受种种因素制约,淘宝天猫商品类目体系过于细致,不符合推荐场景中用户对商品的主观分类。我们与知识图谱团队合作,建立了标准类目体系,从语义层面出发,结合场景的特点,将相近的叶子类目进行不同程度的聚合,分别应用在购买类目过滤和类目打散时的类目扩展。

    ★ 5.1.2 基于图像指纹的相似图片检测系统

    淘宝商品素材浩如烟海,相似的展示图片层出不穷。这种相似经常超越图片所属商品本身的属性,通过商品本身的标题、类目等语义信息已无法识别这种相似,为此我们团队研发了相似图片检测系统,从图形本身出发来检测商品素材图片之间的相似度。

    同图检测系统以 CNN 作为分类器,识别商品素材图片所属的叶子类目,将最后隐藏层向量作为图像特征向量,并通过向量的相似度来计算商品之间的相似度。为了加速向量相似度的计算,我们使用 SimHash 算法将图像特征向量进一步转化成高维图像指纹,将计算两个特征向量距离的问题转化成计算两个图像指纹汉明距离的问题, 在精度损失可接受的范围内极大地降低了计算复杂度。

    ★ 5.1.3 多维度打散

    天猫首页由大促会场入口和日常频道构成,大促会场入口包括主会场入口和行业会场入口,日常频道包括限时抢购、天猫好物、聚划算、天猫闪降和一些精选精选频道,每一个频道的商品素材都是独立的,存在一定的重复,如果不加限制,各个频道之间容易出现相似的推荐结果,这在“寸土寸金”的首页,无疑是一种浪费,也会伤害用户体验,不利于导购心智的培养。为此,我们设计了多种打散方案,从多个维度(商品/标准类目/品牌/会场/相似图片等)对首页各个频道推荐的素材进行联合打散,让推荐的结果更具多样性。

    5.2 模板式实时曝光过滤

    由于天猫首页在手机天猫的首屏,用户每次打开 APP 都会获得曝光,其中就包含了很多无效的曝光,如用户直接进入搜索频道、进入购物车或者大促期间来抢红包雨抢券等,这些无效曝光中用户对该场景是无心智的。常见的将对用户伪曝光的商品记录下来并利用其来进行实时曝光过滤的方法对首页这种无效曝光率很高的场景来说“太严格”了,会使得推荐的效果大打折扣。为此,我们设计了一种模板式实时曝光过滤的方法。一次推荐给用户出多个模板,并记录用户上次看到的第 i 个模板,然后在本次给用户展现第 i+1个模板。如果用户产生新的行为,模板的推荐内容也会随之进行更新。

    5.3 用户及类目个性化的购买过滤

    ”买了还推“是过去推荐系统经常被诟病的吐槽点,要解决该问题就需要对用户购买的类目进行合理的过滤。然而由于每个叶子类目的购买周期不同,不同用户对类目的购买周期也不同,因此设计购买过滤时还需要关注不同用户对不同类目过购买过滤的个性化需求。购买过滤作为所有推荐场景都会面对的基础问题,我们与工程团队合作推出了统一的全域购买过滤服务,为每一个类目定制一个购买屏蔽周期,根据用户最近一段时间内购买的行为为每个用户维护一个实时的购买过滤类目,同时考虑到如果该用户在购买屏蔽周期内又主动在该类目上发生了多次点击行为,说明用户对该类目仍感兴趣,有购买的可能,则该类目会被"解禁"。天猫首页接入购买过滤服务之后,"买了还推"的问题也得到了大大的改善。

    6、总结

    本文从算法的角度介绍了天猫首页的推荐系统,从召回、排序、推荐机制三个方面讲解了我们如何利用 Graph Embedding、Transformer、深度学习、知识图谱、用户体验建模等多项技术来构建先进的推荐系统。当然,完整的推荐系统是一个复杂系统,构建一个"懂你"的天猫首页还离不开产品、工程、运营等同学的合作和帮助。在个性化推荐的道路上,我们将继续不断积累和打磨,深耕技术,创造更好的个性化服务,也相信个性化推荐的未来会更好。

    展开全文
  • 在背景介绍部分,会讲解推荐系统的技能要求、推荐系统的价值与应用场景、推荐系统团队组成及角色定位、推荐系统的未来发展等。在推荐算法部分,会讲解最主流的基于内容的、协同过滤等推荐算法。在工程实践部分会讲解...
    展开全文
  • 推荐系统应用场景

    千次阅读 2015-03-29 10:23:25
    底下是一个网友对推荐系统的比喻 我觉得这个比喻是很恰当的。延续这个网友的比喻,做个扩展说明 搜索行为是带有目的性的,就好像那个女人有意向且急需购买一件碎花长裙,因为要与离别半载的男友见面...
    底下是一个网友对推荐系统的比喻
    我觉得这个比喻是很恰当的。延续这个网友的比喻,做个扩展说明

    搜索行为是带有目的性的,就好像那个女人有意向且急需购买一件碎花长裙,因为要与离别半载的男友见面,她想打扮出小男友心目中的清新女神。所以在周五的时候她上街,显得很匆忙,只希望能够快速找到一件心仪的礼服,但是店铺很多,虽然时下有很多新款长裙,但是由于区域首先,她出出入入很多家门店,发现很多款式和花纹都一样,没有适合自己肤色和身材的衣服。逛网一条街,由于品种太少,也太累了,她打算回家,选择使用淘宝搜索,她发现淘宝展示了很多款式的碎花长裙,不仅有南方的产地,也有境外的舶来品,款式非常丰富,而且可以快速定位价格区间,并不需要偷偷地翻阅价格标签或者询问店主。她非常开心,发现排序还可以对她的定位提速很多。最后,她花不到一个小时,在淘宝上成交了三件裙子,风格都是自己喜欢的,但不重复,而且价格都是自己可以接受的(质量不知哦...)——这就是搜索引擎的力量,降低了选择成本(包括时间成本、体力成本和隐性价格成本)。

    但是,有时候女生上街并不是出发前就有了购物的目的,所谓“无事上街小破财“,女生逛街追求一种体验的快感,一般这种情况下她们并不要求一定要购得满意的商品,但是这种漫无目的的逛街就和男生玩游戏一样,都是有效需求——这是”阿笨“阐述的,门户网站依然有生存空间一样。
    那么推荐的应用场景在哪里呢?其实,推荐对于上面两种应用场景都有用处。

    在第一种场景,推荐就像是店面营业员,帮你推荐合适的衣服和搭配,给你试穿合适的尺寸;又像是同行的闺蜜,给你提供是否适合你的建议,甚至有联想性的觉得你不应该穿碎花长裙,而可以选择一套牛仔+上衣薄衫,以显示自己的身材。这些推荐,都尽量挑选和你口味的服饰。
    在第二种场景,在你瞎逛的时候,时下流行的服饰可能恰恰是你想关注的,这个时候,简单告诉你这款衣服最近很流行,买的人很多;而且周边很多靓女穿衣搭配与衣架上的一致,随大流总是难免的。而且这样的推荐不容易引起你的反感。当然,这样的推荐相对而言并不见得有实际效果——假如你本来就是一个喜欢追踪热门的人,给不给你推荐热门流行品,你都会第一时间的追逐,所以这样的推荐并不会增加或减少你的购买量;又或者你是一个有个性的冷艳美女,你有自己的穿衣喜好,与时下宽松型的潮流并不搭调,给你推荐热门反而引起你的反感。所以,只有事先知道或者挖掘出你的兴趣爱好,才能知道你的品位,给予的推荐才能有效。
    展开全文
  • KNN推荐系统应用

    2014-06-24 18:35:58
    相关内容推荐最常见的两块就是“关联推荐”和“相关内容推荐”,关联推荐就是我们常说的购物篮分析,即使用购买了某商品的用户同时购买了什么这个规则来发现商品间的潜在联系,之前有相关的文章介绍——向上营销、...

     

    如果做网站的内容运营,相关内容推荐可以帮助用户更快地寻找和发现感兴趣的信息,从而提升网站内容浏览的流畅性,进而提升网站的价值转化。相关内容推荐最常见的两块就是“关联推荐”和“相关内容推荐”,关联推荐就是我们常说的购物篮分析,即使用购买了某商品的用户同时购买了什么这个规则来发现商品间的潜在联系,之前有相关的文章介绍——向上营销、交叉营销与关联推荐;关联推荐是基于用户行为分析的推荐,而相关内容推荐是基于内容固有特征的推荐,只与内容本身有关,与用户的行为完全无关,所以相关内容推荐的模型是一种“冷启动”的算法,不需要任何历史浏览访问数据的支持。

    内容固有属性

    相关内容推荐因为完全不借助用户浏览行为的数据,所以底层数据不依赖于网站的点击流日志,唯一的基础数据就是内容的固有属性及完整信息。我们以豆瓣网的几大块内容为例来看看对于这些内容一般包含哪些固有属性:

    书籍-书名、作者、出版时间、出版社、分类、标签

    音乐-专辑名、歌手、发行时间、发行方、风格流派、标签

    电影-电影名称、导演、演员、上映时间、制片方、类型、标签

    豆瓣很多地方都使用了“标签”这个词,用贴标签的形式来完成内容的分类和标识,但其实标签又分为很多种,有些标签是在内容生成时就被贴上的,有些可能是后续用户贴上去的,而且豆瓣一般为内容和标签定义了原始分类,如书籍分为文学、流行、文化……既然分类和标签内容源生就带有,那同样可以作为内容的固有属性。

    还需要说明的是,这里不涉及文本挖掘和字符切分模糊匹配等问题,因此内容的标题、简介和全文不参与文本相似度的分析,虽然这些可能在构建完整的相关内容模型中不可缺少,但这里只考虑一些固有属性是否相同实现简单应用。基于上述豆瓣几类内容的属性特征,选择和整理适合分析的内容属性如下:


                     
     
    “作者”就是指内容的创造者,“来源”指内容的发布方或获取渠道,“分类”为内容归属的类别,“标签”可以包含对内容的各类描述信息和关键词等。这里为了能够尽可能清晰地描述整个分析模型和思路只选取了大部分内容都包含的一些属性,如果要构建更加高效的相关内容分析模型,需要更完整的内容属性,可以根据自身内容的特征进行属性的定义和选取。

    KNN算法及应用

    KNN(K-Nearest Neighbor algorithm),K最近邻算法,通过计算样本个体间的距离或者相似度寻找与每个样本个体最相近的K个个体,算法的时间复杂度跟样本的个数直接相关,需要完成一次两两比较的过程。KNN一般被用于分类算法,在给定分类规则的训练集的基础上对总体的样本进行分类,是一种监督学习(Supervised learning)方法。


     
    KNN

    这里我们不用KNN来实现分类,我们使用KNN最原始的算法思路,即为每个内容寻找K个与其最相似的内容,并推荐给用户。相当于每个内容之间都会完成一次两两比较的过程,如果你的网站有n个内容,那么算法的时间复杂度为Cn2,即n(n-1)/2。但是用内容固有属性有一个好处就是因为固有属性一旦创建后基本保持不变,因此算法输出的数据一旦计算好之后不需要重复计算去刷新,也就是对于网站内容而言,原有内容的数据在首次初始化之后可以不断重复使用,只要更新新增内容的数据就可以,数据的统计计算可以使用增量更新的形式,这样可以有效地减少服务器的计算压力。

    相关内容模型

    有了基础数据和算法的支持,我们就可以创建数据模型了。先看下基础数据的类型,作者、分类、来源和标签都是字符型,其中作者、分类、来源基本可以当做是单个值的属性,标签一般包含多个值。首先由于都是字符可以确定属性之间相似性的判定只能通过“是否相同”,无法体现数值上的差异,所以对于作者、分类、来源这几个单值属性而言,比较的结果就是一个布尔型的度量,相同或者不相同;对于标签这个多值属性可以考虑使用Jaccard相关系数,但因为每个内容标签的个数存在较大差异,使用验证后的结果并不理想,所以不考虑使用(当然,如果内容的标签个数比较固定,Jaccard相关系数是有效的)。因此,直接创建加权相似度模型如下,首先是标签的相似度分值设定:

     

    即根据相同标签数目确定一个相似度的分值(相同标签数越多分值越大)

          
     

     再结合作者、分类和来源,通过加权某一个属性的分值


            
     

           将所有属性加权相似度分值的结果相加应该分布在[0,100],分值越高说明内容间的相似度越高。对于这种简单的加权相似度评分模型,估计又有很多人要问权重是怎么确定的,确实,这里的权重并没有通过任何定量分析模型的方法去计算,只是简单的经验估计,但估计的过程经过反复地调整和优化,也就是不断地尝试调整各属性的权重系数并输出结果,抽样检验结果是否符合预期、是否有提升优化的空间。

     

          使用一定的算法将以上两个分值整合计算最终确定一个分值,就是这个商品的最终相似度分值。

           基于上述内容间相似度的计算结果,套用KNN的原理实现相关内容推荐就异常简单了,只要根据每个内容与之比较的所有内容的相似度分值降序排列取前K个内容作为该内容的最相关内容推荐给用户就可以了。当然中间可能会涉及相同相似度分值的内容如何排序的问题(因为模型的关系分值分布可能不会很离散),建议如果相似度分值相同使用随机排序,以保证推荐结果有一定的变化,均匀内容的曝光。

     

          当然在电商推荐我们通常有更好的应用,因为电商在录入商品的时肯定已经分好了大的分类,在一个大的分类中计算的数据量会明显减少,仅仅需要按照标签打分即可,有标签定为1分,没有定为0分,这样我们就不用考虑分类,可以对作者等标签加权,使用简单的Jaccard相似系数来计算商品之间的相似度了。排序后就是推荐相似商品的数据了。

     

     相关距离公式的计算可以看这篇文章:http://liyonghui160com.iteye.com/admin/blogs/2084557

     

    展开全文
  • 今天给大家带来第四范式平台架构师李瀚所做的直播交流,本次交流结合第四范式智能推荐系统架构实践,和大家分享了在应用架构治理方面提升推荐服务开发维护效率,增强系统灵活性和扩展性的新探索。【直...
  • 国内外推荐系统应用总结

    千次阅读 2014-07-21 17:08:40
    学习成熟的产品是提升自己产品的一个非常好的方法,所以在这里,我会总结一些国内外推荐系统方面的应用,肯定不会写的全,所以还希望看到这篇文章的童鞋可以帮忙补充。   1、商城系统: 说起商城系统,...
  • 作者| 勿忘初心链接 |https://zhuanlan.zhihu.com/p/151640509编辑 |肉眼品世界 摘要当下的推荐系统技术大都离不开对成段文本信息的处理,如电商...
  • 社会化视频推荐系统应用

    千次阅读 2013-10-08 11:06:39
    因此Plizy试图通过一个”授权进入”的推荐引擎了解你的偏好并向你推荐视频内容,该推荐引擎利用用户已经使用的社交网络来收集向用户推荐的视频内容(包括Facebook和Twitter)。目前Plizy是一款iPad应用,但公司计划...
  • 假设MovieRecommendation.com是一个为互联网用户提供电影推荐的网站(下面成为MR),这个网站只提供电影的链接而不提供电影的内容展示...这个网站和推荐系统有关的包括以下几个部分: 1、数据仓库 搭建数据仓库的
  • 视频+ppt地址 : http://www.infoq.com/cn/presentations/sharing-recommendation-system-application-experience
  • 推荐系统应用---音乐类

    千次阅读 2012-05-09 22:09:41
    音乐,人类的灵魂,只有懂得音乐的人才懂得生活。 每个人都离不开音乐这个东西,你可能不喜欢唱歌,但一定不会不喜欢听歌,尤其是那些美妙的音乐。 如今,有非常非常多的音乐流派...答曰:推荐系统。 在这里,可能
  • 推荐系统应用-电影类,写的比较好

    千次阅读 2014-09-04 15:01:54
    假设MovieRecommendation.com是一个为互联网用户提供电影推荐的网站(下面成为MR),这个网站只提供电影的链接而不...这个网站和推荐系统有关的包括以下几个部分: 1、数据仓库 搭建数据仓库的作用就是为了方便网站
  • 本文试图对深度学习在推荐系统中的应用进行全面介绍,不光介绍具体的算法原理,还会重点讲解作者对深度学习技术的思考及深度学习应用推荐系统的当前生态和状况,我会更多地聚焦深度学习在工业界的应用。...
  • 6 MAML在推荐系统应用 7 总结 参考文献 1 小样本简介 2 MAML模型 3 MAML的问题及优化 算法里的phi对应图里的theta,W_i 对应与图中的phi_i; 4 MAML的深入分析 ...
  • 推荐系统应用---新闻资讯类

    千次阅读 2012-05-09 21:46:18
    当然,作为一个智能的web应用,我们也会分析用户行为,来发现他可能更喜欢哪个结果,来改进搜索的效果。 2、分类 首先,先说明一个问题,为什么不先进行聚类,而是先做分类呢? 因为数据的噪声会...
  • 01 什么是推荐系统02 推荐系统应用场景 作者:刘宇 赵宏宇 刘书斌 孙明珠 来源:大数据DT 导读:什么是推荐系统?跟搜索引擎有哪些区别? 用户在意图明确的情况下,能够通过关键词进行搜索。那么,当用户不了解...
  • 推荐系统应用

    千次阅读 2016-06-20 16:42:47
    前言 推荐系统——我早就很感兴趣的一个方向,可以说是机器学习在各个公司广泛应用的一个内容,从求职招聘就可以感觉到。另外,我们也经常在使用推荐系统,比如以推荐为特色的今日头条(你关心的,才是头条),还有...
  • 本文主要介绍基于用户/项目的协同过滤推荐算法在音乐推荐系统、图书推荐系统、电影推荐系统、新闻推荐系统、电子商务网站、购物系统中的应用 和实现。 基于用户/项目的协同过滤推荐算法在推荐系统中的应用 目前商用...
  • title: 推荐系统理论初探 date: 2018-12-20 20:32:55 tags: 推荐系统 toc: true categories: ML 我的博客: Josonlee’s Blog 推荐系统理论 推荐系统所需的元数据 要推荐物品或内容的元数据,例如关键字...
  • 推荐系统推荐系统什么是推荐系统个性化推荐系统应用 6. 推荐系统 推荐系统 在研究如何涉及推荐系统之前,了解什么是好的推荐系统至关重要。 什么是推荐系统 如果想买牛肉,你有多少种方法?假设附近有一个24小时...
  • 六、推荐系统原理与应用

    千次阅读 多人点赞 2018-07-27 12:39:28
    1.1 推荐系统应用 1.2 什么是推荐系统 1.3 推荐系统的意义 1.4 推荐系统的结构 1.5 推荐系统的评估 1.5.1 准确度 一、推荐系统 1.1 推荐系统应用 电子商务,电影视频,音乐电台,社交网络,阅读,...
  • RMB应用推荐系统

    2020-07-06 18:12:50
    RBM应用推荐系统 摘要:与传统的浅层机器学习相比,深度学习具有优秀的自动提取抽象特征的能力,并且随着分布式计算平台的快速发展,大数据的处理能力得到极大的提升,使得近年来DL在工程界得到广泛的应用,...
  • 推荐系统应用案例剖析

    千次阅读 2016-04-13 09:28:11
    推荐系统应用案例剖析 发表于2016-01-04 17:34|1007次阅读| 来源阿里巴巴资深工程师|0 条评论| 作者贾双成 系统谷歌数学原理应用案例 摘要:本章将继续讲述推荐系统应用案例。为了说明推荐系统的详细实施方案...
  • 个性化推荐系统实践应用

    千次阅读 2019-08-23 15:30:12
    近日,达观数据联合创始人于敬进行了《个性化推荐系统实践》的主题分享,深入浅出的讲解了个性化推荐的过程、难点及解决方法。 本文五大内容: 一、推荐系统概述 二、搭建推荐系统的关键算法...
  • 本文主要介绍SVD的基本思想以及其在推荐系统的中的两个拓展使用方法Funk-SVD和Bias-Funk-SVD,希望能够对推荐系统入门的小伙伴有所帮助。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 15,321
精华内容 6,128
关键字:

推荐系统应用