精华内容
下载资源
问答
  • 介绍论文名: “classification, ranking, and top-k ...与常规准确率比较方式不同, 本文从另一角度, 即推荐算法稳定性方面进行比较.详细参与比较推荐算法包括: baseline 传统基于用户 传统基于物品 oneSlope s

    介绍

    论文名: “classification, ranking, and top-k stability of recommendation algorithms”.
    本文讲述比较推荐系统在三种情况下, 推荐稳定性情况.
    与常规准确率比较的方式不同, 本文从另一个角度, 即推荐算法稳定性方面进行比较.

    详细

    参与比较的推荐算法

    包括:

    1. baseline
    2. 传统基于用户
    3. 传统基于物品
    4. oneSlope
    5. svd

    比较方式

    比较的过程分为两个阶段:

    阶段一, 将原始数据分为两个部分, 一部分为已知打分, 另一部分为未知打分, 用于预测.
    阶段二, 在用于预测打分那部分数据中, 取出一部分数据, 加入到已知打分部分, 剩余部分仍然为预测部分.

    比较阶段一中的预测结果和阶段二中预测结果的比较.
    数据划分情况如图所是.

    数据划分

    比较的方式

    预测稳定性

    预测性的评价方式有以下几种:
    MAE, RMSE

    分类稳定性

    分类型的评价方式有以下几种:
    准确率, 召回率, F-分数.

    排名稳定性

    排名型的评价方式有以下几种:
    排名相关性, Spearman的ρ评价, Kruskal的γ评价, Kendall的τ评价.

    前K项稳定性

    前k项的评价方式有以下几种:
    点击率稳定性(hit-rate), NDCG(normalized discounted cumulative gain).

    比较的场景

    稀疏性冲击

    改变数据的稀疏性, 从几个方面比较这些推荐算法的稳定性.

    结果如图所是.

    这里写图片描述

    基于内存的推荐算法和slopeone算法表现出强烈的不稳定性和对数据敏感性.
    svd和baseline算法相对稳定.

    评价数量冲击

    改变第二阶段中新加入数据的数量, 比较两次实验的差异.

    结果如图所是:

    这里写图片描述

    横坐标为比例, 即已知打分数据的倍数, 从10%到500%.

    从图中可以看出, 在新加入的数据较少时, 各个推荐算法表现出高度的稳定性.

    当新加入的数据较多时, 基于内存的推荐算法的稳定性不断下降.
    相反, 基于模型的方法相对稳定.

    打分分布冲击

    除了新加入的数据外, 新加入的数据的数据分布也一定程度上影响了推荐算法的稳定性.

    下表显示了修改数据分布的策略:

    这里写图片描述

    实验的结果如下:

    这里写图片描述

    从图中可以看出, 当加入的数据为随机时, 各个推荐算法都表现出相对较高的稳定性.
    但是, 当添加的数据出现歪斜时, 基于内存的推荐算法的稳定性降低较快, 基于模型的推荐算法的稳定性基本保持不变.

    算法参数冲击

    对于推荐算法而言, 除了数据的因素外, 还有算法本身参数对算法稳定性的影响.

    对于基于内存的算法, 相似用户/物品的数量影响着推荐算法的效果,
    对于svd算法, 隐含属性的数量影响着推荐算法的结果.

    实验通过修改推荐算法参数的方式进行比较, 结果如图所时:

    这里写图片描述

    对于top-K的比较, k值的大小也影响推荐算法的稳定性.
    通过修改k的大小, 实验的结果如图所时:

    这里写图片描述

    实验结果表示:

    对于修改算法的参数, 对svd算法的影响较少, 对于基于内存的算法影响较大.

    修改top-k中k的大小, 对基于模型的推荐算法影响较小, 对于基于内存的推荐算法的稳定性影响较大.

    总结

    对于上面多种情况的比较.
    基于模型的推荐算法在多种情况下, 稳定性较高, 特别时svd算法.
    基于内存的推荐算法稳定性较差.

    展开全文
  • 评价组播路由算法的重要指标包括组播树代价(cost)、时延(delay)和可扩展性(sealability )等。移动IP出现后,原有的组播路由算法受到了严重的挑战,不再适合于新的移动Internet环境。因此研究移 动环境下的...
  • 如果你能看懂提纲的内容,就应该能够理解我是如何表达每一步算法,以及如何将这些步骤合并在一起组合成一完整的算法的。如果你听到过如下笑话,那么你已经是在通往算法世界了: 你听说过被困在淋浴中的计算机专家...
  • 加密和解密算法的设计通常需要满足3条件:可逆性、密钥安全和数据安全。 (2) 密钥体制 按照加密密钥K1和解密密钥K2的异同,有两种密钥体制。 ① 秘密密钥加密体制(K1=K2) 加密和解密采用相同的密钥,因而又...
  • 为了达到这个目标,机场必须在登机柜台前建立多个队列——针对航班中每一个服务等级有一个队列(通常可根据乘坐航班频繁程度)。把乘客分成不同队列,这可以使服务员能够加速处理那些航班中付出了额外费用...
  • 现有研究多舞弊和配对非舞弊样本进行有标签挖掘,特征值涵盖审计师数据、公司治理数据、财务报表数据、行业和交易数据多个类别。当前研究以反映舞弊三角综合数据为主,比率数据比账户数据更有效,主要算法包括统计...
  • 络环境,拥塞控制算法不但在设计方面存在一定的困难,在算法的性能评价方面也都缺乏 统一的标准。根据拥塞控制算法的实现位置,主要分为源端算法和链路算法两种:源端算 法在主机和网络边缘设备中执行,作用是根据...
  • 本论文所做工作及创新主要包括以下几个方面: 1)查阅了国内外一定数量期刊、文献,综述了图像融合基本概念,总结了该领域 研究最新进展,存在问题进行了讨论,并展望了未来发展趋势。 2)图像融合...
  • 论文研究工作及贡献包括以下方面: (1)在卫星云图预处理方法研究中,提出了新非线性自适应噪声滤除算法。 该算法与常用中值滤波技术相比,它能有效消除椒盐噪声,保护云图中非噪 声点不受影响,确保像素...
  • C#数据结构

    2013-12-10 11:49:54
    于篇幅所限,下面只从算法的特性、算法的评价标准和算法的时间复杂度等三 方面进行介绍。 1.2.1 算法的特性 算法(Algorithm)是某一特定类型的问题的求解步骤的一种描述,是指令的 有限序列。其中的每条指令表示...
  • 所有翻译和校对工作历时半年,在此,我要感谢为本书出版付出辛勤汗水电子工业出版社博文视点工作人员,特别要感谢本书策划编辑朱沭红老师和责任编辑顾慧芳老师,她们严谨认真工作使该译本可读性更高,...
  • 概括起来有以下几个方面。  (1)大部分企业体制不够完善,实力不强  国家“九五”攻关计划GIS部分强调了产业化要求。但是,长期以来,GIS软件研究与开发主要在高校和科研院所内进行,与市场和产业结合...
  • 包括物联网、社交网络和众包在内的新兴技术...通过在网络原型系统和大规模仿真环境中真实数据集的大量实验,评价了该算法的性能。实验结果表明,在不同的机器学习模型和不同的数据分布情况下,该方法的性能接近最优。
  •  本文机器学习、支持向量机研究现状及应用领域进行了综述,阐述了机器学习和支持向量机基本概念、基本模型和支持向量机训练算法。针对机器学习系统具体结构,提出了机器学习系统模块化设计,划分出了输入...
  • 软件工程知识点

    2012-12-02 21:34:25
    需求分析要求以用户需求为基本依据,从功能、性能、数据、操作等多个方面软件系统给出完整、准确、具体描述,用于确定软件规格。其结果将以“软件需求规格说明书”形式提交。 在软件项目进行过程中,需求...
  •   前面讲解了这么推荐系统的算法,但是一推荐系统做出来之后,我们并不知道其效果怎么样,这种时候,就需要推荐系统进行测评,来告诉我们这推荐性能和效果怎么样。测评一般包括测评指标和测评维度。  ...

      前面讲解了这么多推荐系统的算法,但是一个推荐系统做出来之后,我们并不知道其效果怎么样,这种时候,就需要对推荐系统进行测评,来告诉我们这个推荐的性能和效果怎么样。测评一般包括测评指标和测评维度。
      

    测评指标

      评测指标可用于评价推荐系统各方面的性能,这些指标有些可以定量计算,有些只能定性描述,有些可以通过离线实验计算,有些需要通过用户调查获得,还有些只能在线评测。一般情况下使用如下:

    1. 用户满意度

      用户作为推荐系统的重要参与者,其满意度是评测推荐系统的最重要指标。但是,用户满意度没有办法离线计算,只能通过用户调查或者在线实验获得。
    2. 准确度

      预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐系统离线评测指标。由于离线的推荐算法有不同的研究方向,因此下面将针对不同的研究方向介绍它们的预测准确度指标。

    • 评分预测

      评分预测的预测准确度一般通过均方根误差(RMSERMSE)和平均绝对误差(MAEMAE)计算。对于测试集中的一个用户 uu 和物品 ii,令 ruir_{ui} 是用户 uu 对物品 ii 的实际评分,而 rui^\widehat {{r_{ui}}} 是推荐算法给出的预测评分,那么 RMSERMSE 的定义为:
    RMSE=u,iT(ruirui^)2TRMSE = \frac{{\sqrt {\sum\nolimits_{u,i\in T} {{{({r_{ui}} - \widehat {{r_{ui}}})}^2}} } }}{{|T|}}
      MAEMAE 采用绝对值计算预测误差,它的定义为:
    MAE=u,iTruirui^TMAE = \frac{{\sum\nolimits_{u,i \in T} {|{r_{ui}} - \widehat {{r_{ui}}}|} }}{{|T|}}

    • TopN推荐

      网站在提供推荐服务时,一般是给用户一个个性化的推荐列表,这种推荐叫做 TopNTopN 推荐。TopNTopN 推荐的预测准确率一般通过准确率(precisionprecision) /召回率(recallrecall)度量。令 R(u)R(u) 是根据用户在训练集上的行为给用户作出的推荐列表,而 T(u)T(u) 是用户在测试集上的行为列表。那么,推荐结果的召回率定义为:
    Recall=uUR(u)T(u)uUT(u)\operatorname{Re} call = \frac{{\sum\nolimits_{u \in U} {|R(u) \cap T(u)|} }}{{\sum\nolimits_{u \in U} {|T(u)|} }}
    推荐结果的准确率定义为:
    Precision=uUR(u)T(u)uUR(u)\Pr ecision = \frac{{\sum\nolimits_{u \in U} {|R(u) \cap T(u)|} }}{{\sum\nolimits_{u \in U} {|R(u)|} }}

    • 覆盖率

      覆盖率(coveragecoverage)描述一个推荐系统对物品长尾的发掘能力。覆盖率有不同的定义方法,最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。假设系统的用户集合为 UU,推荐系统给每个用户推荐一个长度为 NN 的物品列表 R(u)R(u)。那么推荐系统的覆盖率可以通过下面的公式计算:
    Coverage=UuUR(u)ICoverage = \frac{{|{U_{u \in U}}R(u)|}}{{|I|}}

    • 多样性

      多样性描述了推荐列表中物品两两之间的不相似性。因此,多样性和相似性是对应的。假设 s(i,j)[0,1]{\text{s(i,j)}} \in {\text{[0,1]}} 定义了物品 iijj 之间的相似度,那么用户 uu 的推荐列表 R(u)R(u) 的多样性定义如下:
    Diversity=1i,jR(u),ijs(i,j)12R(u)(R(u)1)Diversity = 1 - \frac{{\sum\nolimits_{i,j \in R(u),i \ne j} {s(i,j)} }}{{\frac{1}{2}|R(u)|(|R(u) - 1|)}}

    • 新颖性

      新颖的推荐是指给用户推荐那些他们以前没有听说过的物品。

    • 惊喜度

      定义惊喜度需要首先定义推荐结果和用户历史上喜欢的物品的相似度,其次需要定义用户对推荐结果的满意度。

    • 信任度

      提高推荐系统的信任度主要有两种方法。首先需要增加推荐系统的透明度(transparency),而增加推荐系统透明度的主要办法是提供推荐解释。只有让用户了解推荐系统的运行机制,让用户认同推荐系统的运行机制,才会提高用户对推荐系统的信任度。其次是考虑用户的社交网络信息,利用用户的好友信息给用户做推荐,并且用好友进行推荐解释。这是因为用户对他们的好友一般都比较信任,因此如果推荐的商品是好友购买过的,那么他们对推荐结果就会相对比较信任。

    • 实时性

      推荐系统的实时性包括两个方面。首先,推荐系统需要实时地更新推荐列表来满足用户新的行为变化。其次是推荐系统需要能够将新加入系统的物品推荐给用户。

    • 健壮性

      健壮性衡量了一个推荐系统抗击作弊的能力。所以设计推荐系统时尽量使用代价比较高的用户行为。比如,如果有用户购买行为和用户浏览行为,那么主要应该使用用户购买行为,因为购买需要付费,所以攻击购买行为的代价远远大于攻击浏览行为。同时在使用数据前,进行攻击检测,从而对数据进行清理。

    • 商业目标

      很多时候,网站评测推荐系统更加注重网站的商业目标是否达成,而商业目标和网站的盈利模式是息息相关的。一般来说,最本质的商业目标就是平均一个用户给公司带来的盈利。不过这种指标不是很难计算,只是计算一次需要比较大的代价。因此,很多公司会根据自己的盈利模式设计不同的商业目标。

      

    测评维度

      上面介绍了一些测评指标,但是在评测系统中还需要考虑评测维度,比如一个推荐算法,虽然整体性能不好,但可能在某种情况下性能比较好,而增加评测维度的目的就是知道一个算法在什么情况下性能最好。这样可以为融合不同推荐算法取得最好的整体性能带来参考。
    一般来说,评测维度分为如下3种。

    • 用户维度 主要包括用户的人口统计学信息、活跃度以及是不是新用户等。
    • 物品维度 包括物品的属性信息、流行度、平均分以及是不是新加入的物品等。
    • 时间维度 包括季节,是工作日还是周末,是白天还是晚上等。

      如果能够在推荐系统评测报告中包含不同维度下的系统评测指标,就能帮我们全面地了解推荐系统性能,找到一个看上去比较弱的算法的优势,发现一个看上去比较强的算法的缺点。

    展开全文
  • 软件设计规范

    2015-03-11 11:57:50
    软件问题3个方面: 1、硬件,软件操作对象和运行软件数字系统(CPU系统和数字加速硬件) 2、交互操作(界面),专业界面设计 3、软件调度性能,实时自动化过程(设备控制和自动测量)和用户交互过程(请求...
  • (20) 数据库设计包括个方面的设计内容,它们是(A) A. 概念设计和逻辑设计 B. 模式设计和内模式设计 C. 内模式设计和物理设计 D. 结构特性设计和行为特性设计 (21) 下列叙述中正确是(A) A. 线性表是线性结构 B. ...
  • (20) 数据库设计包括个方面的设计内容,它们是______。(A) A. 概念设计和逻辑设计 B. 模式设计和内模式设计 C. 内模式设计和物理设计 D. 结构特性设计和行为特性设计 (21) 算法的空间复杂度是指______。(D) A. ...
  • 软件危机主要表现在两个方面: (1) 软件产品质量低劣,甚至开发过程就夭折。 (2) 软件生产率低,不能满足需要。 4. 什么是软件生存周期模型?它有哪些主要模型? 答:软件生存周期模型是描述软件开发过程中各种...
  • 课外研修报告

    2012-12-13 15:17:02
    2) 去图书馆借书,书本内容包括目标线性规划,优化算法,统计学,运筹学,灰色理论,综合评价优化,神经网络,模糊理论。这段时间只要大致将自己还不太理解地方,稍微看看,已备竞赛查资料之需。 3) 学习8...
  • —— 阮若夷,支付宝高级专家, 【内容简介】, 本书全面而完整地讲解了Redis内部机制与实现方式,Redis大多数单机功能以及所有机功能实现原理进行了介绍,展示了这些功能核心数据结构以及关键的算法思想...
  • 算法的基本运算和操作包括:算术运算、逻辑运算、关系运算、数据传输。 (3)算法的3种基本控制结构 算法的3种基本控制结构是:顺序结构、选择结构、循环结构。 (4)算法基本设计方法 算法基本设计方法:列举法、...

空空如也

空空如也

1 2 3 4
收藏数 61
精华内容 24
关键字:

对算法的评价包括多个方面