精华内容
下载资源
问答
  • 点击率预估

    2020-10-27 22:28:06
    点击率预估是对每次广告点击情况作出预测,可以输出点击或者不点击,也可以输出该次点击的概率,后者有时候也称为 pClick. 广告点击率预估是需要得到某个用户对某个广告的点击率,然后结合广告的出价用于排序;而...

    点击率预估是对每次广告点击情况作出预测,可以输出点击或者不点击,也可以输出该次点击的概率,后者有时候也称为
    pClick.

    广告点击率预估是需要得到某个用户对某个广告的点击率,然后结合广告的出价用于排序;而推荐算法很多大多数情况下只需要得到一个最优的推荐次序,即TopN推荐的问题。当然也可以利用广告的点击率来排序,作为广告的推荐。

    Memorization 和 Generalization是推荐系统很常见的两个概念,其中Memorization指的是通过用户与商品的交互信息矩阵学
    习规则,而Generalization则是泛化规则。我们前面介绍的FM算法就是很好的Generalization的例子,它可以根据交互信息学
    习到一个比较短的矩阵,其中储存着每个用户特征的压缩表示(embedding),而协同过滤与SVD都是靠记住用户之前与哪些物品发生了交互从而推断出的推荐结果,这两者推荐结果当然存在一些差异,我们的Wide&Deep模型就能够融合这两种推荐结果做出最终的推荐,得到一个比之前的推荐结果都好的模型。

    其实wide&deep模型本身的结构是非常简单的,对于有点机器学习基础和深度学习基础的人来说都非常的容易看懂,但是
    如何根据自己的场景去选择那些特征放在Wide部分,哪些特征放在Deep部分就需要理解这篇论文提出者当时对于设计该模
    型不同结构时的意图了,所以这也是用好这个模型的一个前提。

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • 计算广告/推荐系统/机器学习(Machine Learning)/点击率(CTR)/转化率(CVR)预估/点击率预估
  • 论文题目: Predicting Clicks: Estimating the Click-Through Rate for New Ads该论文是07年微软发表的一篇用LR做广告点击率预估,背景是以往的点击率预估模型对于新广告无法很好的处理,该论文通过拓展特征集对...

    7096dd63569e96131d2b54f2556344c6.png

    论文题目: Predicting Clicks: Estimating the Click-Through Rate for New Ads

    该论文是07年微软发表的一篇用LR做广告点击率预估,背景是以往的点击率预估模型对于新广告无法很好的处理,该论文通过拓展特征集对不同的feature set建模,比较KL-散度,筛选出最佳模型,对新广告有很准确的预估。

    1. 背景:

    在线广告的计费方式多种多样,本文遵循CPC(cost-per-click)方式对广告计费,

    ,因此如果使收益最大化,广告在搜索展示页面的排序十分重要。我们需要对p(click)进行预估,在广告系统中
    ,假设 1)被点击的广告不可能浏览量为0;2)广告被点击的概率与位置无关,而与是否被浏览有关;3)广告被浏览的概率与广告本身内容无关,而与广告的位置有关,那么上述的式子简化为
    ,其中
    的估计文中提到了一种追踪眼球运动的装置能够发现用户观看搜索结果的情况,那么我们需要做的就是对
    的预估。

    2. 数据预处理:

    1) 广告主给的一则广告大概率对应多个term(搜索关键词),每一个term都应该单独对待为一条广告,同时为了避免train-test contamination(训练集测试集污染)的发生,我们按照广告主的维度划分训练(70%)-测试(20%)-验证集(10%),同一个广告主只可能出现在唯一的数据集中;

    2)把高级账户去掉,高级账户往往和普通账户有很大的差别,应该分开进行建模(原因是首先不同账户类别之间的广告方差很大,其次这篇文章就是针对没有或者很少经验数据的广告主);

    3)限制每个广告主随机选择1000条广告,确保差异性;

    4)有一些广告view会很少,这样它的期望ctr与经验ctr会非常不同,所以去掉少于100次观看的广告(100是训练和测试中需要更多和更少的views的平衡,后文的解释是views更高会在训练集上的表现更好,但是对于预测新的广告,会有较大的偏差);

    5)对于每个feature,添加

    , 对所有的这些feature做归一化,具体是在training set上,将特征归一化并应用到测试集上;

    6)一些特征具有明显的离群值,因此任何与均值超过五个标准偏差的特征值都被截断为五个标准偏差。

    3. 模型:

    选择LR模型,CTR的公式如下:


    其中
    表示的是数据集中第i个特征,训练模型采用的是L-BFGS(Limited-Memory Broyden-Fletcher-Goldfarb-Shanno)的方法(该方法是从拟牛顿法衍生出来求解最优化的方法,BFGS好处是具有全局收敛性和超线性收敛速度,简而言之就是更快,L-BFGS限制了内存,单机运行速度会慢于BFGS,但是多机并行的时候表现更好);loss function是交叉熵损失;模型选择的方法是比较KL-散度和MSE。

    4. 特征选择:

    Term CTR

    1)第一个特征是用户搜索关键词的相关的广告历史数据(不包括当前需要预测的广告主的数据,以免污染)的CTR如下:

    上述公式中,

    是给定的term相关数据的总数,
    是这些相关数据的平均CTR,
    是全部的训练集的平均,
    是权重的表达,实验中权重设置为1。

    2)第二个特征是

    这两个特征组成了 Term CTR feature set,实验效果如下图:

    b40eb8800cb09c1c36fea5f36ea1d47e.png

    (注意:baseline的feature只有一个feature,

    Related Term CTR

    搜索关键词相关的关键词考虑做特征,比如搜索词是'red shoes',那么'buy red shoes'是相关的搜索关键词,本文给出了一套相关的搜索词的判断方式,把所有的相关词组成

    1)Related Term CTR的特征集和 Term CTR很像,也是诸如

    公式的形式进行特征平滑,只不过其中的
    以及
    变成了如下形式:
    • 是全部相关搜索词的平均点击率;
    • ,是搜索词相关词的数量。

    2)同Term CTR,Related Term CTR也把

    数量作为特征。

    实验效果如上图。

    Ad Quality

    主要是从Appearance、Attention capture、Reputation、Landing page quality、Relevance五个方向增加特征,论文得出了标语(unigrams)对模型表现影响较大,实验效果如下图:

    990d9d97a544fe8f8f565cf5120d9bdb.png

    Order Specificity

    在Ad Quality的基础上,对广告主提过来的工单(order)对term分类,分为74种,把每个工单的每个term所属种类的分布的熵做为新的feature。实验效果如下图:

    a3b9588fbc03e534148d6a01df9ed786.png

    External Sources of Data

    不局限于广告本身,挖掘一些外部特征,该论文添加了网络上出现的术语的近似频率,以及搜索引擎用户查询该术语的近似频率两个特征。实验效果如下图:

    d556481f67b2923ef75d8f0d66784ebb.png

    5.总结

    论文最后讨论的特征重要性以及未来工作的展望,其中由于特征并不是相互独立的,所以重要性排序并无太大意义,对于该模型来说,特征越多,鲁棒性越好,高观看数(views)也会让模型更准确。

    展开全文
  • Kaggle竞赛之Outbrain点击率预估
  • 本文要介绍的论文是《MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》论文下载地址为:https://arxiv.org/abs/2008.029741、背景当前的点击率预估模型往往是在单域上进行的,比如...

    1849b17fd093a55411619382d1eb8fac.png

    本文要介绍的论文是《MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》
    论文下载地址为:https://arxiv.org/abs/2008.02974

    1、背景

    当前的点击率预估模型往往是在单域上进行的,比如在预估广告的点击率时,仅仅使用广告上的数据。但是呢,在新闻推荐中呢,广告往往是和自然结果(普通新闻)一起展示的,尽管广告的内容和自然结果的内容相差较大,但用户在自然结果上的浏览行为也可能会对广告点击率预估提供有用的信息,比如当一个用户浏览了一些娱乐方面的资讯,那他就会有更高的概率点击游戏方面的广告。因此,在广告点击率预估中,引入用户在自然结果上的浏览数据在理论上可以提升CTR预估的效果。

    本文主要介绍在UC头条上(如下图所示),如何使用用户在自然结果(source domain)上的浏览行为,来提升在广告(target domain)上的点击率预估效果。提出的模型称为MiNet(Mixed Interest Network),一起来学习下。

    4407909aafd43671981449e86153dfff.png

    2、MiNet介绍

    2.1 整体介绍

    模型的整体结构如下图所示:

    86a66a1a1fe50b34d8566df7e41532e7.png

    模型主要建模用户三个方面的兴趣:
    1)跨域长期兴趣:这里主要通过用户的基本属性信息来表示用户内在的长期兴趣,比如20岁左右的男性用户可能对体育赛事的资讯或者游戏类的广告比较感兴趣
    2)源域短期兴趣:主要是对用户在自然结果上的短期浏览行为进行建模
    3)目标域短期兴趣:主要是对用户在广告上的短期点击行为进行建模

    同时,模型采用了两个层级的attention,首先是item级别的,主要是从用户的点击行为中抽取出和目标广告相关的信息,另一个是interest级别的,主要是建模不同兴趣的重要程度。接下来,我们详细介绍各个部分。

    2.2 特征Embedding

    模型的输入大都是id类特征,如用户ID、用户性别,用户所在地域,用户的手机设备型号、用户点击过的自然结果ID、广告结果ID等等,这类id类特征首先会转换为对应的embedding表示。

    2.3 跨域长期兴趣建模

    这里主要通过用户的基本属性信息来表示用户内在的长期兴趣,比如20岁左右的男性用户可能对体育赛事或者游戏类的资讯或者广告比较感兴趣。这里主要做法是将用户ID、用户性别、用户所在地域、用户的手机设备等embedding向量进行拼接,输出为pu。例如用户ID为123,城市为北京,男性用户,使用苹果手机,得到的长期兴趣表示为:

    133bca6ea4f2e713d23cca379ee31c51.png

    其中||代表向量拼接。

    2.4 源域短期兴趣建模

    这里主要是对用户浏览过的自然结果进行建模,抽取用户在source domain中的兴趣。用户近期点击过的每一个自然结果对应的向量用rsi表示。主要的做法是对这些向量进行加权求和,得到输出as:

    a3918daf74c0c4b5a6b54543d9efc773.png

    关于权重的计算,文中介绍了三种方法:

    1)第一种是加权平均方法,这种方法计算比较简单,但没有考虑不同item之间的重要程度
    2)第二种权重计算方式如下,这种方式没有考虑item与目标广告之间的相关性:

    1a43f98b9905fb4e1ff3a65a4fac344f.png

    3)论文采用的方式如下:

    7df3d293bb29374ae097bfd81d6f4745.png

    其中,rsi是用户点击的第i个自然结果,qt代表目标广告,pu代表用户的长期兴趣向量,M代表transfer矩阵,将source domain的向量空间映射到target domain的向量空间。

    2.5 目标域短期兴趣建模

    这里主要是对用户浏览过的广告结果进行建模,抽取用户在target domain中的兴趣,建模方式同在源域相同,只不过不需要对向量进行映射:

    bb387268604d4bce03b65a35b984fe06.png

    2.6 兴趣层级Attention

    最后是将用户长期兴趣输出pu,源域短期兴趣输出as,目标域短期输出at以及目标广告向量qt进行拼接,输入到多层全联接神经网络中,得到点击率预估预测值。

    但是不同的兴趣对于目标广告是否点击起到不同的作用,如果目标广告和用户最近点击的广告相似,那么用户在目标域的短期兴趣则会起到更重要的作用,如果目标广告和用户点击过的自然结果和广告都不相似,则长期兴趣则会起到更重要的作用。

    因此在将前面介绍的几部分输入到全联接神经网络之前,首先需要计算各兴趣的权重:

    ba55cfeb5b71960dabf5768f055deb36.png

    最后全联接部分的输入为:

    32d0cad0560750bbd6a807f21769bfe2.png

    2.7 辅助任务

    模型还进一步加入了辅助任务,来辅助用户长期兴趣的学习,辅助任务也是点击率预估任务,主要通过用户的长期兴趣来预测用户对源域中自然结果的点击概率,该部分示意图如下:

    f350469ac55787d03b09e7cef04437cf.png

    2.8 输出及损失函数

    模型两部分的损失均使用交叉熵损失,最终通过加权的方式得到最终损失:

    b6c58fa304c0afcd389ce9778b55f910.png

    9109ec4c19ca85bfc43a0c925f9cb824.png

    3、实验结果分析

    论文对比了MiNet和部分单域和跨域模型的结果,如下所示:

    e1b940136517be73aa1b0112d0542d93.png

    4、总结

    本文提出了Mixed Interest Network (MiNet)来进行跨域的点击率预估,并取得了不错的实验效果。跨域预估的主要优势是能够对冷启动问题起到一定的帮助,如果用户在目标域中的行为比较少的话,可以通过在源域中的行为来进行辅助的预估,提升冷启动的效果。

    好了,本文就介绍到这里,感兴趣的童鞋可以看一下原论文。

    关于深度传送门

    深度传送门是一个专注于深度推荐系统与CTR预估的交流社区,传送推荐、广告以及NLP等相关领域工业界第一手的论文、资源等相关技术分享,欢迎关注!加技术交流群请添加小助手deepdeliver,备注姓名+学校/公司+方向。

    aadb6c819e69a3e4c0c3c85b3d2746f4.png

    你点的每个“在看”,我都认真当成了喜欢
    展开全文
  • 一、互联网广告点击率(CTR)是指某一广告内容被点击的次数与被展现次数之比,即点击量与曝光量的比值。...因此互联网广告点击率预估具有很高的实用价值。而广告由过去通投展示投放正在向精准投放转变,以数据驱动的...

    一、

    互联网广告点击率(CTR)是指某一广告内容被点击的次数与被展现次数之比,即点击量与曝光量的比值。在互联网广告中,对于广告主和搜索引擎供应商来说,点击率都是一个重要的量化指标。在DSP的程序化购买和搜索广告投放的过程中,都需要评估用户对广告的偏好程度,而衡量这一偏好程度的重要指标就是广告的点击率。因此互联网广告点击率预估具有很高的实用价值。

    而广告由过去通投展示投放正在向精准投放转变,以数据驱动的、依托于大数据的、广告精准投放已成为在线广告的主流趋势。互联网广告通过点击率预估来指导广告的后续投放。下图描述了一个广告点击率预估系统的工作流程。

    二、特征工程

    特征工程主要包括特征方案的制定、特征获取、特征处理和特征监控。

    特征方案的制定需要根据对业务的理解,尽可能找出对因变量有影响的自变量,并评估获取这些自变量的难度,以及其覆盖率和准确率。

    特征获取涉及到特征获取的方法和特征存储方法。特征监控需要对特征进行有效性分析,并监控重要特征的变化情况,防止引入质量差的特征影响模型效果,必要时可调整特征的权重。

    特征处理在特征工程中占有重要地位,其主要包括对特征进行清洗采样和预处理。清洗的目的是为了清除噪声数据;采样是为了解决类别分布不均衡或数据量过大等问题。

    对于单个特征,特征预处理涉及到对该特征进行归一化、离散化、缺失值处理或作相应变换,如将时域特征变换为频域特征,将数值作对数或指数变换。衍生变量指的是由现有的变量生成新的更有意义的变量,比如由广告曝光量和点击量得到的广告历史CTR。

    对于多个特征,特征预处理涉及到降维,而降维的一些最常用的方法是使用线性代数技术,如主成分分析( principal components analysis,PCA)和奇异值分解( singular value decomposition,SVD)。降维的另一种方法是仅使用特征的一个子集,即需要对特征进行选择。特征选择的理想方法是将所有可能的特征子集作为感兴趣的数据挖掘算法的输入,然后选取产生最好结果的子集。然而,由于涉及n个属性的子集多达2n个,这种方法在大多数情况下行不通,所以需要其他的策略。有三种标准的特征选择方法:过滤、包装和嵌入。

    展开全文
  • kaggle 大赛 点击率预估 分析,GBDT+FFM,排名第一,非常好的分析
  • CTR点击率预估干货分享

    万次阅读 2016-08-06 22:19:53
    1.指标广告点击率预估是程序化广告交易框架的非常重要的组件,点击率预估主要有两个层次的指标: 1.排序指标。排序指标是最基本的指标,它决定了我们有没有能力把最合适的广告找出来去呈现给最合适的用户。这个是...
  • 跨域点击率预估的最大优势在于通过使用跨域数据,目标域中的数据稀疏和冷启动问题都能得到缓解,这也是为什么能提高推荐性能的原因。”本文要介绍的论文是《MiNet: Mixed Interest Network for Cross-Domain Click-...
  • 点击率预估方法总结

    2019-10-19 15:15:56
    点击率预估方法总结 点击率预估方法总结 前言: 最近一直在做帖子维度的CTR预估,尝试了好些方法,把一些经过和想法记录下来。C表示点击数,I表示展示数,p表示CTR 1. 普通方法 p=C/I 直接使用帖子的点击数...
  • 点击率预估 基于机器学习的点击率预估 数据,特征,模型,评测 大数据下的特征处理和模型训练 深入讨论 广告排序的核心问题1 广告展现流程 候选广告选取用户-> Query <-> Bidwords广告主 广告排序 扣费 2 核心问题...
  • 广告点击率预估

    2018-08-26 10:53:32
    参考 ...广告中点击率预估需要给出精准的点击概率,A点击率0.3% ...
  • CTR点击率预估

    2017-09-16 16:13:31
    广告点击率预估是程序化广告交易框架的非常重要的组件,点击率预估主要有两个层次的指标: 1.排序指标。排序指标是最基本的指标,它决定了我们有没有能力把最合适的广告找出来去呈现给最合适的用户。这个是变现的...
  • 点击率预估综述

    2018-07-20 10:40:44
    点击率预估综述 52cs07/24/2017 Twitter Facebook Google+ Pinterest Tumblr       作者:张红林,腾讯高级工程师 背景 在计算广告系统中,一个可以携带广告请求的用户流量到达后台时,系统需 要...
  • 点击率预估模型 0.前言 本篇是一个基础机器学习入门篇文章,帮助我们熟悉机器学习中的神经网络结构与使用。 日常中习惯于使用Python各种成熟的机器学习工具包,例如sklearn、TensorFlow等等,来快速搭建各种各样的...
  • 在以AI技术为支持的推荐、搜索、广告等业务中,点击率预估(CTR)一直是技术攻坚的核心,同时也是AI技术在业务落地中最难实现的技术方向之一。近日,来自京东广告团队的一篇论文《Category-Specific CNN for Visual-...
  • 点击率预估算法:FM与FFM

    万次阅读 多人点赞 2017-09-01 14:17:03
    点击率预估算法:FFM@(计算广告)[计算广告]点击率预估算法FFM 1FM 1 背景 11 线性模型 12 二项式模型 2 FM 21 FM基本原理 22 数据分析 23参数个数 24 计算时间复杂度 25 梯度 26 训练时间复杂度 2FFM 1 背景及基本...
  • 版权声明:本文出自程世东的知乎,原创文章,转载请注明出处:Kaggle实战——点击率预估。 请安装TensorFlow1.0,Python3.5 项目地址:chengstone/kaggle_criteo_ctr_challenge- 点击率预估用来判断一条广告被...
  • 在以人工智能技术为支持的推荐、搜索、广告等业务中,点击率预估(CTR)一直是技术攻坚的核心,同时也是人工智能技术在业务落地中最难实现的技术方向之一。第一期介绍了视觉信息使用帮助提高点击率预估的准确度...
  • 基于递归神经网络的广告点击率预估,涉及随机森林、python、LSTM等。
  • Kaggle实战——点击率预估

    万次阅读 多人点赞 2017-12-31 08:15:07
    原创文章,转载请注明出处: ...项目地址: ...点击率预估用来判断一条广告被用户点击的概率,对每次广告的点击做出预测,把用户最有可能点击的广告找出来,是广告技术最重要的算法之一。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 901
精华内容 360
关键字:

点击率预估