精华内容
下载资源
问答
  • 1. 项目背景 在互联网上,流量=变现 ...这⾥的直投是指直接在流量⽅广告系统投放,可以自建也可以使用第三方⼴告系统。 在变现上,DAU千万级以上的产品就不用过于发愁了,不管是自建销售队伍还是走代理公司,一般

    1. 项目背景

    在互联网上,流量=变现

    流量变现的⽅式有很多种,不同的产品/平台,变现模式不一样。按大类分,无外乎三类:卖广告卖产品/服务增值服务

    今天重点说说广告的变现模式,并主要解决两个问题:

    1. ⼴告从何来?

    2. 怎样的广告策略才能让流量变现最大化?

    广告来源可以有很多渠道,分两个大类:

    1. 直投客户:来⾃自己销售,或代理公司。

    这⾥的直投是指直接在流量⽅广告系统投放,可以自建也可以使用第三方⼴告系统。

    在变现上,DAU千万级以上的产品就不用过于发愁了,不管是自建销售队伍还是走代理公司,一般都是 广告主或代理公司争抢的TOP流量。只要想变现,还是不缺广告填充的,因为平台级产品是可以掰着⼿指头数的过来的。

    ⽽且有了这么大量级的⽤户,变现的玩法更多,如果哪家用户过千万级产品还苦于没钱赚,那负责变现的朋友自动下课好了。

    1. DSP(或SSP、或联盟广告)

    对于DAU规模在⼤几十万甚⾄百万级别的产品(垂直细分类产品除外,如⾦融类),流量有了⼀定的广告价值,可能会有广告主或代理公司主动找上门要求投放,但这类基本属于守株待兔型的,如果不主动出击,可能都解决不了温饱问题。

    如果往前推个⼗年,⽹站只要稍微有点流量,不少都是靠在底部留个联系方式等广告上门,⽽且客户还真不少,因为那会的环境是狼少肉多。

    特别对于流量规模更小的APP或个⼈网站,基本没有销售队伍或者销售能力,⼴告填充基本都是来自于 DSP或联盟广告。

    怎样的广告策略才能让流量变现最大化?

    通过数据驱动,将数据作为生产资料,通过科学的方法,运⽤到业务经营过程中,并不断作出正向的反馈,促进业务优化提高。

    image-20210723115555938

    2. 数据管理平台

    数据管理平台是互联网⼴告体系中非常重要的一部分

    • 是广告主实现自身数据增值的重要工具,⼴告主通过大数据分析消费者的行为,可以将⼴告更有针对性地传达给“刚需客户”。
    • 通过数据统计分析用户的访问行为和喜好,将内容更有针对性地推送给用户,提高⽤户访问的粘性,增大⽹站的流量。
    • 数据管理理平台提供了多维度的查询接⼝,让广告主和运营人员能够实时的查看数据效果展示。

    从数据角度来看,通过数据管理平台,需求方平台的广告投放的效果得到增强,并通过直观的数据展示,也让更多的广告主认可了广告投放平台,通过数据的应用为广告主和公司创造了收益。

    3. DSP广告系统架构

    DSP广告系统架构

    3.1 DSP是什么

    ​ DSP(Demand-Side Platform),就是需求方平台,以精准营销为核心理念。允许广告客户和广告机构更方便地访问,以及更有效地购买广告库存(流量)。

    3.2 DSP是⼲什么的

    ​ 为需求方(即⼴告主或代理商)提供实时竞价投放平台,需求方可以在DSP平台上管理广告活动及其投放策略,包括目标受众的定向条件、预算、创意、出价等等,DSP可以通过技术和算法优化投放效果, 提供数据报告,使需求方清晰明了的看到⾃己的广告效果。

    说白点就是把产品的广告直接送到目标客户⾯前

    image-20210723133543275

    3.3 DSP的⽬标

    ​ 使用程序的方式进行广告的投放的管理,并利用算法和技术自动实现精准的目标受众定向,只把广告投放给对的人。

    ​ 对广告主⽽言,使⽤程序化购买不仅能提高流量采购效率,更低成本的或可靠,稳定的流量,还能使用各种策略,投放不同的目标人群,使得广告的投放效果更加可控。减少⼴告浪费的同时,提升转化率, 扩大覆盖面积,最终实现跨终端的投放管理和效果追踪

    ​ 对媒体资源⽽言,使⽤程序化管理的⽅式,能实现资源的⾃动化售卖,提高流量的使用率,有效利用优质流量和⻓尾流量,并且能基于人群的属性、兴趣等标签,对不同流量给出不同售价,提升流量库的收入。

    3.4 DSP怎么做的

    ​ 简单讲,就是DSP平台先对接媒体,如微博、腾讯、头条、OPPO、ZAKER等资源,再通过实时竞价(RTB)的方式,让广告主自主选择投放的媒体及投放的客户群体,进⾏⼴告投放~

    3.5 DSP投放系统架构图

    image-20210723144750757

    3.5.1 RTB竞价逻辑

    image-20210723150613580

    3.6 平台核心要素

    3.6.1 流量资源

    ​ 不同的流量资源会有不同的效果,如何选择媒体和广告位是关键。平台上各种站点,频道,广告位,⼴告投放前制定投放策略,需要根据投放KPI(即⼴告主用于评估效果的关键指标)选择适合的媒体。 制定媒体策略⾸先需要分析目标受众,根据目标受众选择匹配的媒体资源。媒体策略可以从所要投放的 广告位所在页面(page)、位置(spot)、流量 (inventory)、价格(price)和转化(conversion)五个角度来制定。

    • 页面: 包括渠道、载体(PC/WAP/APP)、媒体分类、频道、URL、页面关键词 等。

    • 位置: ⼴告位所在的具体位置、尺寸的⼤小、⼴告位类型、屏次(如⾸屏、第二 屏)等,都会影响广告 的有效性。

    • 流量: 总流量的大⼩决定着能采购的流量⼤小。⽐如,每天需要投放3,000,000个 展示,那么起码得先确保所选媒体的总流量⼤于这个量级。需求⽅平台通常有流量预估功能,可以为需求方的流量采购提供一定的参考价值。

    • 价格: 广告主KPI⼀般会对单价或量级有要求,要在有限的投放预算里⾯满足 KPI,就得考虑价格。在竞价环境中,价格是不固定的,但是我们可以参考历史投放的平均价格。

    • 转化: 除了参考流量和价格,还需要参考历史转化情况,以达到更好的媒体效果预估。

    3.6.2 投放策略及受众定向

    1. 基础设置
    • 出价上限,可以按照CPM(Cost Per Mille:展现成本,或者叫千人展现成本)或CPC(Cost Per Click点击成本,即每产生一次点击所花费的成本)设置,⼴告主可以设置好能承受的价格上限,将投放成本控制在可接受范围。附:还有个CPA(Cost Per Action):每行动成本。即按行动收费
    • 预算控制,提前设置好预算可以避免消耗过度,预算分为每⽇预算、总预算。在平台上还可以设置曝光数限制和点击数量限制,相应的有每⽇日曝光数、总曝光数或每日点击数、总点击数。
    • 频次控制,频次控制是指⼴告主设置的同一个⽤户在设定时间内看到特定广告的总次数,或者在设定时间内看到某个广告素材的总次数。⼀方面,在预算有限的情况下,有效的频次控制可以覆盖到更多的用户;另一⽅⾯,同段时间内对同一用户进行⼤量曝光或者大量重复同一广告素材的意义不不大,有效的频次控制还能在⼀定程度上提升点击率和转化率。
    • 投放时间,设置投放⽇期或投放时段,也可以设置为不不限制。投放日期或每日的投放时段都会对广告效果产⽣影响,⽐如周末、晚上高峰阶段。
    1. 受众定向
    • 地区定向,指定投放区域,包括国家、省份、城市等。
    • 客户端定向,设置受众的操作系统、浏览器器、系统语言等。
    • 移动设备,包括设备类型(如手机、平板)、设备品牌(如 Apple、华为)和设备型号等。
    • 人群标签定向,基于DMP(Data Management Platform 数据管理平台)系统,可以选着不同兴趣爱好的人群进行⼴告投放,以实现更精准的⼈群覆盖

    3.6.3 创意内容

    ​ 选择好广告位和对应的⼈群,还需要有适合的创意匹配用户的喜好。即使是同一个广告位,甚至是同一个用户,对不同创意素材的反应都是不同的。制作创意首先要把握好创意形式(Format)和⽤户交互 (Engagement)方式。

    ​ 创意形式是指素材是以什么文件形式呈现,比如图片、文字、图文、Flash、视频、表单或者其它。目前来看,视频创意和图文创意(如信息流)创意形式最佳,这跟广告位特性有关,这些广告位的价格也比普通广告位高一些。用户交互是指用户在素材上进行什么动作,如点击切换动态创意、在创意上填写注册信息、 点击⼴告后扩展素材、甚至是语音提交信息。

    • 图片PC
    • ⼩灯泡
    • 动态创意

    3.7 数据指标

    ​ 作为广告主一方,在广告投放过程中,必须要需要关注广告的投放效果,以及时调整投放策略,达到效果最大化,关注的指标包含: 请求,展示,点击,花费基础指标,以及不同时间段,不同⽹网站,策略,创意,广告形式,省市,频次的⾼阶指标

    3.7.1 基础指标

    • 请求数:包含总请求数,有效请求数,参与竞价数,赢得竞价数

    • CPC:每点击成本,即⼴告被点击一次对应的价格。⽤公式表示即 CPC=Cost/Click。如果结算类型是CPC,那么CPC和CTR会是主要的考核和优化⽬目标

    • CPM:每千人成本, 即广告被展示一千次对应的价格。⽤公式表示即 CPM= (Cost/Impression)*1000。如果结算类型是CPM,⼀般会从CPM和CTR着⼿手

    • CTR:指广告的点击率,即广告点击次数占广告展示次数的百分比。⽤公式表示即CTR= (Click/Impression)*100%

    3.7.2 高阶指标

    • 独⽴访客数(UV):Unique Visitor数量,指在特定时间内访问页⾯的虚拟自然人(用客户端标识)的总数。

    • 访问数 …

    • 网站到达率:指⽤户到达landingpage的数量和点击数的比值,⽤于衡量该环节用户流失率

    • 频次:分为离线频次和累计频次,指对每个独立用户的曝光频次

    • 网站浏览量:⽤户到达目标页面产生的浏览量

    • 二跳率:…

    • 平均停留时间:该次投放用户到达目标页面后的平均停留时间

    • 下载,激活,注册:该次⼴告投放引导用户下载,激活,注册的数量付款⾦额,付款人次,该次广告投放引导用户产生⽀付的金额,人次

    4. 需求分析

    1. ⼴告主要看实时统计广告效果数据,并且支持多维度分析

    2. 把服务端⼴告竞价阶段的信息补充到客户端上报的日志里,需要实时⽇志拼接

    3. 还有最基本的保证数据的准确性,需要有离线流程定时做数据修复

    5. 架构选型

    • 技术选型(1) 方案一:

      • 广告请求时把信息编码到广告url里面, 曝光和点击的时候再上报。
      • 缺点:
        • 广告url过长,“偷”⽤户流量,移动端优质APP难以接受。
        • 不能放入过多的信息。
    • 技术选型(2) 方案二:

      • 在实时处理引擎里面实现流式关联
      • 缺点:
        • join 窗⼝的双流数据都是被缓存在内存中的,也就是说如果某个key上的窗口数据太多就会导致 JVM OOM。
        • 广告下发后的曝光,转化等数据可能需要几天之后才能回传回来,内存无法缓存如此长时间的请求数据。
    • 技术选型(3) 方案三:

      • 广告请求信息写入kv store(redis和HBase),⼴告曝光和点击时查询kv store(HBase),做日志关联
      • 优点:
        • 不需要使用移动端回传
        • kv store(HBase)里保存近1个月的数据,作为兜底逻辑,可保证拼接率
        • redis里保存近两个小时的数据,大部分的查询能命中 cache

    6. 数据管理平台(DMP)整体流程介绍

    DMP是把分散的多方数据进行整合纳入统一的技术平台,并对这些数据进行标准化和细分,让用户可以把这些细分结果推向现有的互动营销环境里的平台。能够为广告投放提供人群标签进行受众精准定向,并通过投放数据建立用户画像,进行人群标签的管理以及再投放。 代表有:百分点、达摩盘等。

    1. 为什么要有这个平台,平台的功能

      1. 服务于DSP系统模型
      2. 服务于广告主看数需求
    2. 采集

      1. 竞价引擎日志如何采集、如何进kafka、为啥进kafka、如何保障稳定性
      2. client用户上报日志如何采集、如何进kafka、不落地如何保证数据不丢
      3. ⼴告主回传数据:在微信朋友圈投广告,为什么要回传,如何回传
    3. 处理

    4. 结果展示

    7. 平台的架构难

    1. 实时拼接

      1. 拼接率
      2. 拼接失败重试方案
      3. 准确性
    2. 读取kv的压⼒

    3. 数据重复问题

    4. 多维数据分析

    8. 如何从架构设计上解决这些问题

    1. *实时引擎选型

    2. 拼接失败重试方案

    3. 实时拼接,采用离线来修复

    4. 存储引擎选型,读取kv的压力,读kv慢,flink处理能力下降,数据处理不过来

    5. 数据重复问题,⽇志加event_id

    6. *多维分析引擎选型

    9. 架构设计

    数据收集 --> 数据预处理 -->数仓建模(分层设计 事实表 维度建模) --> 需求案例实现

    LAMBDA

    image-20210723140815395

    展开全文
  • 总第457篇2021年 第027篇美团到店广告平台算法团队基于多年来在广告领域上积累的经验,一直在数据偏差等业界挑战性问题不断进行深入优化与算法创新。在之前分享的《KDD Cup 2020...

     

    美团到店广告平台算法团队基于多年来在广告领域上积累的经验,一直在数据偏差等业界挑战性问题不断进行深入优化与算法创新。在之前分享的《KDD Cup 2020 Debiasing比赛冠军技术方案与广告业务应用》一文[4]中,团队分享了在KDD Cup比赛中取得冠军的选择性偏差以及流行度偏差的解决方案,同时也分享了在广告业务上偏差优化的技术框架。

    本文基于这一技术框架进行继续介绍,聚焦于位置偏差问题的最新进展,并详细地介绍团队在美团广告取得显著业务效果的位置偏差CTR模型优化方案,以该方案为基础形成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国际顶级会议SIGIR 2021录用。

    近些年来,由于人工智能技术的高速发展,所带来的公平性问题也愈发受到关注。同样的,广告技术也存在着许多公平性问题,由于公平性问题造成的偏差对广告系统的生态会产生较大的负面影响。图1所示的是广告系统中的反馈环路[1],广告系统通过累积的用户交互反馈数据基于一定的假设去训练模型,模型对广告进行预估排序展示给用户,用户基于可看到的广告进行交互进而累积到数据中。在该环路中,位置偏差、流行度偏差等各种不同类型的偏差会在各环节中不断累积,最终导致广告系统的生态不断恶化,形成“强者愈强、弱者愈弱”的马太效应。

    图1 广告系统中的反馈环路,各种偏差被不断循环累积

    由于偏差对广告系统和推荐系统的生态有着极大的影响,针对消除偏差的研究工作也在不断增加。比如国际信息检索会议SIGIR在2018年和2020年组织了一些关注于消除偏差主题的专门会议,同时也给一些基于偏差和公平性的论文颁发了最佳论文奖(Best Paper)[2,3]。KDD Cup 2020的其中一个赛道也基于电子商务推荐中的流行度偏差进行开展[1]。

    1. 背景

    美团到店广告平台广告算法团队基于美团和点评双侧的广告业务场景,不断进行广告前沿技术的深入优化与算法创新。在大多数广告业务场景下,广告系统被分为四个模块,分别是触发策略、创意优选、质量预估以及机制设计,这些模块构成一个广告投放漏斗从海量广告中过滤以及精选出优质广告投放给目标用户。其中,触发策略从海量广告中挑选出满足用户意图的候选广告集合,创意优选负责候选广告的图片和文本生成,质量预估结合创意优选的结果对每一个候选广告进行质量预估,包括点击率(CTR)预估、转化率(CVR)预估等,机制排序结合广告质量以及广告出价进行优化排序。在本文中,我们也将广告称之为item。

    CTR预估,作为质量预估的一个环节,是计算广告中最核心的算法之一。在每次点击付费(CPC)计费模式下,机制设计可以简单地按每千次展示收入(eCPM)来对广告进行排序以取得广告收入最大化。由于eCPM正比于CTR和广告出价(bid)的乘积。因此,CTR预估会直接影响到广告的最终收入和用户体验。为了有更高的CTR预估精度,CTR预估从早期的LR[5]、FM[6]、FFM[7]等支持大规模稀疏特征的模型,到XGBoost[8]、LightGBM[9]等树模型的结合,再到Wide&Deep[10]、Deep&Cross[11]、DeepFM[12]、xDeepFM[13]等支持高阶特征交叉的深度学习模型,进一步演化到DIN[14]、DIEN[15]、DSIN[16]等结合用户行为序列的深度学习模型,一直作为工业界以及学术界研究的热点领域之一,被不断探索和不断创新。

    由于CTR预估模型的训练通常采用曝光点击数据,该数据是一种隐式反馈数据,所以会不可避免地产生各种偏差问题。其中,位置偏差因对CTR影响极大而备受关注。如图2所示,随机流量上不同位置的CTR分布反应了用户通常倾向于点击靠前位置的广告,并且CTR会随着曝光位置的增大而迅速下降。因此,直接在曝光点击数据上进行训练,模型不可避免地会偏向于靠前位置的广告集合,造成位置偏差问题。图2显示正常流量相比随机流量CTR分布更加集中在高位置广告上,通过反馈环路,这一问题将不断地放大,并且进一步损害模型的性能。因此,解决好位置偏差问题不仅能够提升广告系统的效果,而且还能平衡广告系统的生态,促进系统的公平性。

    图2 美团广告正常流量和随机流量在不同位置上的CTR分布

    广告最终的真实曝光位置信息在线上预估时是未知的,这无疑进一步增大了位置偏差问题的解决难度。现有的解决位置偏差的方法可以大致分为以下两种:

    • 神经网络位置特征建模:该方法将位置建模为神经网络中的特征,由于在预估过程中并不知道真实位置信息,故而有些方法[17-19]把位置信息放于网络的Wide部分,在线下训练时使用真实位置,在线上预估时使用固定位置,这种方法由于其简单性和有效性,在工业界被广泛应用。为了在线上预估时无需使用位置信息,如图3所示,PAL[20]将样本的CTR建模为ProbSeen乘以pCTR,其中ProbSeen仅使用位置特征建模,而pCTR使用其他信息建模,在线上只使用pCTR作为CTR预估值。

    图3 PAL框架
    • Inverse Propensity Weighting(IPW):该方法被学术界广泛研究[21-29],其在模型训练时给不同曝光位置的样本赋予不同的样本权重,直观地看,应该将具有较低接收反馈倾向的广告样本(曝光位置靠后的广告)分配较高的权重。因此,这种方法的难点就在于不同位置的样本权重如何确定,一个简单的方法是使用广告随机展示的流量来准确地计算位置CTR偏差,但不可避免地损害用户体验。故而,许多方法致力于在有偏的流量上来准确地预估位置偏差。

    上述的方法通常基于一个较强的假设,即点击伯努利变量依赖于两个潜在的伯努利变量E和,如下式所示:

    其中,等式左边指的是用户在上下文中点击第个广告的概率,我们定义上下文为实时的请求信息。等式右边第一项指的是位置被查看的概率,其中通常为上下文的一个子集,大部分方法假设为空集,即位置被查看的概率仅与有关。等式右边第二项指的是相关性概率(例如用户在上下文中对广告的的真实兴趣)。上述方法通常显式或隐式地估计查看概率,然后利用反事实推理(Counterfactual Inference)得出相关性概率,最终在线上将相关性概率作为CTR的预估值。训练和预估之间位置信息的不同处理将不可避免地导致线下线上间的不一致问题,进一步导致次优的模型性能。

    此外,已有方法通常假设查看概率仅依赖于位置及部分上下文信息,其假设过于简单。不同的用户通常具有不同的浏览习惯,有些用户可能倾向于浏览更多item,而有些用户通常能快速做出决定,并且同一个用户在不同的上下文中搜索意图中也会有不同的位置偏好,例如商场等地点词的搜索往往意图不明确导致高低位置的CTR差异并不大。故而,位置偏差与用户,上下文有关,甚至可能与广告本身也有关,建模它们间的关系能更好地解决位置偏差问题。

    不同于上述的方法,本文提出了一个基于深度位置交叉网络(Deep Position-wise Interaction Network)(DPIN)模型的多位置预估方法去有效地直接建模来提高模型性能,其中是第个广告在第个位置的CTR预估值。该模型有效地组合了所有候选广告和位置,以预估每个广告在每个位置的CTR,实现线下线上的一致性,并在在线服务性能限制的情况下支持位置、用户、上下文和广告之间的深度非线性交叉。广告的最终序可以通过最大化来确定,其中为广告的出价,本文在线上机制采用一个位置自顶向下的贪婪算法去得到广告的最终序。本文的贡献如下:

    • 本文在DPIN中使用具有非线性交叉的浅层位置组合模块,该模块可以并行地预估候选广告和位置组合的CTR,达到线下线上的一致性,并大大改善了模型性能。

    • 不同于以往只对候选广告进行用户兴趣建模,本次首次提出对候选位置也进行用户兴趣建模。DPIN应用一个深度位置交叉模块有效地学习位置,用户兴趣和上下文之间的深度非线性交叉表示。

    • 根据对于位置的新处理方式,本文提出了一种新的评估指标PAUC(Position-wise AUC),用于测量模型在解决位置偏差问题上的模型性能。本文在美团广告的真实数据集上进行了充分的实验,验证了DPIN在模型性能和服务性能上都能取得很好的效果。同时本文还在线上部署了A/B Test,验证了DPIN与高度优化的已有基线相比有显著提升。

    2. 深度位置交叉网络(Deep Position-wise Interaction Network)

    本节主要介绍深度位置交叉网络(Deep Position-wise Interaction Network)(DPIN)模型。如图4所示,DPIN模型由三个模块组成,分别是处理个候选广告的基础模块(Base Module),处理个候选位置的深度位置交叉模块(Deep Position-wise Interaction Module)以及组合个广告和个位置的位置组合模块(Position-wise Combination Module),不同模块需预估的样本数量不一样,复杂模块预估的样本数量少,简单模块预估的样本数量多,由此来提高模型性能和保障服务性能。通过这三个模块的组合,DPIN模型有能力在服务性能的限制下预估每个广告在每个位置上的CTR,并学习位置信息和其他信息的深度非线性交叉表示。下文将会详细地介绍这三个模块。

    图4 Deep Position-wise Interaction Network模型结构

    2.1 基础模块(Base Module)

    与大多数深度学习CTR模型[10-16]类似,本文采用Embedding和MLP(多层感知机)的结构作为基础模块。对于一个特定请求请求,基础模块将用户、上下文和个候选广告作为输入,将每个特征通过Embedding进行表示,拼接Embedding表示输入多层MLP,采用ReLU作为激活函数,最终可以得到每个广告在该请求下的表示。第个广告的表示可以通过如下公式得到:

    其中,,分别是当前用户特征集合、当前上下文特征集合以及第个广告的特征集合,是Embedding映射。

    2.2 深度位置交叉模块(Deep Position-wise Interaction Module)

    在大多数业务场景中,基础模块通常已经被高度优化,包含了大量特征甚至用户序列等信息,其目的是捕捉用户在该上下文中对不同广告的兴趣。因此,基础模块的推理时间复杂度通常较大,直接在基础模块中加入位置特征对所有广告在所有位置上进行CTR预估是不可接受的。因此,本文提出了一个与基础模块并行的深度位置交叉模块,不同于针对广告进行兴趣建模的基础模块,该模块针对于位置进行兴趣建模,学习每个位置与上下文及用户兴趣的深度非线性交叉表示。

    在深度位置交叉模块中,我们提取用户在每个位置的行为序列,将其用于各位置上的用户兴趣聚合,这样可以消除整个用户行为序列上的位置偏差。接着,我们采用一层非线性全连接层来学习位置、上下文与用户兴趣非线性交叉表示。最后,为了聚合用户在不同位置上的序列信息来保证信息不被丢失,我们采用了Transformer[30]来使得不同位置上的行为序列表示可以进行交互。

    位置兴趣聚合(Position-wise Interest Aggregation)。 我们令为用户在第个位置的历史行为序列,其中为用户在第个位置上的历史第个行为记录,为点击的item特征集合,为发生该行为时的上下文(包括搜索关键词、请求地理位置、一周中的第几天、一天中的第几个小时等),行为记录的Embedding表示可以通过下式得到:

    其中,分别为和的特征集合,为该行为与当前上下文的时间差。

    第个位置行为序列的聚合表示可以通过注意力机制获取,如以下公式所示:

    其引入当前上下文去计算注意力权重,对于与上下文越相关的行为可以给予越多的权重。

    位置非线性交叉(Position-wise Non-linear Interaction): 我们采用一层非线性全连接层来学习位置、上下文与用户兴趣非线性交叉表示,如下式所示:

    其中,将拼接的向量映射到维度。

    Transformer Block: 如果将直接作为第个位置的非线性交叉表示,那么会丢失用户在其他位置上的行为序列信息。因此,我们采用Transformer去学习不同位置兴趣的交互。令为Transformer的输入,Tranformer的多头自注意力结构可以由以下公式表示:

    其中,是每个头的维度。因为中已经包含位置信息,故而我们不需要Transformer中的位置编码。同样的,我们也沿用Transformer中的前馈网络(Position-wise Feed-forward Network)、残差连接(Residual Connections)以及层标准化(Layer Normalization)。N个Transformer Block会被使用去加深网络。

    最终,深度位置交叉模块会产出每个位置的深度非线性交叉表示,其中第个位置被表示为。

    2.3 位置组合模块(Position-wise Combination Module)

    位置组合模块的目的是去组合个广告和个位置来预估每个广告在每个位置上的CTR,我们采用一层非线性全连接层来学习广告、位置、上下文和用户的非线性表示,第个广告在第个位置上的CTR可以由如下公式得出:

    其中包括了一层非线性连接层和一层输出层,是位置k的embedding表示,是sigmoid函数。

    整个模型可以使用真实位置通过批量梯度下降法进行训练学习,我们采用交叉熵作为我们的损失函数。

    3. 实验

    在本节中,我们评估DPIN的模型性能和服务性能,我们将详细描述实验设置和实验结果。

    3.1 实验设置

    数据集: 我们使用美团搜索关键词广告数据集训练和评估我们的CTR模型。训练数据量达到数亿,测试数据量大约一千万。测试集被划分为两个部分,一部分是线上收集的常规流量日志,另一部分是线上Top-k随机的探索流量日志。Top-k随机的探索流量日志是更适合用来评估位置偏差问题,因为它大大削弱了相关性推荐对位置偏差的影响。

    评估指标: 我们使用AUC(Area Under ROC)作为我们的评估指标之一。为了更好的针对位置偏差问题进行评估,我们提出PAUC (Position-wise AUC)作为我们的另一个评估指标,其由以下公式计算:

    其中,是第个位置的曝光数量,是第个位置曝光数据的AUC。PAUC指标衡量每个位置上相关性排序的质量,忽略了位置偏差对排序质量的影响。

    对比的方法。 为了公平且充分地对比不同模型的效果,我们所有实验中所使用的模型输入使用等量且深度结合美团业务的特征,不同模型中的相同模块都使用一致的参数,并且对比的基线DIN[14]模型经过高度优化,以下为我们具体进行对比的实验:

    • DIN: 该模型训练和预估时都没有使用位置信息。

    • DIN+PosInWide:  这个方法在网络的Wide部分建模位置特征,在评估时采用第一个位置作为位置特征的默认值去评估。

    • DIN+PAL:  这个方法采用PAL框架去建模位置信息。

    • DIN+ActualPosInWide:  这个方法在网络的Wide部分建模位置特征,在评估时采用真实位置特征去评估。

    • DIN+Combination:  这个方法在DIN的基础上添加了位置组合模块,评估时采用真实位置特征去评估。

    • DPIN-Transformer:  这个方法在我们提出的DPIN模型上去除了Transformer结构,来验证Transformer的作用。

    • DPIN: 这是我们提出的DPIN模型。

    • DPIN+ItemAction: 我们在DPIN的基础模块MLP层前添加深度位置交叉模块,并在位置兴趣聚合和位置非线性交叉中引入候选广告的信息,这个实验是我们方法模型性能的理论上界,然而服务性能是不可接受的。

    3.2 离线评估

    表1 在常规流量和随机流量上的离线实验评估对比结果

    表1展示了我们所进行的对比方法在常规流量和随机流量上的离线实验评估结果,其中的数值为各个模型相对于DIN模型的效果差异,我们首先分析在常规流量上不同方法的差异。与DIN相比,DIN+PosInWide和DIN+PAL的模型在AUC指标上有所下降,但在PAUC上有所提升,这表明了这两种方法都可以有效地缓解位置偏差,但会导致离线和在线之间的不一致。

    DIN+AcutalPosInWide通过在评估过程中引入实际位置来解决不一致问题,这可以通过位置组合模块来实现,但是在wide部分建模位置会导致位置特征只是一个偏差,不能提升PAUC指标,虽然能更准确地预估各位置上的CTR,但没有对数据中固有的位置偏差进行更好的学习。

    DIN+Combination通过在DIN中引入位置组合模块,我们取得了1.52%的AUC增益和0.82%的PAUC增益,达到线下线上一致性的同时也进一步地缓解了位置偏差,这个结果说明了位置偏差与上下文、用户等信息不独立,在不同的用户及上下文中会有不同的位置偏差。更进一步的,DPIN建模位置、上下文、用户的深度非线性交叉关系,也消除了用户行为序列中存在的位置偏差,对比DIN+Combination取得了0.24%的AUC增益以及0.44%的PAUC增益。

    DPIN-Transformer的效果说明了丢失其他位置的用户兴趣会影响模型的性能,因为这将损失大部分用户兴趣信息。对比DPIN和DPIN+ItemAction,我们发现DPIN的模型性能接近于这个暴力方法,说明DPIN模型逼近了我们方法的理论上界。最终,相较于我们的线上基线模型DIN+PosInWide,DPIN取得了2.98%的AUC增益和1.07%的PAUC增益,这在我们的业务场景中是一次极大的AUC和PAUC提升。

    为了确保我们的方法能够学习位置偏差而不是单纯地过度拟合系统的选择性偏差,我们进一步在随机流量上评估我们的方法。表1的结果表明了在常规流量和随机流量上不同方法之间的差异是一致的,这说明了就算系统的推荐结果有了巨大的差异,该模型仍能有效地学习到在不同用户及上下文中的位置偏差,模型学到的位置偏差受系统推荐列表的影响很小,这也说明我们的模型可以不受系统选择性偏差的影响从而泛化到其他推荐方法的流量上。

    3.3 服务性能

    图5 不同的方法下服务延迟随着不同候选广告数量的变化图

    我们从数据集中检索出一些具有不同候选广告数量的请求,以评估不同候选广告数量下的服务性能。如图5所示,由于用户序列操作的延迟在服务延迟中占了很大比例,因此与DIN模型相比,位置组合模块服务延迟可以忽略不计。DPIN的服务延迟随着广告数量的增加而缓慢增加,这是因为相比较于DIN,DPIN将用户序列从基础模块移动到深度位置交叉模块,而深度位置交叉模块的服务性能与广告数量无关。与DIPIN+ItemAction方法相比,DPIN在服务性能方面有了很大的改进,对模型性能的损害很小,这表明我们提出的方法既高效又有效。

    3.4 在线评估

    我们在线上部署了A/B测试,有稳定的结果表明,与基线相比,DPIN在CTR上提高了2.25%,在RPM(每千次展示收入)上提高了2.15%。如今,DPIN已在线部署并服务于主要流量,为业务收入的显着增长做出了贡献。

    4. 总结与展望

    在本文中,我们提出了一种新颖的深度位置交叉网络模型(Deep Position-wise Interaction Network)以缓解位置偏差问题,该模型有效地组合了所有候选广告和位置以估算每个广告在每个位置的点击率,实现了离线和在线之间的一致性。该模型设计了位置、上下文和用户之间的深层非线性交叉,可以学习到不同用户、不同上下文中的位置偏差。为了评估位置偏向问题,我们提出了一种新的评估指标PAUC,离线实验表明,所提出的DPIN的效果和效率均优于已有方法。目前,DPIN已部署到美团搜索关键词广告系统并服务于主要流量。

    值得一提的是,我们的并行组合思想不仅可以用在广告和位置的组合上,也可以用在广告和创意的组合等广告领域常见的组合排序问题。在未来,我们将在这些问题上继续实践我们的方法,并进一步地设计更完善的网络结构来解决类似的组合排序问题。我们也将在偏差领域上进行更多的探索,解决更多的问题,进一步维护广告系统的生态平衡。

    5. 参考文献

    [1] Chen, Jiawei, et al. "Bias and Debias in Recommender System: A Survey and Future Directions." arXiv preprint arXiv:2010.03240 (2020).

    [2] Cañamares, Rocío, and Pablo Castells. "Should I follow the crowd? A probabilistic analysis of the effectiveness of popularity in recommender systems." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

    [3] Morik, Marco, et al. "Controlling fairness and bias in dynamic learning-to-rank." Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020.

    [4] 《KDD Cup 2020 Debiasing比赛冠军技术方案及在美团的实践》

    [5] Richardson, Matthew, Ewa Dominowska, and Robert Ragno. "Predicting clicks: estimating the click-through rate for new ads." Proceedings of the 16th international conference on World Wide Web. 2007.

    [6] Rendle, Steffen. "Factorization machines." 2010 IEEE International Conference on Data Mining. IEEE, 2010.

    [7] Juan, Yuchin, et al. "Field-aware factorization machines for CTR prediction." Proceedings of the 10th ACM conference on recommender systems. 2016.

    [8] Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system." Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016.

    [9] Ke, Guolin, et al. "Lightgbm: A highly efficient gradient boosting decision tree." Advances in neural information processing systems 30 (2017): 3146-3154.

    [10] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

    [11] Wang, Ruoxi, et al. "Deep & cross network for ad click predictions." Proceedings of the ADKDD'17. 2017. 1-7.

    [12] Guo, Huifeng, et al. "DeepFM: a factorization-machine based neural network for CTR prediction." arXiv preprint arXiv:1703.04247 (2017).

    [13] Lian, Jianxun, et al. "xdeepfm: Combining explicit and implicit feature interactions for recommender systems." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

    [14] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

    [15] Zhou, Guorui, et al. "Deep interest evolution network for click-through rate prediction." Proceedings of the AAAI conference on artificial intelligence. Vol. 33. No. 01. 2019.

    [16] Feng, Yufei, et al. "Deep session interest network for click-through rate prediction." arXiv preprint arXiv:1905.06482 (2019).

    [17] Ling, Xiaoliang, et al. "Model ensemble for click prediction in bing search ads." Proceedings of the 26th International Conference on World Wide Web Companion. 2017.

    [18] Zhao, Zhe, et al. "Recommending what video to watch next: a multitask ranking system." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

    [19] Haldar, Malay, et al. "Improving Deep Learning For Airbnb Search." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.

    [20] Guo, Huifeng, et al. "PAL: a position-bias aware learning framework for CTR prediction in live recommender systems." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

    [21] Wang, Xuanhui, et al. "Learning to rank with selection bias in personal search." Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016.

    [22] Joachims, Thorsten, Adith Swaminathan, and Tobias Schnabel. "Unbiased learning-to-rank with biased feedback." Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017.

    [23] Ai, Qingyao, et al. "Unbiased learning to rank with unbiased propensity estimation." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

    [24] Wang, Xuanhui, et al. "Position bias estimation for unbiased learning to rank in personal search." Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018.

    [25] Agarwal, Aman, et al. "Estimating position bias without intrusive interventions." Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. 2019.

    [26] Hu, Ziniu, et al. "Unbiased lambdamart: an unbiased pairwise learning-to-rank algorithm." The World Wide Web Conference. 2019.

    [27] Ovaisi, Zohreh, et al. "Correcting for selection bias in learning-to-rank systems." Proceedings of The Web Conference 2020. 2020.

    [28] Yuan, Bowen, et al. "Unbiased Ad click prediction for position-aware advertising systems." Fourteenth ACM Conference on Recommender Systems. 2020.

    [29] Qin, Zhen, et al. "Attribute-based propensity for unbiased learning in recommender systems: Algorithm and case studies." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.

    [30] Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017).

    6. 作者简介

    坚强、胡可、庆涛、明健、漆毅、程佳、雷军等,均来自美团广告平台技术部。

    阅读更多

    ---

    前端 |  算法 | 后端 | 数据

    安全 | Android | iOS  | 运维 | 测试

    ----------  END  ----------

    招聘信息

    美团广告平台广告算法团队立足广告场景,探索深度学习、强化学习、人工智能、大数据、知识图谱、NLP和计算机视觉最前沿的技术发展,探索本地生活服务电商的价值。主要工作方向包括:

    触发策略:用户意图识别、广告商家数据理解,Query改写,深度匹配,相关性建模。

    质量预估:广告质量度建模。点击率、转化率、客单价、交易额预估。

    机制设计:广告排序机制、竞价机制、出价建议、流量预估、预算分配。

    创意优化:智能创意设计。广告图片、文字、团单、优惠信息等展示创意的优化。

    岗位要求:

    • 有三年以上相关工作经验,对CTR/CVR预估、NLP、图像理解、机制设计至少一方面有应用经验。

    • 熟悉常用的机器学习、深度学习、强化学习模型。

    • 具有优秀的逻辑思维能力,对解决挑战性问题充满热情,对数据敏感,善于分析/解决问题。

    • 计算机、数学相关专业硕士及以上学历。

    具备以下条件优先:

    • 有广告/搜索/推荐等相关业务经验。

    • 有大规模机器学习相关经验。

    感兴趣的同学可投递简历至:tech@meituan.com(邮件标题请注明:广平搜索团队)。

    也许你还想看

      | KDD Cup 2020多模态召回比赛季军方案与广告业务应用

      | KDD Cup 2020 Debiasing比赛冠军技术方案及在美团广告的实践

      | KDD Cup 2020 自动图学习比赛冠军技术方案及在美团广告的实践

    展开全文
  • 广告系统包含

    2021-01-16 22:21:36
    1.广告投放 2.广告检索系统 3.曝光检测系统 4.扣费系统 5.报表系统 使用的技术 广告架构

    1.广告投放

    2.广告检索系统

    3.曝光检测系统

    4.扣费系统

    5.报表系统

     

    使用的技术

     

     

    广告架构

    展开全文
  • 海象大数据广告系统应运而生.

    千次阅读 2021-11-03 15:45:26
    但对一般的企业说,既无大量广告费去"砸"流量,也无爆款产品震撼朋友圈,引流成为不得不面对的痛点和挑战.2022年为助力企业突破引流获客难题 现在是互联网技术的时代,各行业获客难,本钱高,渠道少,是普遍存在的问题...

    流量是一切生意的本质.无论你的企业是卖产品还是服务,拥有用户流量是关键.但对一般的企业说,既无大量广告费去"砸"流量,也无爆款产品震撼朋友圈,引流成为不得不面对的痛点和挑战.2022年为助力企业突破引流获客难题

    现在是互联网技术的时代,各行业获客难,本钱高,渠道少,是普遍存在的问题。如果我们仍在用之前的方式来找寻客户,相信大家很快便会淘汰。如今我们可以运用大数据技术,大数据营销系统精确获得客户。互联网时代流量就是营销,引流做得好,相当于已经成功了80%。谁能引来更多的精准流量,谁就有更多更好的变现机会。

    海象大数据广告系统,在当下主流媒体、短视频行业的巨大流量和超高活跃度用户的互联网背景下诞生。全力打造“三位一体”的大数据广告系统,首先全方位获取主流媒体、短视频平台公开数据,其次智能分析各项数据并分类,最后根据数据分类推送相应的广告。海象大数据广告系统,是企飞科技公司独立开发的一套大数据获取、分析、广告的智能运营系统。

    而且现在做生意都是靠包装,就像实体店经常要花很多钱装修一样,哪我们线上的账号也需要一个很好的门面,我们海象系统也可以做到这一点,当你真的使用就会事半功倍,省时省力

    海象大数据广告系统八大亮点功能:

    线索监控 关键词、视频链接、企业号运营多重监控

    运营工具 辅助企业运营,筛选意向客户,助力企业获客

    客户档案 一键智能导出所需要的客户数据档案

    任务中心 发布监控任务,关键词信息等多渠道获客

    快速锁定 多重筛选锁定潜在客户,提高潜在客户质量

    实时监控 实时监控同行视频数据,同步抓取询盘信息

    客户挖掘 获取同行视频评论数据层,截流潜在客户

    多重策略 关键词监控,企业号运营等多种获客方式

    海象大数据精准获客系统直观的优势就是在合法合规,且不骚扰客户的前提下,对精准客户实现精准营销。企业的获客模式也从被动的传统营销,变成了运营商大数据加持下的精准营销,也为企业赢得了更多的主动权!企飞科技重磅研发的海象大数据智能获客系统便是现阶段合适各行业各企业发展,帮助商家企业各大短视频获客的好神器。从智能搜索到一键抓取功能,多平台化的数据采集等多方位的为企业和商家提供精准用户。达到精准获客,让流量快速变现在这里插入图片描述

    展开全文
  • 广告投放系统

    2021-03-08 03:36:13
    一、串讲PPT二、上下游需求...测试:白盒测试三、系统设计四、代码开发4.1 前端部分page: 后端基础模板widget: 独立SSR模板static: 静态资源appcomponents: 公共VUE组件entry: 入口文件routes: 路由配置utils: 工具...
  • 今天从大局上带大家总览一下互联网当中的广告是怎么回事,广告系统又是怎么运作的。作为一个广告系统,它的目标又是什么?知道这些在你面临找工作或者是跳槽的时候,有可能会用得上。喜欢的小伙伴一键三连哟! ...
  • baigo ADS 是一款网页广告管理发布系统,baigo ADS 以简单为设计、开发的宗旨,安装部署简单、使用简单。baigo ADS 没有复杂的菜单,没有深奥的概念,没有晦涩难懂的名词,一切崇尚简单。网页广告管理利器利用 baigo...
  • 1.互联网广告投放管理系统 V1.0 源代码/******************************************************//**广告投放 类//******************************************************/import java.io.BufferedReader;...
  • 创维电视55E6200酷开系统去开机广告

    千次阅读 2021-05-28 00:48:20
    酷开系统升级到5后,开机时强制15秒左右的广告,生活已经让人无奈还要被墙颓,不爽。用更无奈的搜索引擎搜到几个方法:一、ROOT后编辑build.prop文件。二、无线路由器中屏蔽相关推送网站。三、致电创维客服。伪强迫...
  • 关键词作品的作者数据:指根据设置好的关键词搜索相关的作品,对发布这些作品的作者进行打广告 3.关键词作品的评论数据:搜索某个关键词出现的综合和视频页面所有作品的评论数据,通过"评论内容匹配词"匹配出咨询问价有...
  • import re import requests import string import json from lxml import etree from bs4 import BeautifulSoup # 定制请求头 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36...
  • 1. 写在前面 参考: 个性化广告推荐系统 推荐系统算法基础
  • 个性化广告推荐系统及应用 一、个性化广告推荐系统产生的背景 在当今时代,互联网已经成为人们信息传递的最迅速、最便捷、最有效的媒介.相对于传统媒体,互联网的优势在于其有较强的交互性和生动性。并且伴随着智能...
  • 这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行...
  • 源码简介资源编号:B-06 亲测安装环境:Linux+Apache2.4+Php5.6+Myspl5.6目前见过最强大的广告管理系统,可以根据时间、浏览器、操作系统、分辨率、语音、来源、网址、地域、接入商智能投放广告1. 可系统化管理网站...
  • 简单的说广告系统能够实现根据广告请求的条件进行匹配,并返回合适的广告创意数据响应,最终完成给用户的展示或者叫曝光。 广告系统最少包含两个最为核心的模块: 1.能够实现广告主投放广告数据的—广告投放系统 2....
  • 这几天打算整理一个模拟真实情景进行广告推荐的一个小Demon, 这个项目使用的阿里巴巴提供的一个淘宝广告点击率预估的数据集, 采用lambda架构,实现一个离线和在线相结合的实时推荐系统,对非搜索类型的广告进行...
  • 文章目录广告中的定向1. 广告有哪些定向方式2. 地域定向详细说明3. 人群定向 广告人群定向的维度分为六种4. 关键词定向5. 关键词定向是否指精准关键词6. 什么是潜在虚拟付费7. 什么是app行为定向8. 什么是消费能力...
  • 文章目录 归因的作用 归因原理 电梯广告归因 曝光和转化 ...广告归因经常和广告联系起来,让我们产生一个误解:不做 IAA 游戏,就不用理解归因。 这不对。 先不忙着定义什么是归因,我们用...
  • 广告归因:归因方法

    2021-03-08 15:54:33
    广告归因:是什么和为什么一文中,我们从归因作用的角度对其进行了定义: 归因的目的是判断用户的来源,确定广告的效果,从而指导后期投放。 本回书说一下归因的方法和常用模型。 阅读归因系列的所有文章:归因...
  • 广告中的DSP、SSP和ADX

    2021-04-17 16:33:06
    DSP- (需求方平台,Demand-side Platform)1.1 DSP是什么1.2 DSP需要做什么1.3 DSP的系统框架2. SSP-(供给方平台,Suply-side Platform)3. ADX-(广告交易平台,Ads Exchange)3.1 什么是ADX3.2 常见的DSP和SSP 1. DSP- ...
  • 余承东表示8月9日会发布鸿蒙系统,而从他透露的一些细节看,鸿蒙系统将首先运用在智慧屏终端上,其配合大屏幕和自研芯片(麒麟AI芯片,鸿鹄智慧显示芯片,凌霄WIFI芯片),将实现生态上的互联互通体验,同时还支持语音...
  • 华为方面宣布,鸿蒙系统2.0公测版开启规模推送,大多数用户的申请都能...据博主长安数码君透露,使用搭载鸿蒙系统2.0的手机观看某视频平台,流转到别的设备可以免广告,流转过去以后不用看广告不知道是否属于Bug。目...
  • 注意系统的限制、默认浏览器、是否安装了广告主 App、外开广告页对接的接口是否正常 注意广告二跳的情况 注意广告请求类型和返回类型的一致性,广告打点时机、顺序、数量的验证 3. 正向流程:后端新增广告的测试、到...
  • 原理这里实现的弹窗拦截,是程序不断的监视电脑屏幕,当出现需要拦截的窗口时,自动控制屏幕点击事件关闭。...直接上代码while True:#获取图片的相对屏幕的中心点坐标# location = pyautogui.locateCenterOnScreen('...
  • 开发者将软件作品变现的方式有很多,接入广告就是其中之一。在大数据时代,移动应用广告也迎来了新一轮的技术变革,同时催生了一种名为 Mediation 广告聚合平台的全新商业模式。在云计算技...
  • 文章目录广告效果的定义广告效果指标广告投放基础费用指标广告投放直接收益指标广告投放间接收益指标 由于自己学识尚浅, 本片内容学习总结自CSDN博主: 贺敏Minbo 广告效果的定义 广告效果有直接效果和间接效果之分...
  • 投放系统是比较简单的模块,其核心实现的功能就是对广告数据(各个表)进行增删改查,即能够让用户(广告主/代理商)对数据进行查看、上传、修改与删除
  • 相信使用win7系统的用户都经历过,经常我们使用电脑打开网页准备看电影或玩游戏的时候,任务栏右下角经常会突然屏幕弹出广告,那么遇到win7系统右下角经常弹广告怎么办呢?接下来请大家跟着小编一起学习一下win7系统...
  • 关闭魅族Flyme系统通知栏推送的广告,只需以下几个步骤即可关闭。步骤一:点击“设置”,在设置中点击“新闻资讯”,随后在该设置界面中找到 “精选内容推送”并点击关闭。步骤二:在设置中点击“游戏中心”随后进入...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 260,905
精华内容 104,362
关键字:

广告系统