精华内容
参与话题
问答
  • 广告系统简易流程与架构

    千次阅读 2018-05-02 13:06:12
    一、业务简述从业务上看 整个智能广告系统,主要分为:1)业务端:广告主的广告后台2)展现端:用户实际访问的页面业务端,广告主主要有两类行为:1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,...

    一、业务简述

    从业务上看    整个智能广告系统,主要分为:

    1)业务端:广告主的广告后台

    2)展现端:用户实际访问的页面


    业务端广告主主要有两类行为:

    1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,竞价等

    2)效果查看行为:例如广告展示次数是多少,广告点击次数是多少等


    展现端用户主要也有两类行为:

    1)站点浏览行为:用户浏览实际的信息,此时广告系统决定出广告主的什么广告

    2)广告点击行为:此时广告系统会对广告主进行扣费


    二、业务流程

    下面通过一个的例子,让业务流程更直观。


    步骤一:广告主在业务端投递广告

    广告主登录业务端后台,进行设置:

    • 今日投放地域是“北京-上地”

    • 投放类别是“租房”

    • 定向人群为“女”,“30岁以下”

    • 需要推广的广告内容是他发布的一条“房屋出租”的帖子

    • 竞价设置的是0.2元

    • 单日预算是20元

    这些数据,当然通过业务端存储到了数据层,即数据库和缓存里。


    步骤二:用户来到了网站,进入了“北京-上地-租房”类别,广告初筛实施

    用户产生了平台浏览行为,网站除了展示自然内容,还要展示广告内容。被展现的广告不能太离谱,太离谱用户也不会点击。

    合适的广告,必须符合“语义相关性”,即基础检索属性(广告属性)必须符合(广告能否满足用户的需求,满足了点击率才高),这个工作是通过BS-basic search检索服务完成的。


    BS从数据层检索到“北京-上地-租房”的广告帖子。


    步骤三:用户属性与广告主属性匹配,广告精筛实施

    步骤二中,基础属性初筛了以后,要进行更深层次的策略筛选用户能否满足广告的需求),此例中,广告主的精准需求为:

    • 用户性别为“女”

    • 用户年龄为“30岁以下”

    • 用户访问IP是“北京”

    系统将初筛出来的M条广告和用户属性进行匹配筛选,又过滤掉了一部分,最后剩余N条待定广告,这些广告既满足用户的需求(初筛),这些用户也满足广告主的需求(精筛),后者是在AS-advanced search策略服务完成的。


    步骤四:综合排序,并返回Top X的广告

    经过步骤2和步骤3的初筛和精筛之后,待选的N条广告既能满足用户当前的需求,用户亦能满足广告主的筛选需求,但实际情况是,广告位只有3个,怎么办呢?就需要我们对N条广告进行综合打分排序(满足平台的需求,广告平台要多赚钱嘛)。


    打分排序的依据是什么呢?

    有人说按照竞价排序bid,出价高的打分高(这是大家对百度最大的误解,百度是cpc收费)

    有人说按照CTR点击率排序,CTR高的点的人多(百度的kpi指标可不是pv)


    出价高,但没人点击,广告平台没有收益;点击率高,但出价低,广告平台还是没有收益。最终应该按照广告的出价与CTR的乘积作为综合打分排序的依据,bid*CTR


    既然bid*CTR是所有广告综合打分的依据,且出价bid又是广告主事先设定好的,那么实际上,广告排序问题的核心又转向了广告CTR的预测CTR预测是推荐系统、广告系统、搜索系统里非常重要的一部分,是一个工程,算法,业务三方结合的问题,本文就不展开讨论了。


    无论如何,N条广告,根据bid*预估CTR进行综合打分排序后,返回了打分最高的3个广告(广告位只有3个)。


    有些系统没有第二步骤用户属性过滤,而是将用户属性因素考虑到综合排序中。


    步骤五:展现端展示了广告,用户点击了广告

    展示了广告后,展现端js会上报广告展示日志,有部分用户点击了广告,服务端会记录点击日志,这些日志可以作为广告算法实施的数据源,同时,他们经过统计分析之后,会被展示给广告主,让他们能够看到自己广告的展示信息,点击信息。


    这些日志(一般会实施AB测),也是算法效果好坏评估的重要依据,根据效果逐步优化改进算法。


    步骤六:对广告主进行扣费

    用户既然点击了广告,平台就要对投放广告的广告主进行扣费了,扣费前当然要经过反作弊系统的过滤(主要是恶意点击),扣费后信息会实时反映到数据层,费用扣光后,广告就要从数据层下线。


    三、系统综述

    聊完业务流程,再来看系统架构,任何脱离业务的架构设计都是耍流氓。


    从系统分层架构上看,智能广告系统分为三层:

    • 站点层:用户和广告主直接面向的网站站点

    • 服务层:为了实现智能广告的业务逻辑,提供的通用服务,此处又主要分为四大类服务

      策略服务BS:实施广告策略,综合排序

      检索服务AS:语义相关性检索

      计费服务:用户点击广告时进行扣费

      反作弊服务:不是每次点击都扣费,要经过反作弊,去除恶意点击(相对独立,未在架构图中画出)

    • 数据层:用户数据,广告数据,竞价数据,日志数据等等等等


    四、总结

    智能广告系统的业务流程与系统架构:

    1)广告主投放与设置广告

    2)用户访问平台,展现合适广告

        通过广告属性,进行“语义相关性”初筛,通过BS完成

        通过用户属性,出价信息,点击率预测信息,进行综合打分排序筛选,通过AS完成

    3)记录展现日志,点击日志,进行扣费


    广告是展现,是一个:

    • 广告满足用户需求(初筛)

    • 用户满足广告需求(精筛)

    • 平台利益最大化(bid*CTR综合排序)

    的过程


    广告的排序不是由出价(bid)决定的,而是由出价(bid)*点击率(ctr)决定的。


    点击率(ctr)是一个未来将要发生的行为,智能广告系统的核心与难点点击率预测

    展开全文
  • ADX,DSP,SSP广告系统搭建

    千次阅读 2019-10-15 10:30:32
    本人长期从事广告平台的建设,可以针对公司业务设计包括广告大数据平台底层搭建、广告引擎的搭建、后端代码部署、前端页面部署。针对公司成本预算做多种解决方案,提供一站式解决方案,欢迎想搭建自己广告平台的大佬...

    本人长期从事广告平台的建设,可以针对公司业务设计包括广告大数据平台底层搭建、广告引擎的搭建、后端代码部署、前端页面部署。针对公司成本预算做多种解决方案,提供一站式解决方案,欢迎想搭建自己广告平台的大佬咨询。

    加我qq:1594007516

    展开全文
  • java 实现一个广告系统

    千次阅读 2017-08-22 14:47:50
    广告公司有时候需要对广告页面进行一些处理,进过多次经验整理出来供大家参考1.页面调整 2.域名解析 4.图床系统 5.订单系统 6.扒页面 7.改广告页面 项目地址:https://gitee.com/jiangzeyin/ad_tools广告相关...

    在广告公司有时候需要对广告页面进行一些处理,进过多次经验整理出来供大家参考

    1.页面调整
    2.域名解析
    4.图床系统
    5.订单系统
    6.扒页面
    7.改广告页面

    项目地址:https://gitee.com/jiangzeyin/ad_tools

    广告相关 的可以控制nginx 以及下订单 使用idea java8 开发(代码里有部分lambda表达式)

    ad_tools —-> 总项目
    good_tools —-> 管理后台项目
    nginx —-> 管理后台项目
    order —-> 广告订单项目
    good_tools

    1.使用java 动态去控制nginx 的跳转和配置

    2.使用jsoup 实现简单扒网页

    3.使用dnspod 实现动态的解析A记录类型域名

    4.使用七牛云实现图床系统

    5.添加指定模板的多品系统

    6.java 动态解析nginx 日志到数据库

    7.查看统计链接的点击量

    order

    1.使用对应多品订单下单

    2.客户登录查看订单

    3.运营人员登录查看简单的下单信息

    页面基于layui 样式编写

    展开全文
  • 广告系统架构浅谈

    2020-04-02 13:02:15
    最近即将入职字节跳动的广告系统部门,因此花了一些时间了解了一下现代广告系统的一般架构,在这里分享给大家。 广告系统一般架构 整体上来看,广告系统由三个主体部分构成: 1、在线的高并发投放引擎(Ad server)。...

    写在前面

    最近即将入职字节跳动的广告系统部门,因此花了一些时间了解了一下现代广告系统的一般架构,在这里分享给大家。

    广告系统一般架构

    在这里插入图片描述

    整体上来看,广告系统由三个主体部分构成:
    1、在线的高并发投放引擎(Ad server)。
    2、离线的分布式数据处理平台(Grid)。
    3、用于在线实时反馈的流式处理平台(Stream computing)。
    这三部分各司其职,配合完成整个计算广告的数据挖掘和在线投放任务。
    下面我们来看看按遵照功能划分,这个系统中都有哪些重要的模块:

    一、广告投放机

    广告投放机即图中的Ad server。这是接受广告前端Web server发来的请求,完成广告投放决策并返回最后页面片段的主逻辑。我们可以将它类比于人体的躯体。广告投放机的主要任务是与其他各个功能性模块打交道,并将他们串联起来完成在线广告投放决策。一般来说,为了扩展性的考虑,我们都采用类搜索的投放机架构,即先通过倒排索引从大量的广告候选中等到少量符合条件的或相关的候选,再在这个小的候选集上应用复杂而精确的排序方法找到综合收益最高的若干个广告。对广告投放机来说,最重要的指标是能同时处理的并发数,以及广告决策的延迟。

    二、广告检索

    广告检索包括图中的Ad index和Ad retrieval两部分。这部分功能,可以类比于人体的心脏,它主要的功能,是实时接受广告投放信息,建立倒排索引,以及在线时根据用户与上下文标签从索引中查找广告候选。实际上,检索技术的重要性体现在所有Web-scale的技术挑战上,也同样是大规模计算广告系统的基础。

    三、广告排序

    广告排序包括图中的Ad ranking和Click modeling两部分。这部分可以类比于人体的大脑,因为它是广告效果优化的关键。其关键技术,在于离线分布式计算平台上的海量数据支持的点击率预测模型的训练。当然线上如何高查询模型需要的特征并进行高效计算,也是非常关键的。另外,在需要估计点击价值的广告产品中,我们还需要一个点击价值估计的模型,或者一些简单的规则,但是不像点击率预测那样有较为稳定统一的建模方法,因此我们在这里主要强调Click modeling。

    四、数据高速公路

    即图中的Data highway。这部分完成的功能,是将在线投放的数据准实时传输到离线分布式计算平台与流式计算平台上,供后续处理和建模使用,它可以类比于人体的循环系统。由于在进行受众定向建模时,需要用到广告系统以外的其他用户日志数据或第三方合作数据,因此数据高速公路也担负着收集这些数据源的任务。

    五、用户日志生成

    即图中的Session log generation。从各个渠道收集来日志,需要先整理成以用户ID为key的统一存储格式,我们把这样的日志称为用户日志(Session log)。这样整理的目的。是为了让后续的受众定向过与程更加简单高效4。

    六、商业智能(Business Intelligence,BI)系统

    包括ETL过程、Dash-board和Cube。这些是所有以人为最终接口的数据处理和分析流程的总括。因为它担负着对外信息交流的任务,可以类比于人的嘴。由于实际的广告运营不可能完全通过机器的决策来进行,其间必然需要有经验的操作者根据数据反馈对一些系统设置做及时调整。因此,实现一个功能强大,交互便利的BI系统是非常重要的。

    七、行为定向

    包括结构化标签库(Structural label base), Audience targeting,以及User at- tributes的cache:这部分完成的是挖掘用户日志,根据日志中的行为给用户打上结构化标签库中某些标签的过程。这部分是计算广告的原材料加工厂,相当于人体的胃,也因此在整个系统中具有非常关键的地位。

    八、上下文定向

    包括半在线页面抓取(Near-line page fetcher)和Page attributes的cache。这部分与行为定向互相配合,负责给上下文页面打上标签,用于在线的广告投放中。

    九、定制化用户划分

    即图中的Customized audience segmentation。由于广告是媒体替广告主完成用户接触,那么有时需要根据广告主的逻辑来划分用户群,这部分也是具有鲜明广告特色的模块。这个部分指的是从广告主处收集用户信息的产品接口,而收集到的数据如果需要较复杂的加工,也将经过数据高速公路导入受众定向模块来完成。

    十、在线行为反馈

    这部分指的是一些需要准实时完成的一些任务,包括短时的用户行为标签和短时用户点击反馈等。当然,在利用日志完成这些逻辑之前,必须要进行的步骤是反作弊(Anti-spam)与计价(Billing)。为了组织这样一些前后有依赖关系的数据流加工过程,我们经常选用流式管理平台作为基础设施。需要特别指出,这一部分对于在线广告系统的效果提升意义重大——在很多情形下,把系统信息反馈调整做得更快,比把模型预测做得更准确效果更加显著。

    十一、广告管理系统

    这部分是广告操作者,即客户执行(Account execute, AE)与广告系统的接口,AE通过广告管理系统定制和调整广告投放,并且与数据仓库交互,获得投放统计数据以支持决策。一般来说,广告系统中只有这部分是面向用户的产品。根据对操作对象开放程度的不同,这一系统有时又有开放自助的需求,在这种情况下,还需要包含相应的财务结算功能。对这部分,读者可以从很多自助式广告产品,比如Adsense,的投放界面中了解这部分的功能,我们在本书中将不做重点讨论。

    十二、实时竞价接口

    这是广告交易市场实时向需求方平台(DSP)发起广告询价请求,并根据竞价结果胜出DSP的程序交易接口。它包括作为需求方时使用的RTBS(RTB for Supply),以及作为供给方时使用的RTBD(RTB for Demand)。这也是一个广告系统特有的功能模块,在程序化交易原来越流行的今天是广告系统很重要的功能之一。

    展开全文
  • 广告系统技术实践

    2018-09-24 00:27:02
    雷顿大数据技术学院:...下面是一个比较简易的广告系统架构图,从这个图中我们可以看到广告系统各个模块之间的流程关系, 我画的这个图比较简单,但是实际上整个庞大的广告系统来说是非常复杂的。图 1 广告...
  • 广告系统架构

    千次阅读 2018-02-12 10:18:39
    一:广告系统整体架构用户通过浏览器访问网页,网页上的广告位贴了广告请求代码,广告请求发送到投放机,投放机上DE进行处理,选择出合理的广告进行投放。(或者网站上贴的是ssp的代码,ssp将请求转发到各个dsp,dsp...
  • 大型广告系统架构概述

    万次阅读 多人点赞 2016-04-03 23:39:25
    用一句标准的报告性语言介绍大型广告系统的特点就是:处理的数据量特别巨大,响应速度要求特别快,数据实时性要求特别高,系统可用性要求特别高。面对种种不可思议的困难,最初的一批误打误撞进入广告行业的的互联网...
  • 在线广告系统架构变迁

    千次阅读 2017-03-18 12:45:43
    原文 ... 目录: Overview从展示广告到搜索广告再到社会化广告广告系统架构变迁 接入大型广告网络 Google AdSense阿里妈妈百度联盟 使用第三方广告托管系统 百度广告管家 部署开源
  • 揭秘广告系统架构

    千次阅读 2020-08-25 19:25:38
    作者 |骆俊武来源 |IT人的职场进阶(ID:BestITer)广告、增值服务、佣金,是互联网企业最常见的三种盈利手段。在这3大经典中,又以广告所占的市场份额最大,几乎是绝大部分互联...
  • 广告、增值服务、佣金,是互联网企业最常见的三种...这篇文章将结合我的个人经验,同时参考业界的优秀案例,阐述下广告系统架构实践方案,希望让大家有所收获。内容包括以下3部分: 广告业务简介 面临的技..
  • 下一代的全能广告系统架构【腾讯创新日】 唐溪柳 发表于 2017.7.5 4150浏览 0讨论 ​引言:6.14日“腾讯创新日:科技年技术盛宴”代表腾讯各个事业群技术实力的四级专家、腾讯微创新2016年度创意获奖团队欢聚一堂...
  • 在线广告系统结构

    千次阅读 2013-06-25 12:59:06
    原文 ... 目录: Overview 从展示广告到搜索广告再到社会化广告 ...广告系统架构变迁 接入大型广告网络 Google AdSense 阿里妈妈 百度联盟 使用第三方广告托管系统 百...
  • 在线广告系统架构变迁

    千次阅读 2017-09-12 22:38:59
    广告系统架构变迁接入大型广告网络Google AdSense 阿里妈妈 百度联盟使用第三方广告托管系统百度广告管家部署开源广告系统OpenX自主开发广告系统模块广告投放服务器 K/V内存数据库 关系数据库 消息中间件 CDN RPC...
  • 广告和网络游戏是互联网企业主要的盈利模式 广告广告主通过媒体以尽可能低成本的方式与用户达成接触的商业行为。也就是说按照某种市场意图接触相应人群,影响其中...一个好的DSP系统需要满足: 拥有强大的...
  • DSP广告系统架构及关键技术解析(转)

    万次阅读 2018-08-25 17:27:17
    广告和网络游戏是互联网企业主要的盈利模式 广告广告主通过媒体以尽可能低成本的方式与用户达成...一个好的DSP系统需要满足: 拥有强大的RTB(Real-Time Bidding)的基础设施和能力。 拥有先进的用户定向(Audi...
  • 其实新浪很早就开始研究广告系统了,根据UserID + CookieID + 用户行为日志等多重要素进行用户区分,进而针对个体用户做控频投放。同时为了更好的监控广告服务平台的性能和准确性,新浪广告技术团队在此基础上进行了...
  • 第一章 广告系统架构

    2020-10-25 23:42:36
    2. 广告系统概览与准备工作: 2.1 广告系统概览: 1)实现了什么功能: 广告主的广告投放 推广计划 推广单元 … 媒体方的广告曝光 CPM CPT CPC 2)包含哪些子系统: 一个完整的广告系统包含哪些子系统: ...
  • 搜索广告系统架构

    千次阅读 2014-08-11 17:03:25
    搜索广告系统简单架构
  • 精华机器学习,NLP,图像识别等人工智能领域学习资料,搜索,推荐,广告系统架构及算法技术资料吐血整理 你还在为学习算法摸不着头脑么?你还在为技术调研各种Google么?AI的牛b吹不上去?盯紧了,这里就是你的2020...
  • 大型广告系统架构 — 检索模块

    万次阅读 2016-04-10 21:12:55
    下图是一个广告系统最简单的架构图。其中,Router,检索模块,排序模块一般称为广告系统的核心。同时,与之辅助的至少包含三大系统:特征计算系统,计费系统,投放系统。 Router:对外提供HTTP服务。接收请求后,...
  • 互联网广告系统综述五系统架构

    千次阅读 2016-10-19 15:01:05
    互联网广告系统综述五系统架构   声明: 1)该博文是整理自网上很大牛和专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献 2)本文仅供学术交流,非商用。所以每一部分具体的参考...
  • 计算广告系统算法与架构综述

    千次阅读 2019-05-13 11:12:48
    计算广告系统算法与架构综述 前言 我们当今身处一个被广告包围的时代,无论是走在马路上、收看电视剧、或者是玩手机游戏,都能看见形形色色的广告。随着时代和技术的发展,广告的形式呈现出多样化、立体化...
  • 互联网智能广告系统架构 (争取用最简单的图,最简洁的语言描述清楚) 一、业务简述 从业务上看整个智能广告系统,主要分为: 1)业务端:广告主的广告后台 2)展现端:用户实际访问的...
  • 从业务上看整个智能广告系统,主要分为: 1)业务端:广告主的广告后台 2)展现端:用户实际访问的页面 业务端,广告主主要有两类行为: 1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,竞价等 ...
  • 对于推荐系统、在线广告投放系统有着一定的架构设计经验。对如何构建高性能 Web 服务、离线数据挖掘、策略算法工程化等领域感兴趣。目前致力于高可用高性能的微博广告平台的建设。互联网广告是流量变现的主要手段之...
  • 互联网广告平台系统架构设计,一个具有参考意义的广告平台架构设计
  • 广告系统,业务与架构细节

    千次阅读 2018-07-03 10:58:36
    一、业务简述从业务上看 整个智能广告系统,主要分为:1)业务端:广告主的广告后台2)展现端:用户实际访问的页面业务端,广告主主要有两类行为:1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,...
  • DSP广告系统架构

    2018-08-04 12:08:00
    使用程序的方式进行广告的投放的管理,并利用算法和技术自动实现精准的目标受众定向,只把广告投放给对的人。 对广告主而言,使用程序化购买不仅能提高流量采购效率,更低成本的或可靠,稳定的流量,还能使用各种策略...

空空如也

1 2 3 4 5 ... 20
收藏数 216,155
精华内容 86,462
关键字:

广告系统