精华内容
下载资源
问答
  • 再通过等价变换,利用系统因果特点将其化为一个正常系统.继续对系统进行离散提升,导出一个形式上简单的单采样率系统.然后将原系统的二次性能指标函数修正为单采样率系统的二次性能指标函数,进而利用最优调节原理,...
  • 因果图 白盒测试 基本路径测试 循环覆盖测试 逻辑覆盖测试 灰盒测试 静态测试 桌前检查 代码审查 代码走查 测试特点 尽早、不断的进行测试 程序员避免测试自己设计的程序 既要选择有效、合理的数据,也要...

    目录

    软考官网 报名通道

    软考架构师笔记(一):计算机系统基础

    软考架构师笔记(二):计算机网络基础与信息安全

    软考架构师笔记(三):操作系统基础

    软考架构师笔记(四):企业信息化与系统规划

    软考架构师笔记(五):系统需求工程 需求分析

    软考架构师笔记(六):数据库

    软考架构师笔记(七):系统分析 系统设计

    软考架构师笔记(八):系统架构

    软考架构师笔记(九):软件工程与项目管理

    软考架构师笔记(十):系统测试 维护 稳定性

    软件测试

    软件测试可分为单元测试、集成测试、配置项测试、系统测试、验收测试和回归测试等类别。

    单元测试:
    也称为模块测试,测试的对象是可独立编译或汇编的程序模块、软件构件或面向对象软件中的类(统称为模块),
    其目的是检查每个模块能否正确地实现设计说明中的功能、性能、接囗和其他设计约束等条件,发现模块内可能存在的各种差错。
    单元测试的技术依据是软件详细设计说明书

    测试一个模块时,可能需要为该模块编写一个驱动模块和若干个桩模块。
    驱动模块用来调用被测模块,它接收测试者提供的测试数据,并把这些数据传送给被测模块,然后从被测模块接收测试结果,并以某种可见的方式将测试结果返回给测试人员;
    桩模块用来模拟被测模块所调用的子模块,它接受被测模块的调用,检验调用参数,并以尽可能简单的操作模拟被调用的子程序模块功能,把结果送回被测模块。
    顶层模块测试时不需要驱动模块,底层模块测试时不要桩模块。
    单元测试策略主要包括自顶向下的单元测试、自底向上的单元测试、孤立测试和综合测试策略。
    ①自顶向下的单元测试 先测试上层模块,再测试下层模块。测试下层模块时由于它的上层模块已测试过,所以不必另外编写驱动模块。
    ②自底向上的单元测试。自底向上的单元测试先测试下层模块,再测试上层模块。测试上层模块由于它的下层模块已经测试过,所以不必另外编写桩模块。
    ③孤立测试不需要考虑每个模块与其他模块之间的关系,逐一完成所有模块的测试。由于各模块之间不存在依赖性,单元测试可以并行进行,但因为需要为每个模块单独设计驱动模块和桩模块,增加了额外的测试成本。
    ④综合测试。上述三种单元测试策略各有利弊,实际测试时可以根据软件特点和进度安排情况,将几种测试方法混合使用,

    集成测试:
    目的是检查模块之间,以及模块和已集成的软件之间的接口关系,并验证已集成的软件是否符合设计要求。集成测试的技术依据是软件概要设计文档。
    集成测试可以分为一次性组装和增量式组装,增量式组装测试效果更好。集成测试计划一般在概要设计阶段

    系统测试:
    的对象是完整的、集成的计算机系统,系统测试的目的是在真实系统工作环境下,验证完整的软件配置项能否和系统正确连接,并满足系统/子系统设计文档和软件开发合同规定的要求。
    系统测试的技术依据是用户需求或开发合同。配置项测试的对象是软件配置项,配置项测试的目的是检验软件配置项与软件需求规格说明的一致性

    确认测试:
    主要验证软件的功能、性能和其他特性是否与用户需求一致。验收测试是指针对软件需求规格说明,在交付前以用户为主进行的测试。

    回归测试:
    目的是测试软件变更之后,变更部分的正确性和对变更需求的复合型,以及软件原有的、正确的功能、性能和其他规定的要求的不损害性。

     

    验收确认测试

    软件确认测试一种针对需求的测试,是用户参与的测试。它主要验证软件功能、性能及其它特性是否与用户需求一致
    软件确认测试包括:内部确认测试、Alpha、Beta和验收测试。
     

    α测试是由一个用户在开发环境下进行的测试,也可以是公司内部的用户在模拟实际操作环境下进行的测试。
    α测试的目的:评价软件产品的FLURPS(即功能、局域化、可用性、可靠性、性能和支持)。尤其注重产品的界面和特色。
    α测试可以从软件产品编码结束之时开始,或在模块(子系统)测试完成之后开始,也可以在确认测试过程中产品达到一定的稳定和可靠程度之后再开始。α测试即为非正式验收测试。

    Beta一种验收测试。所谓验收测试是软件产品完成了功能测试和系统测试之后,在产品发布之前所进行的软件测试活动,它是技术测试的最后一个阶段,通过了验收测试,产品就会进入发布阶段。验收测试一般根据产品规格说明书严格检查产品,逐行逐字地对照说明书上对软件产品所做出的各方面要求, 确保所开发的软件产品符合用户的各项要求。 通过综合测试之后,软件已完全组装起来,接口方面的错误也已排除,软件测试的最后一步——验收测试即可开始。验收测试应检查软件能否按合同要求进行工作,即是否满足软件需求说明书中的确认标准。

    测试的分类

    动态测试

    黑盒测试  透明的,不可见细节

    • 等价类划分
    • 边界值分析
    • 错误推测
    • 因果图

    白盒测试

    • 基本路径测试
    • 循环覆盖测试
    • 逻辑覆盖测试

    灰盒测试

    静态测试

    • 桌前检查
    • 代码审查
    • 代码走查

    测试特点

    尽早、不断的进行测试
    程序员避免测试自己设计的程序
    既要选择有效、合理的数据,也要选择无效、不合理的数据修改后应进行回归测试
    尚未发现的错误数量与该程序已发现错误数成正比

    测试与调试的区别

    测试的目的是找出存在的错误,而调试的目的是定位错误并修改程序以修正错误调试是测试之后的活动,测试和调试在目标、方法和思路上都有所不同测试从一个已知的条件开始,使用预先定义的过程,有预知的结果;
    调试从一个未知的条件开始,结束的过程不可预计
    测试过程可以事先设计,进度可以事先确定;调试不能描述过程或持续时间

     


    系统转换

    遗留系统演化

    如上图,把对遗留系统的评价结果分列
    在坐标的四个象限内。对处在不同象限的遗留系统采取不同的演化策略。
    1.淘汰策略
    第三象限为低水平、低价值区,即遗留系统的技术含量较低,且具有较低的业务价值。对这种遗留系统的演化策略为淘汰,即全面重新开发新的系统以代替遗留系统。完全淘汰是一种极端性策略,一般是企业的业务产生了根本变化,遗留系统已经基本上不再适应企业运作的需要;或者是遗留系统的维护人员、维护文档资料都丢失了。经过评价,发现将遗留系统完全淘汰,开发全新的系统比改造旧系统从成本上更合算。对遗留系统的完全淘汰是企业资源的根本浪费,系统分析师应该通过对遗留系统功能的理解和借鉴,可以帮助新系统的设计,降低新系统开发的风险。

    2.继承策略
    第二象限为低水平、高价值区,即遗留系统的技术含量较低,已经满足企业运作的功能或性能要求,但具有较高的商业价值,目前企业的业务尚紧密依赖该系统。对这种遗留系统的演化策略为继承。在开发新系统时,需要完全兼容遗留系统的功能模型和数据模型。为了保证业务的连续性,新老系统必须并行运行一段时间,再逐渐切换到新系统上运行。

    3.改造策略
    第一象限为高水平、高价值区,即遗留系统的技术含量较高,本身还有极大的生命力。系统具有较高的业务价值,基本上能够满足企业业务运作和决策支持的需要。这种系统可能建成的时间还很短,对这种遗留系统的演化策略为改造。改造包括系统功能的增强和数据模型的改造两个方面。系统功能的增强是指在原有系统的基础上增加新的应用要求,对遗留系统本身不做改变;数据模型的改造是指将遗留系统的旧的数据模型向新的数据模型的转化。

    4.集成策略
    第四象限为高水平、低价值区,即遗留系统的技术含量较高,但其业务价值较低,可能只完成某个部门(或子公司)的业务管理。这种系统在各自的局部领域里工作良好,但对于整个企业来说,存在多个这样的系统,不同的系统基于不同的平台、不同的数据模型,形成了一个个信息孤岛,对这种遗留系统的演化策略为集成。

     

    系统维护

    软件维护是生命周期的一个完整部分。
    可以将软件维护定义为需要提供软件支持的全部活动这些活动包括在交付前完成的活动,以及交付后完成的活动。
    交付前完成的活动包括交付后运行的计划和维护计划等;交付后的活动包括软件修改、培训、帮助资料等。

    系统的可维护性分为:

    • 易分析性
    • 易改变性
    • 稳定性
    • 易测试性

    系统的维护类型分为:

    正确性(改正)维护:指改正在系统开发阶段已发生而系统测试阶段尚未发现的错误;为了识别和纠正软件错误、改正软件性能上的缺陷、排除实施中的误使用,应当进行的诊断和改正错误的过程称为改正性维护。

    适应性维护:指使应用软件适应信息技术变化管理需求变化而进行的修改;外部环境(新的硬、软件配置)、数据环境(数据库、数据格式、数据输入/输出方法、数据存储介质)可能发生变化。为使软件适应这种变化而修改软件的过程称为适用性维护。

    预防性维护:为了改进应用软件的可靠性和可维护性,为了适应未来的软硬件环境的变化,应主动增加预防性的新的功能,以使用系统适应各类变化而不被淘汰。

    完善性维护:扩充功能和改善性能而进行的修改。对已有的软件系统增加一些在系统分析和设计阶段中没有规定的功能与性能特征。
    在软件的使用过程中,用户往往会对软件提出新的功能与性能要求。为了满足这些要求,需要修改或再开发软件,以扩充软件功能、增强软件性能、改进加工效率、提高软件的可维护性。这种情况下进行的维护活动成为完善性维护。

     

    负载均衡

    分布式:

    集中式:

    与分布式负载均衡方式相比,集中式负载均衡实现简单

    缺点:(1)系统的可扩展性不强,均衡器需要记录所有计算机的负载信息。
               (2)安全性较差,如果均衡器所在的计算机瘫痪,则会导致整个集群系统的瘫痪。
               (3)实现不够灵活,负载均衡器很难根据不同脚手架的特性配置不同的均衡策略。

    展开全文
  • 6 优酷:推荐系统因果推断 6.1 面向用户增长的信息流分发机制 6.2 因果推断在阿里文娱用户增长中的应用 6.2.1 用户画像与状态表示法 6.2.2 基于因果推断的无偏 user-cf 设计 7 阿里飞猪:因果推断在广告算法中的...

    文章目录


    这部分只是抛砖引玉贴一些看到的非常好的业内方案。
    因果推断在很多领域都有很有意思的应用,值得收藏。


    1 腾讯看点:启动重置问题

    来自datafuntalk -【2-1观测数据因果推断应用-启动重置体验分析】

    1.1 观测数据 、 实验数据的理论介绍

    在这里插入图片描述
    前提假设,用户是随机分配的;
    ATE是在实验数据中,Y(1)-Y(0)
    rubin potitential outcome -> 实验数据
    DAG,因果图 -> 观测数据,不过观测数据比较麻烦

    在这里插入图片描述

    工具变量、IV变量、断点回归 -> 绕开了混杂银子,在业务层面更容易满足 -> 准实验方法
    实在不行,才是PSM,IPTW
    在这里插入图片描述

    在这里插入图片描述

    曝光天气与未曝光,本身就有有偏的,曝光的人本来要比未曝光要更容易接受,或者在有干预
    所以,不能直接使用次留的结论,
    那么,DID这里需要满足平行性,就可以进行对比
    二次差分得到一个效应
    在这里插入图片描述

    为了因果效应的正确性,就是要看,天气内容之后的转化路径,就是次留提升不够,
    还要看内容有没有配套的文章资讯,天气的点击率;
    今天发了天气内容 -(验证的方式)> 第二天天气资讯内容的点击率如何
    在这里插入图片描述

    横轴是首章阅读时长,纵轴是次留数据;
    115s连续邻域左右,混淆因子作用差别不大,如果这个点有很大的差异,那么说明确实是有因果关系的
    提升 首章阅读时长 -> 提升次留
    措施:

    • 第一次推荐的,是比较容易读的
    • 里面的广告啥的,都关掉

    2.2 启动重置问题阐述:短期、长期、异质

    在这里插入图片描述

    浏览器里面,你刷起来APP里面去了,过了40分钟回来,又让你重新搜一遍,
    app里面,你离开了1min,又有闪屏
    当然,有闪屏说明可以很好的有商业收入

    在这里插入图片描述

    分析框架:

    • 短期表现捕捉方式:被打断之后,下一次使用的使用时长、跳出率等指标,是否会有波动

    • 长期表现捕捉方式:一段时间的打开次数

    • 是否存在一些人群(异质性人群),对广告不敏感,有or没有闪屏都无所谓

    • 短期影响,访问间隔是在40min左侧,还是在右侧,那么可以使用断点回归

    • 长期影响,有可能受很多混淆变量影响,PSM,混淆控制的方式去处理;
      但是PSM,matching的方式,很容易被挑战,有很多混淆因子,那咋解决?

      异质性用户,一般会用uplife的方法,但是Uplife方法是实验方法,那在观测数据中如何进行实验?

    2.3 短期影响的解决

    在这里插入图片描述

    横轴,跳出时长;纵轴:session使用时长 、 session搜索时长
    观察在跳出时长40min,前后是否有明显的差异

    2.4 长期影响构造准实验

    在这里插入图片描述

    很难控制混杂因子,因为你可能不知道还有什么因子被遗漏了,PSM问题:

    • 局部性,样本只代表一部分,不是整体
    • 遗漏混杂因子

    如果,我们控制了一段时间内,活跃度(访问次数一致),

    • user1属于高频低日活,每次来访问,停留时长比较长,各种切换;但不是每天都来
    • user2属于低频高日活,每天都来,但是每次就一会儿就走了

    那么每天都来,但是来一会就走的人,有没有重置,没有关系
    在这里插入图片描述

    解决遗漏混杂因子的问题,这里构造了准实验变量,
    如果我们在40min作为一个实验点来观察40min以内与40min以外,
    用户是很难感知,这个40min是个什么时间段的,那就把40min这个点变成领域(时间段)

    如果找领域范围呢? 越大,实验越多,但越不精准;所以这里考察了两个指标:

    • 覆盖session数量:数量也比较多
    • 特征平衡性:几个时间特征都差不多

    这样用户行为落在[20,40] ,[40,60]是随机事件,可以构造一个长期时间变量rate(生存分析里面有时变函数,构造一个跟着时间走的变量)
    这个准实验变量:Rate = (40-60min) / (0-60min)

    现实含义是?

    • 长时间跳出的比例(低使用时长)

    在这里插入图片描述

    特征平衡性检验,就是要看,这个IV变量 -> X是独立的,可以后续进行使用
    在这里插入图片描述

    Rate ~ 活跃天数Y的关系
    rate ~Y的相关性就是因果性,
    击中率Rate,经常长时间跳出的,越大;活跃天数越大
    被启动重置打断的次数越多,那么活跃天数的比例就低

    2.5 异质性用户

    在这里插入图片描述

    整个异质性的探究,其实是相当于对人群进行细分,然后针对不同的人群进行不同的策略;
    这里每个人身上的行为标签非常多。
    需要针对,不同行为下,是否主动打断,造成了最终活跃度/收入/信息流时长/搜索时长 有改变(多种行为 -(干预:打断)> 多结果 )

    在这里插入图片描述

    方法的调研,从四个方向去调研方法论,从下钻分析(从大区分析 -> 城市)与建模对比,肯定是建模好;
    那么建模又分为mete-learner / direct uplift model / transform outcome / mr-uplift(不可逆),这里沿着transfrom outcome进行改造。

    在这里插入图片描述

    算法目标以及流程:

    • 数据处理之后,tranform转化Y(时长)/G(使用天数)
    • 两个模型:Y 、 G分别拟合模型,modelY~(X,Y*)
    • 输出模型的重要特征top15
    • 画出象限,得到定性的结论
    • 根据定性,进行定量

    在这里插入图片描述
    评估准确性的方法,gini面积,catboost比线性好
    在这里插入图片描述

    搜索时长、总时长是两个模型,Y/G,根据两个模型的结果画出:搜索时长、总时长的象限,
    四个象限其实就代表着不同人群分类,1-无影响人群,3-严重影响人群,2/4-分别影响人群
    同时对四个象限进行下钻分析,找到不同象限的不同指标的差异,结论:

    • 1~2象限对比,会减少搜索时长的因素里面,发现第二象限搜索占比指标高,说明在干预重置下,影响搜索时长的是搜索占比,也就是页面重置 会对搜索的人产生影响
    • 1~3象限对比,第1象限打开方式多种,第三象限主要是主打打开,也就是如果是主动打开的人,重置会有影响

    前面的看细粒度维度的指标是一种定性的方式,现在针对是否主动打开,可以跑出这些Outcome指标,看一下是否有均值统计量的差异(这里可以根据数据,构造一些简单的均值检验)

    这里有人问,为什么要定性解释和定量解释?
    演讲者解释的是,定性解释,会受异常值影响,毕竟象限分析比较粗粒度,有好的样本,有坏的样本;定量是辅助解释 + 排除定性解释的问题,并且定量可以更加准确 + 多维度的解释
    这里,笔者觉得就是,估计效应有了,要具体计量出ATE估计量一样

    在这里插入图片描述

    得到了一些结论,异质性分析可以帮助拆分行为,进行精细化策略。
    同时发现,重置对搜索用户影响非常大,如果搜索的用户,需要产品设计上进行改动,告诉用户,之前查看的内容放在了哪里。

    1.6 总结

    在这里插入图片描述

    2 滴滴的国际化外卖团队DiDi Food:智能补贴

    来源:DiDi Food中的智能补贴实战漫谈

    2.1 补贴问题的定义

    与机器学习传统三大方向【推荐,搜索,广告】不同,补贴问题中最核心和最关键的一点是补贴这个行为需要付出【成本】。这个概念的引入使得我们必须要将对这部分【成本】的使用效率作为一个核心指标,也就是所谓的「ROI」。
    在这里插入图片描述
    也就是衡量增加的补贴【成本】所带来【增量】指标收益。

    对于这个指标的优化,一个直观的解法就是随机AB实验,通过足够多的,设计逻辑严密的,随机性完美的AB实验,我们一定可以在这个指标的优化上取得令人满意的结果。但是这个方法在具体业务中的问题是它太过于奢侈了,无论是在预算还是在时间上。

    因此,为了可以高效低廉地求解这个问题,我们可以将优化目标拆解为两个子问题:

    • 预估干预的Action相比于没有干预时带来的【增量】
    • 在存在多种干预【Action】和已预估了它们【增量】的情况下,如何为每个用户合理分配【Action】以期望达到全局最优

    如何判定合理的用户,就需要区分:
    在这里插入图片描述
    补贴敏感:
    没有补贴就不下单,有补贴才会下单;补贴敏感人群。
    自然转化:
    有没有补贴都会下单;自然转化人群。
    无动于衷:
    有没有补贴都不会下单;
    反作用:
    无补贴时会下单,有补贴时反而不会下单;补贴活动带来反作用。

    这块可参考:智能营销增益(Uplift Modeling)模型——模型介绍(一)

    2.2 如果进行因果推断建模

    与智能补贴相关的工程架构如图:
    在这里插入图片描述
    使用方法是mete-model系列,具体可看:因果推断笔记——uplift建模、meta元学习、Class Transformation Method(八)
    补贴活动提升的购买意愿 = P(Y = 1|X,W = 1) − P(Y = 1|X,W = 0)

    模型选择:LightGBM
    在实践中使用的方法是用一个新的LightGBM去拟合离线评估最优模型产出的【预测增量】,并用这个新模型的特征重要度来近似评估各个维度特征的重要性,以此来决策是否加入和剔除特征。选择LightGBM的原因是我们对于这个模型的精度并没有太高的要求,相反我们希望它能够比较快速地在训练流程中对新加入特征的给出反馈。LightGBM高效地训练速度和不需要过多特征工程的优点比较契合我们的需求。

    对于因果推断三大假设的思考:
    在这里插入图片描述
    其中,针对其中第二条假设,我们的个人理解是我们虽然允许有影响分配机制的特征存在,但是我们需要将这些特征也纳入我们的观察。在模型干预的数据样本中,影响干预分配机制的往往是模型产出的【预测增量】。这个特征我们没有也无法将其纳入我们的观察。因此,我们将这部分样本从训练和测试样本中剔除了。

    这点在数据结果上也可以看出,对于同一个批次的样本,同一套参数同一套模型,评估样本中【干预后样本】的存在会导致离线评估的结果大相径庭,从而影响我们离线评估和判断模型优劣。

    另外在同一个测试样本上,有该类【干预后样本】样本参与训练的模型的离线效果也出现了比较明显的下降。

    这里有点疑惑,感觉有干预的人群有太多的混杂因素、人为规则判定是“有潜力的”;所以接下来是补贴实验都是基于无干预的人群。
    从他们实验结果大概也看到,S-Learner比较好,且无干预比较准确

    在这里插入图片描述

    2.3 在干预下的全局最优解问题

    这个部分很少有人提及,有点像是归因 -> 预算分配这样的,将模型的效用更大化。

    对增量预估完毕后,接下来就需要具体地为用户池中用户分配补贴券。在基于增量预估的基础上,我们尝试了两种分发策略:

    贪心分配

    很多时候,运营对于使用的券类别和每个券类别的预算分配都有比较大的限制和约束。在这样的约束下,我们的做法是按照券值面额从低到高,为每个券类别计算可支配数量,然后对用户池所有用户按照预估出的Uplift值和计算出的可发放数量倒排截断,并将分配完毕的用户从备选用户池中移除。这样一个用户如果在各种券类别下uplift都很高时,我们将会优先为他/她配置券值较低的补贴券。这样做法的好处是简洁明了实现简单,在人工干预较强的时候对于运营的可解释性也比较强。缺点当然就是在自由度更高情况下,显然不能达到全局最优。

    整数规划

    而当我们对于预算和券种的设置拥有了更多的自主权时,我们也尝试了在预算约束下的最大化求解,具体的求解公式如下:
    在这里插入图片描述

    2.4 有意思的地方:如何定义业务指标

    这里是我看到比较有意思的,业务 - 技术团队的博弈后的指标产物

    在解决补贴问题时,时常会困惑如何能合理地解释策略干预的结果,尤其是在与前线运营同学交流的时候。ROI固然是正确且合理的指标,但是我们可以设想这样一个场景,客单价为100,空白组GMV为1000,补贴为0,策略组发放了一个抵扣面额为10的券,最终核销了2张,GMV为1200,补贴为20。那么通过ROI计算公式可得,策略组ROI为200/20=10。与此同时,运营同学发放了一个抵扣面额为20的券,最终核销了10张,GMV为1800,补贴为200,那么运营组的ROI就是800/200=4。从钱效角度出发,当然是策略组干预策略更优秀,但是对于运营同学而言,这次活动确实是他们的策略带来了更多的GMV和单量。

    在这里插入图片描述
    而且,运营同学会自然想到的一个原因是因为策略组使用的券种抵扣额度更低,所以ROI会更高,而一旦有了这样的思路,整个过程就不可避免的走向了设计更为复杂且需要运营侧策略侧高度配合的实验。这与我们想高效低廉的解决这个问题就完全背道而驰了。

    因此,我们在这个问题上最后的结论是,ROI是一个非常优秀的业务指标,但为了保证策略的可解释性,它不能作为唯一指标。
    我们锚定了运营同学更为关注的直接指标【规模:GMV,单量】【成本:补贴】,并通过加入约束条件和人工干预的手段,使其中一个维度与运营组策略对齐的同时,观察另一维度指标的提升,也既前面提到了两个大的目标方向【相同单量,更少补贴】和【相同补贴,更多单量】。
    也就是说,我们只会在【相同补贴】或者【相同单量/GMV】这样的条件下,才去谈论ROI。
    也只有在这样的情况下,ROI这个指标的说服力才会显得更加强大。

    这里也是一种干预的思路,在券 -> ROI里面,单量/GMV是混杂因子,然后要控制住,进行分层。

    2.5 有意思的地方:如何定义模型指标 AUUC

    AUUC是一个很重要且奇怪的指标。说重要,是因为它几乎是Uplift Model在离线阶段唯一一个直观的,可解释的评估模型优劣的指标。说奇怪,是因为它虽然本质上似乎借鉴了分类模型评价指标AUC的一些思想,但是习惯了AUC的算法工程师们在初次接触的时候一定会被它搞得有点迷糊。

    作为在分类模型评估上的标杆,AUC的优秀不用过多赘述。其中最优秀的一点是它的评价结果稳定到可以超越模型和样本本身而成立,只要是分类问题:

    AUC0.5是随机线,0.6的模型还需要迭代一下找找提升的空间,0.6-0.8是模型上线的标准,而0.9以上的模型就需要考虑一下模型是否过拟合和是否有未知强相关特征参与了模型训练。

    一法抵万法,我们可以抛开特征,样本和模型构建的细节而直接套用这套准则。

    然而这个特点对于AUUC就完全是奢望了。
    通过AUUC的公式可以看出,AUUC最终形成的指标的绝对值大小是取决于样本的大小的。也就是说,在一套测试样本上,我们的AUUC可能是0到1W,而换了一套样本,这个值可能就变成了0到100W。
    这使得不同测试样本之间模型的评估变为了不可能。
    也使得每次模型离线的迭代的前提必须是所有模型都使用同一套测试样本。
    当我们训练完一个新的模型,跑出一个40万的auuc,我们完全无从得知这个值背后代表着模型精度如何,我们只能拿出旧的模型在同样测试集上跑出auuc然后相互比较。这无疑让整个训练迭代过程变得更痛苦了一点。

    我们也尝试了从多个角度去解决这个问题,希望在增量预估模型中建立一套类似auc的标准,但无一例外都没能成功。
    包括像AUC那样除以曲线的理论最大面积,但是看公式就可以知道,这个理论的最大面积其实就是样本个数的平方而这么一除之后得到的AUUC也失去了比较的价值了。

    2.6 他们接下来想优化啥

    • 更好的模型指标,能否在增量预估模型中建立一套类似auc的标准
    • 离线 -> 线上,把离线的决策模块部分推至线上并引入更多的实时特征和接入更多的发券场景(首页天降红包,进店未下单等等),并将其直接包装为一个简单可解释的运营工具
    • 优化模型,在增量预估模块,我们会持续迭代优化模型。在尝试引入更多维度,信息更丰富的特征的同时,与深度学习模型融合,提高模型精度。
    • 用户在其整个生命周期探索,当前框架下的算法策略几乎只是针对每一次活动希望求得全局的最优化。而在实际运营中,一个健康的补贴生态一定是去优化用户在其整个生命周期的收益的,所以对用户长期价值(LTV)的建模也是个值得规划和探索的方向

    3 QQ 浏览器:PUSH配额优化实践

    参考:基于Uplift-Model的QQ 浏览器PUSH配额优化实践

    在这里插入图片描述
    PUSH系统 -> uplife的使用,这里的干预是PUSH下发的条数,outcome 是转化增量收益
    在这里插入图片描述
    不同活跃度人群(1/2/3/4/7日活跃)在PUSH数量下的UTR,大致看到9条以上UTR会有所下降

    在这里插入图片描述
    这里使用的meta-learning模型,因果增强模型,比较少见的将偏序关系、metric learning增强用户特征表示用到模型之中。
    在这里插入图片描述
    这篇的来看,考察的业务指标还是CTR/UTR 这类的。

    文章可以看:Push Notification Volume Optimization Based on Uplift Model at Tencent Mobile QQ
    Browser
    笔者一时没找到,后续看到了再研读一下。


    4 腾讯

    4.1 腾旭看点:信息流实验分析

    来自:【信息流实验分析实践】的演讲,其中少量章节提到了uplift modeling,这里简单贴一下相关的几页:
    信息流的实验背景:
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    来仔细看一下分析角度:
    在这里插入图片描述
    将性别 、 年龄、城市进行拆分。

    4.2 腾讯微视:数据算法驱动的用户增长

    来自2020先行者大会:数据算法驱动的用户增长

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述


    5 滴滴

    5.1 因果建模在滴滴的应用实践

    来自演讲【大数据驱动的因果建模在滴滴的应用实践】
    这篇主要偏科普因果推理知识为主。
    在这里插入图片描述
    在这里插入图片描述
    观测数据和实验数据各有优劣
    在这里插入图片描述
    在这里插入图片描述
    这里有一些表示学习的介绍。
    在这里插入图片描述

    5.2 网约车供需策略技术基础能力团队

    来自文章:滴滴是如何构造连续因果森林模型并应用在交易市场策略上的?

    该篇主要是针对Uplift中,Tree-Based的因果森林模型,且主要就,干预从二分类 -> 多分类 -> 连续进行讨论: 连续因果树

    目前市面上大多数流行的增益模型框架(如CausalML, pylift, grf),都很好地支持了二元处理变量(如发券或不发券,吃药或不吃药)的效应估计。
    但在多元/连续处理变量方面,尚未有很好的支持。然而,在广大的应用场景中,多元或连续的处理变量更为普遍。在二元因果森林的基础上,我们扩展研发了连续因果森林

    因果森林(Causal Forest)是由Susan Athey、Stefan Wager等人开发,专门估计异质处理效应的机器学习模型,是当前增益模型领域最为流行的算法之一。
    因果森林以随机森林为基础,通过对特征空间进行重复划分(Recursive Partitioning),以达到局部特征空间的数据同质/无混淆。在一定的假设下[1],我们就可以得到各个维度上异质处理效应(Heterogeneous Treatment Effect)的无偏估计。

    5.2.1 二元因果森林

    在这里插入图片描述
    即我们希望从协变量中,找到一个最优分裂节点,最大化子节点间处理效应差异。
    在节点内,我们认为所有样本同质,因此可以应用公式(1)进行处理效应的计算。如此重复分裂,直到满足一些预设的停止条件(节点最小样本值、处理变量不平衡度、最小信息增益等),完成一棵树的构造。

    二元因果森林的多元处理效应估计:
    在这里插入图片描述
    优点

    • 易于实现,无需额外开发;所有二元处理效应模型均适用;

    缺点

    • 当处理变量值较多时,会产生大量模型,增加训练和部署成本;
    • 数据利用不充分,单个模型只用到部分(2/(k+1))数据;
    • 不同处理效应间无关联。这在部分场景中并不合理,例如我们认为价格和供需存在单调关系;
    • 无法对未出现在数据集中的对照变量值进行推断。

    5.2.2 连续因果森林

    在定价策略中,所有的模型归根结底都在拟合价格曲线。在需求侧,我们可以合理假设价格曲线具有如下特征:

    • 单调性:价格越高,需求越低 ;
    • 局部线性:在局部价格区间内,价格与需求呈线性关系。

    在这里插入图片描述
    树模型的一个优点在于,在节点内部我们可以自定义统计量的计算方式。

    利用价格需求曲线的特性,我们对节点内的样本(W1,Y1),(W2,Y2),…进行线性回归,然后以线性回归得到的斜率代表连续处理效应。

    在模型的预估/推断阶段,为了跳脱出线性假设的约束, 在估计各个对照处理效应的时候,我们退回之前的定义,仅选取对应的对照/参照变量值样本计算对应的处理效应。

    因此在我们的连续因果森林模型中,整体的CAPE仅被用作分裂,不会用于效应估计。

    优点:

    • 考虑了不同处理效应间的关系
    • 充分利用数据,不同处理变量间可以互相学习
    • 单一模型,减少训练/部署成本

    缺点:

    • 使用中需考察线性假设的合理性

    5.3 数据驱动下经济学与因果推断

    来自文章:双边平台的增长,与因果推断的应用

    这边主要从经济学以及整体数据驱动视角,来看因果推断如何在数据驱动中进行。
    之前很少从经济学的角度来看数据科学、因果推断,所以值得一读。

    在这里插入图片描述

    ** 一个新定义:多边平台 **
    经济学家把平台类商业模式,或者说撮合供需两(多)端交易的商业模式统称多边平台(Multisided Platform)。
    科学的分析框架:KPI (主要是规模、体验)= f(供给量) + g(需求量) + u(匹配效率)。
    现在平台,大部分精力会放在:需求量 + 匹配效率,供给量会次于前两者。

    6 优酷:推荐系统与因果推断

    6.1 面向用户增长的信息流分发机制

    文章来源讲座【面向用户增长的信息流分发机制】

    主要内容是信息流:
    在这里插入图片描述
    简单摘录一些跟因果推断相关的。
    在这里插入图片描述

    Youtube net的问题:user embedding average pooling导致本质上其实依然是item-based。
    后续的诸多改进没有本质解决消偏问题。

    在这里插入图片描述

    在这里插入图片描述
    全生命周期的因果推断这个概念蛮赞,找到使用户从低阶状态到高阶状态转化的干预因子(热点、兴趣等),可以优化的目标和场景也很多(内容采买、设计页面组织等)

    两个用途:

    • 单用户不可重复实验(Uplift model,可RCT):红包/券/激励 特定时期的头部内容/热点
    • 单用户可重复实验(观测数据):用户长期兴趣推断

    6.2 因果推断在阿里文娱用户增长中的应用

    来自文章:因果推断在阿里文娱用户增长中的应用

    用户增长和智能营销算法的目标
    刚刚已经介绍了优酷用户增长的业务打法和构思,其中已经提到,个性化的分发算法是实现用户增长的主战场。其中有两大目标:

    • 目标1:用户状态建模。深度建模用户状态和行为,从大数据集中找到使用户从低阶状态到高阶状态转化的干预因子。
    • 目标2:个性化算法的升级。将用户行为建模后,在多个场景将这些干预动作落地为个性化推荐算法和营销算法,满足和刺激用户的视频内容消费需求。

    6.2.1 用户画像与状态表示法

    传统的用户画像表示技术要么服务于运营可解释性,要么服务于推荐或广告系统的模型预估,通常建模成向量 ( 离散高维或低维稠密 )。而我们在深入研究在线视频和付费会员业务后,发现状态转移图是更有力地建模该业务下用户画像的数据结构,原因如下:

    • 用户从非会员到购买会员并逐步进入高阶会员的阶段,本质属于一种强规则定义的状态。
    • 在线视频,尤其是长视频领域具备长时间、连续型消费 ( 追剧、追网红 )
      等特点,对比传统的图文推荐系统、电商推荐系统和广告系统,用户的消费行为可以在连续的时间上进行切分,状态表示法是对向量表示法的有力补充。
    • 新用户的承接和推荐策略是用户增长中"促留存",建立心智的重要阶段。
      在这里插入图片描述
      首先是多目标的排序机制,对于在不同状态下的用户,个性化算法的机制目标会不同 ( 跃迁至目标态 );其次启发我们从更前沿的算法高度来研究状态跃迁的干预手段问题,进而解决推荐系统中长期难解的"可解释性"、“幸存者偏差”、"兴趣探索"等问题。

    针对干预手段的研究,在2019年用户增长 & 智能营销团队组建之后,对因果推断 ( Causal Inference ) 算法率先进行了研究和落地,目前在个性化推送、外投 DSP 应用了基于 matching 的无偏 user-cf 算法,智能红包发放场景应用了 uplift model,取得了显著的核心业务指标提升,并得到了业务方和兄弟团队的一致认可。

    6.2.2 基于因果推断的无偏 user-cf 设计

    因果推断的核心研究课题:

    • 从众多观测到/未观测到的变量中找出致因 ( causes )
    • 预估某个行为/因素的影响力/效益 ( causal effect )

    ① 构建 Counterfactual 镜像人:
    利用无偏信息构造相似度量,构造低活 user 到高活 user 的 matching:

    • 基础人口属性、安装的长尾 app 信息等
    • 主动搜索行为 ( 非被动推荐 ),尤其是长尾 query

    ② 去除低活用户的 leave causes,推荐相似高活用户的 stay causes。对于推荐系统来说,这些 causes 包括:

    • item 本身:但缺少泛化容易推出老内容
    • item 的泛化特征:标签、时效性、质量
      在这里插入图片描述
      由于使用了 matching 方法,这里的算法非常类似传统的 user-cf 类算法,但是和传统 user-cf 核心的区别在于:
    • matching 不使被动推荐数据,个性化推送、站内推荐、运营推荐的内容都不使用。
    • 只匹配低活到高活,活跃度相同的用户之间不进行匹配。

    该算法落地后,在两个 baseline 相对较高的算法场景中取得了较大的收益:其中个性化推送 ( push ),在沉默用户中获得了 50%+ ctr 和 50%+ click 的双增长,在外投 dsp 业务中,拉活量对比峰值接近翻倍。

    7 阿里飞猪:因果推断在广告算法中的实践

    来自文章:
    因果推断在阿里飞猪广告算法中的实践

    我们通过引入因果推断技术,将广告投放建模为对搜索产品的干预 ( intervention ),直接预测广告投放与否对业务目标产生的uplift效应,作为下游优化问题的线性奖励 ( rewards ) 或约束 ( constraints ),以支持各类线上策略。
    在这里插入图片描述

    7.1 三种解决CIA问题的方式

    在这里插入图片描述

    有3种方法可以解决这类问题:

    ① 随机实验

    • 选取部分流量,线上广告随机投放,不采用任何策略
    • 成本过高,难以落地

    ② 后采样

    • 通过重采样方法,使两组样本分布一致

    ③ 特征工程

    • 机器学习常用方法
    • 假设X包含所有的confounders,则虽然两组样本的P(T,Y)不相同,但P(T,X,Y)相同
    • 实际很难做到,且对样本也有较高要求

    7.2 解决方式一:找到所有混杂因子

    针对CIA假定,目标是捕捉到所有的confounders(即影响到广告是否投放,以及影响到我们的平台效率的所有特征)。
    这里文章里面把消除假定的方法叫做:特征工程

    例如广告的CTR/CVR预估模型;该类模型对广告效率的预估,会预先将原始的复杂特征做汇总。基于此,整体的思想就是基于原生的广告搜索模型做迁移学习。
    在这里插入图片描述
    除了刚刚详细介绍的CTR/CVR,特征工程还包括广告系统中常用的Search Rank Queue(原生产品队列)、用户画像等,在此不做赘述。

    7.2 样本重采样 —— Matching

    这里文章把matching叫做观测数据重采样

    在这里插入图片描述
    样本重采样常用的方法包括:

    • ① Propensity Score Weighting/Matching(倾向评分加权/配比法)
    • ② Original Space Matching(原始空间匹配法)等

    7.3 uplift模型的评估——barplot + AUUC

    因果效应模型的评估,和常见其他用户模型的评估相比,最大的难点在于,每个样本都没有相反label。
    对于这类问题,业界常用分位数分析法进行评估,即对于每一类样本,按照广告效应的预测值,从大到小来进行分桶(上图左侧,分了十个桶);每个桶内聚集广告效应的预测值相近的样本(包含不同的label);将每组样本内的label的平均值相减,得到该组样本的uplift。

    在这里插入图片描述
    上图是个理想的情况:左侧贡献比较大,右侧贡献比较小,甚至是负的。基于柱状图做累计分布计算,得到下图:
    在这里插入图片描述

    这个图和常规预估模型中的ROC曲线形似;同样,曲线下的面积(AUC)越大,模型预估效果越好。

    7.4 NN-Base的uplift 模型

    在这里插入图片描述

    在这里插入图片描述
    将所有特征都连到一个DNN里面,采用了ResNets的思想,如上图所示:左侧网络对用户搜索请求预期的转换效率进行建模,右侧网络对“广告是否投放”产生的影响进行建模,最后通过线性模型加以合并。对于广告效应的推断方面,这种模型相比于DNN会有一定的提升(uplift Qini指数提升至0.6)。
    还有几个不列了。。

    7.5 飞猪:因果推断在广告预算分配

    这一块不是特别感冒,就贴一下好了
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述


    8 哈啰顺风车从推荐 -> 智能营销

    参考:算法在哈啰顺风车中的实践应用

    这篇里面提到了哈罗主要的ML平台架构,如下:
    在这里插入图片描述

    8.1 用户运营周期

    在这里插入图片描述
    对于平台的用户来说,一般都会经历拉新,促活,防流失,召回挽留等阶段。对于每个阶段来说,我们希望有对应的营销算法和触达手段来激发用户在平台的活跃度与忠诚度,同时也能提升公司的钱效,用好每一笔钱。

    这里面涉及3个问题,

    • 第1个问题是:给什么样的人发券,即圈人阶段;
    • 第2个问题是:圈的人给什么样的权益,比如是5块钱还是10块钱;
    • 第3个问题是:通过什么样的文案来触达用户,这里面就涉及智能文案的问题。

    8.2 给什么样的人发券——Uplift model

    在这里插入图片描述
    整个模型迭代的三个版本:

    • v1版本,是从response model开始。去预测用户的出行概率,然后根据出行概率来制定不同的发券策略。
      这里面会出现自然转化的用户也发放了优惠券,导致钱效不高。
    • v2版本,我们通过v1版本发券积累的数据,来尝试了uplift增益模型,对发券和不发券对用户带来的增量进行建模,然后根据这个增量来实施发券策略。
      这里面有个缺点是,发券的金额仍然没有做到用模型cover住,钱效仍然不是很高。
    • v3版本,我们通过预测不同券的核销概率,与使用不同券的增益值,来通过运筹优化的问题解决券金额发放千人千面的问题。

    v2版本开始关注人群细分:

    • 第一类是营销敏感的人群,这类人是下单犹豫不决,需要券来刺激一把。
    • 第二类是自然转化的用户,不管发没发券,这个人第二天都是有出行需要的。
    • 第三类是无动于衷,发不发券都没反应,
    • 第4类是发券可能会起反作用,比如券可能是站内push的方式来发送,用户可能觉得太烦了,直接app关闭推送功能。
      这4类人中我们要抓住的就是第一类人,营销活动的重点人群。

    这里有针对uplift model有一些实验:
    在这里插入图片描述
    除了meta-learning外还尝试了Tree-Based,uplift model 下的树模型通过对增量直接建模,对特征点进行分裂, 将 X 划分到一个又一个 subspace 中,那划分准则与传统的决策树信息熵或者基尼系数不一样,这边主要是采用分布散度或者CTS分裂准则。

    nn-based我们还没有尝试,他是将propensity score估计即倾向性得分和uplift score估计合并到一个网络实现。

    8.3 圈的人给什么样的权益

    v3版本有提到,要借由运筹学给不同人配不同券 :

    比如xij 代表第i个用户是否发放第j种券,那约束条件是:每个用户至多发一种劵,以及所有用户的发券总和不能超过实际预算,优化目标可以是所有用户的增益值最大,也可以是gmv最大或者roi最大等

    运筹优化的求解主要是整数规划,整数规划目前采用谷歌的ortools来求解。但是优化器当求解参数上千万时,性能就出问题了,要算十个小时左右,这是不能接受的。目前的解决方案是分而治之,通过分城市来求解优化器,因为每个城市间的用户相对来说是相互独立的,互不干扰。


    9 阿里文娱:智能营销增益模型 ( Uplift Model ) 技术实践

    一些细节也可参考:智能营销增益(Uplift Modeling)模型——模型介绍(一)
    文章来源:阿里文娱智能营销增益模型 ( Uplift Model ) 技术实践

    9.1 Uplift Model建模评估

    在这里插入图片描述
    uplift评估最大的难点在于我们并没有单个用户uplift的ground truth,因此传统的评估指标像AUC是无法直接使用的,解决的一个思路是通过构造镜像人群的方式来间接拿到uplift的ground truth,比如说经典的AUUC的指标就是这样去计算的,假设现在有两个满足CIA条件假设的样本组,我们可以对两群人分别预估他们的uplift score,之后将人群按照uplift score进行降序排列,通过score分数这一桥梁,可以把两组人群进行镜像人群的对齐,之后分别截取分数最高的比如10%的用户出来,计算这一部分人转化率的差异,这个差异就可以近似地认为是分数最高的这群人真实的uplift,类似地,我们可以计算前20%,40%一直到100%的点上面的值,连线就能得到uplift curve。理论上如果模型对uplift的识别比较准确,我们预测uplift比较高的区间段,真实的uplift也较高,uplift curve就会呈现上凸的形式,我们也可以计算曲线下的面积度量不同模型的表现差异。

    9.2 Uplift Model在淘票票智能票补中的应用

    在这里插入图片描述
    该项目的目标是希望对进入到首页的用户个性化地发送红包,实现在预算和ROI的双重约束下提升平台总体购票转化率。我们的权益就是首页的红包,红包的使用规则、红包类型、预算和交互样式由产品运营设计,算法的作用是实现人和权益的精准匹配,我们需要确定应该给哪些用户发放以及发放哪种类型的权益。

    在这里插入图片描述
    因此问题就精细化到如何对用户进行个性化的面额发放上,这可以通过经典的背包问题来抽象,如图所示,第一个公式是我们的目标,最大化的是红包撬动效率,下面的约束条件一个是ROI约束,一个是预算约束。

    9.3 如何uplift建模

    建模中control组我们取的是随机化实验中的基准组,这部分用户是不进行红包发放的,而treatment组选用的是随机化实验中专为uplift model建模预留的一小部分随机探测的流量,之所以没有用有算法干预下的样本是因为用户的发放的面额与用户的特征是强相关的,并不满足CIA条件,因此这一部分样本虽然量较大,但是不能用于训练。
    在这里插入图片描述

    One Model的差分响应模型,特征层面,除了user维度的基础属性,还有历史的观影行为,以及历史红包的反馈,同时也会引入线上实时的环境特征,最重要的是跟营销相关的特征T,目前T代表的是红包的金额。

    实验最后出现了一些问题:
    绘制的用户敏感度曲线和我们的预期不太一样,并不是严格的平滑递增的走势。

    分析有两个可能的原因:

    • 一是与我们整体的样本规模比较有限有关,因为这种无偏样本目前大概只有几百万的量级;
    • 二是由于用户行为的稀疏性,在这种场景下我们比较难收集到用户在不同面额下的历史数据,因此也会加剧这种不平滑性。

    解决但未完全解决:
    做了校准处理,把原始曲线做了一个函数的拟合,一方面可以让结果更加符合我们先验的假设,一方面经过这种函数化之后可以在后续支持更多面额的预测,但这种做法是否是最优的还值得进一步探讨。
    在这里插入图片描述
    黄色区域是基于uplift model的实时预测的模块,当一条用户的请求过来的时候,我们会实时去数据库中取用户的特征以及影片的特征,同时结合当前的环境特征预测用户在当前状态下真实的敏感度,基于这个敏感度可以进行后续分发的面额决策等。
    在这里插入图片描述


    10 快手因果推断与实验设计

    参考文章: 快手因果推断与实验设计

    因果推断笔记—— 相关理论:Rubin Potential、Pearl、倾向性得分、与机器学习异同(二) 提到了非常多快手的案例。

    10.1 基于观测数据或实验数据的因果推断技术案例

    在这里插入图片描述

    双重差分适用于存在不可观测的个体固定效应场景,通过差分消除固定效应,其关键假设是,政策干扰前存在平行趋势,且实验干扰效应不随时间变化。双重差分可以用来消除那些对后期可能存在干扰因素,得到实验效果估计。

    在这里插入图片描述

    当treatment施加到一个群体或者地区上时,很难找到单一的对照组,这种时候采用合成控制方法构造虚拟对照组进行比较,原理是构造一个虚拟的对照组,通过treatment前的数据上学习的权重,拟合实验组在实验开始前的数据,模拟实验组用户在没有接受实验情况下的结果,构造合成控制组,实验开始后,评估实验组和合成控制组之间的差异。

    10.2 因果推断与机器学习的异同

    在这里插入图片描述
    因果分析的语言,核心在于因果关系的识别,即合理的估计处理前和处理后现有条件期望的差异,也可以是一种处理缺失数据的问题,在因果推断上我们非常关心的是如何准确的估计结果以及结果的方差。而在机器学习中,我们使用准确度来衡量机器学习模型的好坏,其目标是在训练集上估计一个条件期望,使得测试集上MSE最小。
    机器学习可以通过cross-validation(模型参数)的方法去数据驱动的选择一个最佳模型形式,与传统计量经济学方法相比不需要复杂的假设,例如function form的假设,从这种意义上机器学习能够更准确的预测。
    但是在因果推断问题上,机器学习的局限性在于,无论用什么机器学习方法,因果识别的条件都不能被放松;同时在机器学习模型通常使用的正则化和过拟合处理,会带来有偏估计,因此我们需要消除这种估计的偏差;
    在统计推断上,机器学习的局限性在于,有些模型不能直接计算方差,并且有时即使可以计算,方差的收敛速度也未必能够达到预期,所以针对这些问题,下面介绍了几种方法。

    10.3 双重机器学习 Double Machine Learning (DML)

    DML则是在进行HTE (Heterogenous Treatment Effect)研究中,通过残差估计矩(服从Neyman orthogonality),即使W估计有偏,依旧可以得到无偏ATE估计!
    在这里插入图片描述

    因果推断会遇到混淆变量的问题,比如想要去分析直播推荐多样性对用户活跃度的影响,但是这些都和用户历史相关。传统计量经济学方法可以解决这个问题,但是依赖很多强假设,强假设下,得到的估计不一定合理,双重机器学习为这个问题提供了解决的思路。

    双重机器学习假设所有混淆变量都可以被观测,其正则化过程能够达到高维变量选择的目的,与Frisch-Waugh-Lovell定理相似,模型通过正交化解决正则化带来的偏差。
    除了上面所描述的,还有一些问题待解决,比如在ML模型下存在偏差和估计有效性的问题,这个时候可以通过Sample Splitting 和 Cross Fitting的方式来解决,具体做法是我们把数据分成一个训练集和估计集,在训练集上我们分别使用机器学习来拟合影响,在估计集上我们根据拟合得到的函数来做残差的估计,通过这种方法,可以对偏差进行修正。在偏差修正的基础上,我们可以对整个估计方法去构造一个moment condition,得到置信区间的推断,从而得到一个有良好统计的估计。

    10.4 因果随机森林模型

    PSM评分法的树模型 升级版
    可以回顾【3.4章节】
    随机森林就相当于训练一棵预测treatment的树,然后在树的叶子结点做因果推断,如果大家仔细看了前面的倾向性得分的话,会发现其实这个思路其实就相当于propensity matching的树版,可能跟subclassification更相似。
    整体思路:树进行分组,然后对于对于每个叶子内部,将E(处理组) - E(对照组)

    在这里插入图片描述

    我们通常探究策略对于不同用户异质性的影响,即哪些用户更容易被影响以及影响有多大,传统做法是多维分析,但是效率低,容易犯错。这时可以结合机器学习的方法,这里选择了决策树方法,因为决策树的分桶特性能够帮助解决异质性问题,相对于传统方法因果树做了两点改动:

    把数据分成训练集和估计集,一部分训练集去构造树,另一部分估计集去估计因果效应和方差;
    在树的分区方式上,使用各个节点的方差对目标函数加以修正。
    通常情况下,我们结合实验来做分析。比如在实验中,通过因果树得到因果效应的分布,然后挑选出来那些实验效果显著的用户,去分析他们的特征,以及找到敏感用户,帮助我们了解策略的影响,作出下一步迭代。

    10.5 快手:双边实验设计

    在这里插入图片描述

    在这里插入图片描述
    在双边实验中,同时进行了主播侧和观众侧的分流,主播侧一部分是上了挂件,观众侧一部分能看到一部分看不到,双边实验的优点是可以同时检测两端的效果,同时可以帮助检测到组间的转移和溢出。在了解到组间溢出和干扰下,通过双边实验我们可以更加准确的测算处理效应,在挂件场景下,我们认为N3是代表完全没有处理过的效果,Y代表处理后的结果,N3和Y进行差分,计算产品功能推全后的影响,而且,双边实验能够更好的帮助我们归因。

    在这里插入图片描述

    然而双边实验只能描述简单的组间溢出,在个体和个体之间存在干扰的复杂情况下,双边实验是无法帮助我们判断实验效果,例如直播PK暴击时刻这种情况下,我们通过时间片轮转实验解决,即在一定实验对象上进行实验组策略和对照组策略的反复切换。

    10.6 快手:时间片轮转实验

    在这里插入图片描述
    时间片轮转的核心在于:

    • 时间片的选择

    • 实验总周期选择

    • 随机切换时间点是什么样子的
      当时间粒度约粗糙,时间上的干扰造成的偏差会越小,但是方差会越大,影响实验的检验效果,针对这个问题,采取的方案是最优设计。
      在这里插入图片描述
      最优设计的核心假设是:

    • Outcome有一个绝对上界

    • 用户无法知晓下一个时间是否是实验组

    • 如果时间片之间存在干扰,干扰的影响是固定且有限的

    当我们不知道一个时间片实验时间节点如何设计时,通常采取的步骤是,预估一个时间,通过实验确定carry over的阶数下限是多少,根据阶数下限,找到最优切换时间点,再进行一次实验,通过实验组和对照组的选择来进行因果效应的估计。其缺点在于,实验周期长,没有办法观测到HTE (heterogeneous treatment estimation)。

    10.7 快手:城市实验 + 合成控制

    在这里插入图片描述
    当treatment施加到一个群体或者地区上时,很难找到单一的对照组,这种时候采用合成控制方法构造虚拟对照组进行比较,原理是构造一个虚拟的对照组,通过treatment前的数据上学习的权重,拟合实验组在实验开始前的数据,模拟实验组用户在没有接受实验情况下的结果,构造合成控制组,实验开始后,评估实验组和合成控制组之间的差异。


    11 腾讯广告:上线Uplift广告增效衡量

    一个文档:Uplift广告增效衡量FAQ
    一个文章:国内独家!腾讯广告上线Uplift广告增效衡量

    人群需要细分:
    在这里插入图片描述
    那么该如何找到这一部分用户,准确判断广告曝光对真实转化效果的催化作用呢?广告主通常采用的传统衡量方式有以下2种:

    • 从衡量用户点击与转化的关系入手:只看真正点击了广告、进而发生转化行为的人有哪些。这种方式虽然可以找到确实和广告产生了互动的人,但会严重低估广告曝光带来影响。因为通常好的广告创意即使当下没被点击仍然也会产生潜在影响,根据腾讯广告既有研究数据:会购买你产品的消费者中,90%以上的人其实不会点击你的广告, 这意味着虽然消费者当下没有直接点击广告,却同样受到了广告的影响,之后在其他渠道完成了后续的转化行为。
    • 直接从衡量广告曝光对转化的关系入手:这种衡量方式通常在投放后找到曝光和非曝光的两群人,对比二者的转化率和转化效果;或直接对比广告投放前和投放后,转化率、售卖率、搜索指数等指标是否有所提升。

    以上两种对比方式在科学性上存在着不足:

    • 首先,曝光人群与非曝光人群之间的真实差异不止“是否看了本次曝光广告”这一个变量:因为广告投放本身是带有选择性的,通过竞价胜出的广告,本身就会曝光给具有一定特质的人,这群人可能更容易发生点击、发生转化,或本身就是已经成为了品牌固定消费者的人,因此直接对比曝光人群和非曝光人群的转化率并不严谨。
    • 其次,投放前和投放后所面临的市场情况存在不可测差异:市场无时无刻都在发生变化,品牌的销售曲线自然就会出现波动。在不投放广告时,销量增高或销量减少都可能频繁出现,用时序来看投放前后的对比,是无法屏蔽掉市场的天然变化
    • 同时,由于二者都是采用后置分析,上述两种衡量方式仅能说明广告曝光与转化之间的相关关系,而非因果关系。

    11.1 幽灵广告框架

    腾讯广告系统内幽灵广告框架,推出了国内唯一可以科学衡量两者之间因果关系的技术——Uplift广告增效衡量。
    通过严谨的系统控制,实现科学衡量曝光对转化的增效影响:
    在这里插入图片描述

    • 投放前:Uplift广告增效衡量将投放人群随机地分为Treatment Group(处理组)和Control Group(控制组)。以确保投放前两个组别在转化行为表现上没有显著差异。
    • 投放中:Treatment Group和Control Group都会参与广告竞争,以确保这两个组别都经过竞争环境的选择,此时,Treatment Group和Control Group仍然没有任何显著差异。当Treatment Group竞争胜出, 广告将会成功曝光出去;当Control Group赢得曝光机会时,系统会通过内部替换曝光的技术方式,确保他们不会看到广告;基于此原理,确保了Treatment Group和Control Group的唯一差别为“是否看过本次在腾讯投放的广告”。
    • 投放后:对比Treatment Group和Control Group的转化率,计算提升值。

    通过以上严谨的控制操作,Uplift广告增效衡量实现了曝光对转化真实增效的科学衡量,做到了曝光与转化之间因果关系的探寻。

    在这里插入图片描述

    11.2 使用场景

    Uplift衡量致力通过以下投放场景解决三大类问题:
    在这里插入图片描述

    展开全文
  • 全通系统定义、零极点关系、应用

    千次阅读 2019-11-11 21:46:26
    将任意因果稳定系统转化为,全通系统和最小相位系统 的级联。 应用二: 级联一个全通系统可以使非稳定滤波器变成一个稳定滤波器,把非稳定系统的单位圆外的极点映射到单位圆内。 应用三: 作为相位均衡器,校正系统...

    全通系统定义:
    在这里插入图片描述
    表示方法:
    在这里插入图片描述
    在这里插入图片描述
    应用一:

    将任意因果稳定系统转化为,全通系统和最小相位系统 的级联。
    应用二:

    级联一个全通系统可以使非稳定滤波器变成一个稳定滤波器,把非稳定系统的单位圆外的极点映射到单位圆内。

    应用三:
    作为相位均衡器,校正系统的非线性相位而不改变系统的幅度特性。

    展开全文
  •   零点、极点、稳定因果、最小相位是信号系统中经常听到名词,也许有的同学对这些概念有所了解,但对它们之间的关系却不甚了解,这篇文章我们就来看一下,它们之间到底有什么关系?零点和极点是怎么对系统产生应...

    零点和极点到底影响了什么?什么是最小相位系统?

      零点、极点、稳定、因果、最小相位是信号系统中经常听到名词,也许有的同学对这些概念有所了解,但对它们之间的关系却不甚了解,这篇文章我们就来看一下,它们之间到底有什么关系?零点和极点是怎么对系统产生应影响的?

      下面我们先来看几个信号系统中的基本概念,知道了这几个概念才能继续深入下去。

    1. 信号系统基本概念

    1.1 静态系统和动态系统

      如果一个离散系统在任意时刻n的输出至多依赖于同一时刻的输入样本,而与过去或者将来的输入样本无关,那么该系统就称为静态的,或者无记忆的。对于其他情况,则该系统称为动态的或者有记忆的。

      如果系统在时刻n的输出完全由区间n-N到n内的输入样本确定,那么称该系统具有持续时间为N的记忆。如果N=0,那么系统是静态的。如果0<N<∞,那么称系统是有记忆的。但是,如果N=∞,那么系统称为无限记忆的。

    1.2 时不变系统和时变系统

      如果一个系统的输入-输出特性不随时间变化,那么该系统称为时不变系统。即如果y(n) = F(x(n)),且y(n-k) = F(x(n-k)),那么该系统就叫时不变系统。

    1.3线性系统和非线性系统

      这个理解起来就比较直观了,一个系统是线性的,当且仅当对任意输入序列x1(n)和x2(n),以及任意常数a1和a2,有如下公式:
    F [ a 1 x 1 ( n ) + a 2 x 2 ( n ) ] = a 1 F [ x 1 ( n ) ] + a 2 F [ x 2 ( n ) ] F[a_1 x_1(n) + a_2 x_2(n)] = a_1 F[x_1(n)] + a_2 F[x_2(n)] F[a1x1(n)+a2x2(n)]=a1F[x1(n)]+a2F[x2(n)]

    1.4因果系统和非因果系统

      如果一个系统在任意时刻n的输出仅依赖于当前和过去的输入,而与将来的输入无关,那么这个系统就称为是因果的。即:
    y ( n ) = F [ x ( n ) , x ( n − 1 ) , x ( n − 2 ) , . . . ] y(n) = F[x(n), x(n-1), x(n-2),...] y(n)=F[x(n),x(n1),x(n2),...]
    如果一个系统不满足这个定义,那么就称它为非因果的。这样系统的输出不但依赖于当前和过去的输入,而且还依赖于将来的输入。

      在实际的信号处理应用中,我们无法观察到信号将来的值,因此,非因果系统在物理上是不可实现的。但如果是脱机处理,就有可能实现非因果系统,这是因为信号的所有值在处理过程中都是可用的,这在图像处理和离线的雷达信号处理中都很常见。

      对于因果线性时不变系统,单位采样响应h(n)必须满足:
    h ( n ) = 0 , n < 0 h(n) = 0, n<0 h(n)=0,n<0

    1.5稳定系统和不稳定系统

      稳定是系统的一个重要属性,在实际应用中必须要考虑。不稳定的系统常常显示出不规律的、极端的特性,并且在实际执行时会产生溢出。因此定义一个任意的弛豫系统称为有界输入-有界输出稳定,当且仅当每个有界输入产生有界的输出。

      对于线性时不变系统,其稳定的充分必要条件是:
    ∑ n = − ∞ ∞ ∣ h ( n ) ∣ < ∞ \sum_{n=-\infty}^{\infty} |h(n)| < \infty n=h(n)<

    2 零点和极点

      零点是指使z变换X(z)的值为零的z值,极点是指使X(z)的值为∞的z值。如果X(z)是有理分式,表示为:
    X ( z ) = B ( z ) A ( z ) = b 0 + b 1 z − 1 + ⋯ + b M z − M a 0 + a 1 z − 1 + ⋯ + a N z − N = ∑ k = 0 M b k z − k ∑ k = 0 N a k z − k X(z)=\frac{B(z)}{A(z)}=\frac{b_{0}+b_{1} z^{-1}+\cdots+b_{M} z^{-M}}{a_{0}+a_{1} z^{-1}+\cdots+a_{N} z^{-N}}=\frac{\sum_{k=0}^{M} b_{k} z^{-k}}{\sum_{k=0}^{N} a_{k} z^{-k}} X(z)=A(z)B(z)=a0+a1z1++aNzNb0+b1z1++bMzM=k=0Nakzkk=0Mbkzk
    如果a0≠0,b0≠0,那么可以将分式写成如下形式:
    X ( z ) = B ( z ) A ( z ) = b 0 a 0 z − M + N ( z − z 1 ) ( z − z 2 ) ⋯ ( z − z M ) ( z − p 1 ) ( z − p 2 ) ⋯ ( z − p N ) X ( z ) = G z N − M ∏ k = 1 M ( z − z k ) N ( z − p k ) \begin{array}{l} X(z)=\frac{B(z)}{A(z)}=\frac{b_{0}}{a_{0}} z^{-M+N} \frac{\left(z-z_{1}\right)\left(z-z_{2}\right) \cdots\left(z-z_{M}\right)}{\left(z-p_{1}\right)\left(z-p_{2}\right) \cdots\left(z-p_{N}\right)} \\ X(z)=G z^{N-M} \frac{\prod_{k=1}^{M}\left(z-z_{k}\right)}{N}\left(z-p_{k}\right) \end{array} X(z)=A(z)B(z)=a0b0zM+N(zp1)(zp2)(zpN)(zz1)(zz2)(zzM)X(z)=GzNMNk=1M(zzk)(zpk)

    因此,X(z)在z=z1,z2,…,zM处有M个有限零点;在z=p1,p2,…,pN处有N个有限极点;在原点z=0处有|N-M|个零点(N>M)或极点(N<M)

    2.1 收敛域和因果系统的关系

      z变换大家肯定都知道,但也许有些同学会忘记,在z变换的定义中,除了表达式外,还要指定收敛域。z变换的定义为:
    X ( z ) = ∑ n = − ∞ ∞ x ( n ) z − n X(z) = \sum_{n=-\infty}^{\infty} x(n) z^{-n} X(z)=n=x(n)zn
    收敛域是使X(z)的值为有限的所有z值的集合,所以收敛域肯定不包含极点,是极点之外的地方。

    这里有一个重要结论:因果信号的收敛域是某个半径r的圆的外部;非因果信号的收敛域是某个半径r的内部。

    下面举两个例子来说明该结论,首先来看因果信号:
    x ( n ) = α n u ( n ) = { α n , n ⩾ 0 0 , n < 0 x(n)=\alpha^{n} u(n)=\left\{\begin{array}{ll} \alpha^{n}, & n \geqslant 0 \\ 0, & n<0 \end{array}\right. x(n)=αnu(n)={αn,0,n0n<0
    该信号的z变换为:
    X ( z ) = ∑ n = 0 ∞ α n z − n = ∑ n = 0 ∞ ( α z − 1 ) n X(z)=\sum_{n=0}^{\infty} \alpha^{n} z^{-n}=\sum_{n=0}^{\infty}\left(\alpha z^{-1}\right)^{n} X(z)=n=0αnzn=n=0(αz1)n
    如果 ∣ α z − 1 ∣ < 1 |\alpha z^{-1}|<1 αz1<1或者等价的 ∣ z ∣ > ∣ α ∣ |z|>|\alpha| z>α,那么这个幂级数收敛于 1 / ( 1 − α z − 1 ) 1/(1-\alpha z^{-1}) 1/(1αz1),从而得到:
    x ( n ) = α n u ( n ) ⟷ z X ( z ) = 1 1 − α z − 1 ,  收收敛域:  ∣ z ∣ > ∣ α ∣ x(n)=\alpha^{n} u(n) \stackrel{z}{\longleftrightarrow} X(z)=\frac{1}{1-\alpha z^{-1}}, \quad \text { 收收敛域: }|z|>|\alpha| x(n)=αnu(n)zX(z)=1αz11, 收收敛域z>α
    这里极点就是 z = ∣ α ∣ z=|\alpha| z=α,收敛域为半径为 ∣ α ∣ |\alpha| α的圆的外部,下图(a)表示信号x(n)的时域波形,(b)表示其收敛域。

    image-20210127134519193

      对于非因果信号
    x ( n ) = − α n u ( − n − 1 ) = { 0 , n ⩾ 0 − α n , n ⩽ − 1 x(n)=-\alpha^{n} u(-n-1)=\left\{\begin{array}{ll} 0, & n \geqslant 0 \\ -\alpha^{n}, & n \leqslant-1 \end{array}\right. x(n)=αnu(n1)={0,αn,n0n1

    其z变换为:
    x ( n ) = − α n u ( − n − 1 ) ⟷ z X ( z ) = − 1 1 − α z − 1 ,  收敘域:  ∣ z ∣ < ∣ α ∣ x(n)=-\alpha^{n} u(-n-1) \stackrel{z}{\longleftrightarrow} X(z)=-\frac{1}{1-\alpha z^{-1}}, \quad \text { 收敘域: }|z|<|\alpha| x(n)=αnu(n1)zX(z)=1αz11, 收敘域z<α
    这里极点也是 z = ∣ α ∣ z=|\alpha| z=α,为收敛域是半径为 ∣ α ∣ |\alpha| α的圆的内部。

    image-20210127140257546

    对于双边信号 x ( n ) = α n u ( n ) + b n u ( − n − 1 ) x(n) = \alpha^{n} u(n) + b^{n} u(-n-1) x(n)=αnu(n)+bnu(n1),可以将该信号分为两部分:第一部分是因果信号,第二部门是非因果信号。其z变换要分两种情况讨论:

    • ∣ b ∣ < ∣ α ∣ |b| < | \alpha| b<α时,两个信号的收敛域没有重叠部分,因此此时X(z)不存在,如下图(a)所示
    • ∣ b ∣ > ∣ α ∣ |b| > | \alpha| b>α时,两个信号的收敛域的重叠部分是一个环状区域,此时的收敛域为 ∣ α ∣ < ∣ z ∣ < ∣ b ∣ |\alpha| < |z| < |b| α<z<b,如下图(b)所示

    image-20210127141006324

    2.2 收敛域和稳定系统的关系

      我们前面讲过,线性时不变系统稳定的充分必要条件就是:
    ∑ n = − ∞ ∞ ∣ h ( n ) ∣ < ∞ \sum_{n=-\infty}^{\infty} |h(n)| < \infty n=h(n)<
    其z变换为
    H ( z ) = ∑ n = − ∞ ∞ h ( n ) z − n H(z) =\sum_{n=-\infty}^{\infty} h(n)z^{-n} H(z)=n=h(n)zn

    那么
    ∣ H ( z ) ∣ ⩽ ∑ n = − ∞ ∞ ∣ h ( n ) z − n ∣ = ∑ n = − ∞ ∞ ∣ h ( n ) ∣ ∣ z − n ∣ |H(z)| \leqslant \sum_{n=-\infty}^{\infty} |h(n)z^{-n}|=\sum_{n=-\infty}^{\infty} |h(n)||z^{-n}| H(z)n=h(n)zn=n=h(n)zn
    当在单位圆上计算时(即|z|=1),得
    ∣ H ( z ) ∣ ⩽ ∑ n = − ∞ ∞ ∣ h ( n ) ∣ |H(z)| \leqslant \sum_{n=-\infty}^{\infty}|h(n)| H(z)n=h(n)
    因此,如果线性是不变系统是稳定的,那么单位圆包含于H(z)的收敛域内。

      由上一节可知,因果系统的收敛域是在某个半径为r的圆外面,因此对于线性时不变因果稳定系统,其收敛域为
    r < ∣ z ∣ < 1 r < |z| < 1 r<z<1
    又由于收敛域中不包含极点,因此线性时不变因果稳定系统的极点都在单位圆内。这里再补充一点,单位圆上的z变换就是傅里叶变换

      我们还是以上一节中的 x ( n ) = a n u ( n ) x(n)=a^{n}u(n) x(n)=anu(n)为例,我们知道,它的收敛域是 ∣ z ∣ > ∣ a ∣ |z|>|a| z>a,在 p 1 = a p_1=a p1=a处有一个单极点。下图说明了与单位圆相关的极点位置的信号行为特性。

    • 如果极点位于单位圆内,则信号是衰减的;
    • 如果极点位于单位圆上,则先后是恒定的;
    • 如果极点位于单位圆外,则信号是增长的;

    image-20210127084722941

    但如果是一个多重极点,则情况会有所不同。我们以一个双重极点的信号为例
    x ( n ) = n a n u ( n ) x(n) = na^{n}u(n) x(n)=nanu(n)
    其z变换为
    X ( z ) = a z − 1 ( 1 − a z − 1 ) 2 X(z) = \frac{az^{-1} }{(1-az^{-1})^{2}} X(z)=(1az1)2az1
    此时,位于单位圆上的实的双重极点,其结果是无界的信号,因此,如果单位圆上有多重极点,我们就需要非常小心。

    image-20210127172925683

    2.3 零极点和频率响应的关系

      说到零极点和频率响应的关系,就必须提一下z变换的z域和拉普拉斯变换的s域的关系,因为看频响的话,都是转换到s域来看。s平面的左半平面映射到z平面的单位圆内;s平面的右半平面映射到单位圆外部;s平面的jw轴映射到z平面的单位圆。因此,线性时不变因果稳定的系统,其极点都在s平面的左半平面

      当系统稳定时,有
    H ( ω ) = H ( s ) ∣ s = j ω = K ∏ r = 1 m ( j ω − z r ) ∏ k = 1 n ( j ω − p k ) H(\omega)=\left.H(s)\right|_{s=j \omega}=K \frac{\prod_{r=1}^{m}\left(j \omega-z_{r}\right)}{\prod_{k=1}^{n}\left(j \omega-p_{k}\right)} H(ω)=H(s)s=jω=Kk=1n(jωpk)r=1m(jωzr)
    其中, z r z_r zr为系统的零点, p k p_k pk为系统的极点。

    那么系统的幅频特性为
    ∣ H ( ω ) ∣ = ∣ K ∣ ∏ r = 1 m ∣ j ω − z r ∣ ∏ k = 1 n ∣ j ω − p k ∣ |H(\omega)|=|K| \frac{\prod_{r=1}^{m}\left|j \omega-z_{r}\right|}{\prod_{k=1}^{n}\left|j \omega-p_{k}\right|} H(ω)=Kk=1njωpkr=1mjωzr
    相频特性为
    φ ( ω ) = ∑ r = 1 m arg ⁡ ( j ω − z r ) − ∑ k = 1 n arg ⁡ ( j ω − p k ) \varphi(\omega)=\sum_{r=1}^{m} \arg \left(j \omega-z_{r}\right)-\sum_{k=1}^{n} \arg \left(j \omega-p_{k}\right) φ(ω)=r=1marg(jωzr)k=1narg(jωpk)
    定义零点矢量为从零点指向 j w jw jw的有向线段: N = j w − z r = N r e j a r N=jw-z_r = N_r e^{ja_r} N=jwzr=Nrejar

    定义极点矢量为从极点指向 j w jw jw的有向线段: M = j w − p k = M k e j β k M = jw - p_k = M_k e^{j\beta_k} M=jwpk=Mkejβk

    那么,有
    H ( ω ) = K ∏ r = 1 m ( j ω − z r ) ∏ k = 1 n ( j ω − p k ) = K ∏ r = 1 m N r e j α r ∏ k = 1 n M k e j β k H(\omega)=K \frac{\prod_{r=1}^{m}\left(j \omega-z_{r}\right)}{\prod_{k=1}^{n}\left(j \omega-p_{k}\right)}=K \frac{\prod_{r=1}^{m} N_{r} e^{j \alpha_{r}}}{\prod_{k=1}^{n} M_{k} e^{j \beta_{k}}} H(ω)=Kk=1n(jωpk)r=1m(jωzr)=Kk=1nMkejβkr=1mNrejαr
    所以系统的幅频特性为
    ∣ H ( ω ) ∣ = ∣ K ∣ ∏ r = 1 m N r ∏ k = 1 n M k |H(\omega)|=|K| \frac{\prod_{r=1}^{m} N_{r}}{\prod_{k=1}^{n} M_{k}} H(ω)=Kk=1nMkr=1mNr
    相频特性为
    φ ( w ) = ∑ r = 1 m a r − ∑ k = 1 n β k \varphi (w) = \sum_{r=1}^{m}a_r - \sum_{k=1}^{n} \beta_k φ(w)=r=1mark=1nβk
    也就说,**系统的幅频特性就是系统的零点矢量模的乘积与极点矢量模的乘积之比,相频特性是零点矢量相角的和与极点矢量相角的和之差。**随着频率w从0到∞增大,零点矢量和极点矢量均在变化。

    image-20210128091721549

    下面举一个例子,已知系统函数为
    H ( s ) = s ( s + a 1 ) ( s + a 2 ) H(s) = \frac{s}{(s+a_1)(s+a_2)} H(s)=(s+a1)(s+a2)s
    我们来根据它的零极点,粗略的画一下幅频特性和相频特性。

      由表达式可知,系统零点在 s = 0 s=0 s=0处,极点在 s = − a 1 s=-a_1 s=a1 s = − a 2 s=-a_2 s=a2处。

    image-20210128092414254

    零点矢量的相角一直为 ψ 1 = 9 0 o \psi_1 =90^{o} ψ1=90o,模值为 N 1 = ∣ w ∣ N_1=|w| N1=w;模值从0增大到无穷大。

    极点矢量的相角 θ 1 \theta_1 θ1 θ 2 \theta_2 θ2随着w的增加而增大,当w从0增大到∞时,这两个相角从0增大到90°;模值分别从 ∣ a 1 ∣ |a_1| a1 ∣ a 2 ∣ |a_2| a2增大到无穷大。

    因此,可以得出下面的表格。

    image-20210128093055351

    在w为0和∞时,幅频特性都为0,在中间的某一个点处,幅频特性会达到峰值;而相角差则从开始的90°一直减到-90°。因此幅频特性和相频特性分别如下:

    image-20210128093326374

    至于为什么在幅频特性达到峰值时,相频特性刚好为0,这也是可以严格证明的。我们这里就不再证明了,因为我们只是为了粗略画出这两个特性。

      对于零极点和频响的关系,有如下几个特性:

    • 若在原点 j w = 0 jw=0 jw=0处有零点,则 ∣ H ( 0 ) = 0 ∣ |H(0)=0| H(0)=0,否则 ∣ H ( w ) ∣ |H(w)| H(w)从某一非0数值开始;
    • 若系统函数的某一个极点(假设 p 1 = − a + j β p_1=-a+j\beta p1=a+jβ)十分靠近虚轴(若换成z平面,则是如果某一极点十分靠近单位圆),也就是说 a a a的值非常小,则当 w w w在该极点虚部附近处,幅频响应有一峰值,相频响应急剧减小;
    image-20210128133126449
    • 如果系统函数有一零点(假设 z 1 = − a + j β z_1=-a+j\beta z1=a+jβ)十分靠近虚轴(若换成z平面,则是如果某一零点十分靠近单位圆),则当 w w w在该零点虚部附近处,幅频响应有一谷值,相频响应急剧增大;
    • j w = ∞ jw=\infty jw=处的大小主要看零点极点的个数,如果零点比极点多,则 ∣ H ( w ) ∣ → ∞ |H(w)|\rightarrow \infty H(w);若极点比零点多,则 ∣ H ( w ) ∣ → 0 |H(w)|\rightarrow 0 H(w)0;若零点和极点一样多,则 ∣ H ( ∞ ) ∣ |H(\infty)| H()为某一有限值。

    3 最小相位系统

      对于FIR系统(没有极点),如果系统函数的所有零点都位于单位圆内,则称该系统为最小相位系统;如果系统函数的所有零点都位于单位圆外,则称该系统为最大相位系统;如果一部分零点位于单位圆内,一部分零点位于单位圆外,则称该系统为混合相位系统或非最小相位系统。

      对于IIR系统(存在极点),如果系统函数的所有零点和极点都在单位圆内,则称该系统为最小相位系统。

    3.1 为什么叫最小相位系统

    因此其相频特性 φ ( w ) \varphi (w) φ(w) w = 0 w=0 w=0 w = π w=\pi w=π之间经历的净相位变化为零;就像下图(a)所示;而下图(b)中,在 w = 0 w=0 w=0 w = π w=\pi w=π之间的净相位变化是 π \pi π,因此称为最大相位系统。

    image-20210128135310254

    3.2 最小相位系统有特点

      最小相位系统的特性很多,主要的特性为:

    • 最小相位系统是因果且稳定的;
    • 其逆系统也是因果且稳定的;
    • 在所有具有相同幅频响应的零-极点系统中,最小相位系统的群时延最小。

    欢迎关注微信公众号:Quant_Times

    在这里插入图片描述

    展开全文
  • 近年来,因果推断逐渐成为了机器学习中的热点话题。增益模型(Uplift Model)作为工业界因果推断与机器学习结合最成熟的算法之一,在智能营销中有着广泛的应用。但是目前大多数增益模型仅讨论了二元处理变量情况下的...
  • 最小相位系统与全通系统

    千次阅读 2018-07-17 17:49:16
    或者说,一个系统函数为H(Z)的系统,如果本身和其逆系统均为因果稳定系统,那么H(Z)即为最小相位系统。判断方法也很简单:如果一个H(Z)的分母的解都小于1,这样的系统就是最小相位系统。另外提一句,所有的零点都在...
  • 文章目录1 一些因果推断涉及概念1.1 内生性问题1.1.1 内生性解释1.1.2 内生性问题有四种常见形式1.1.3 内生性的解决方案1.自然实验法2.双重差分法Difference-in-Difference (DID)3.工具变量法4. 动态面板回归法1.3...
  • 作者|魔王、杜伟来源|机器之心在近日发表的一篇论文中,图灵奖得主 Yoshua Bengio 等详细介绍了其团队当前的研究重心:将机器学习与因果推理相结合的因果表示学习。研究者不仅全面回...
  • 亚里士多德用其典型的系统性的语言,建构了一个完整的因果关系分类,其中包括“质料因”“形式因”“动力因”“目的因”。例如,雕像形状的质料因是铸成它的青铜及其性质,我们无法用橡皮泥做出同样的雕像。然而,...
  • Establishing Causality: Opportunities of Synthetic Communities for Plant Microbiome Research 建立因果关系:合成菌群在植物菌群研究中的机会 Cell Host and Microbe [IF:17.872] 2017-08-09 Perspective DOI:...
  • 学过人类照片和鱼类照片的 AI,第一次见到美人鱼的照片会作何反应?人脸和鱼身它都很熟悉,但它无法想象一个从没见过的事物。近期,阿里巴巴达摩院将因果推理方法引入计算机视觉领域,尝试克服机器学...
  • 1. 为什么会提出因果关系计算法 在文章的开始,我们来讨论一个话题:哪些药一起服用会产生不良反应? 针对这个问题,传统的观察法和分析法做法可能如下: 用随机试验来测试药品,但是这种方法并不能给我们提供...
  • 来源:混沌巡洋舰1. 为何关注因果关系在现代科学之前,不管东西方,都是从经验出发,通过归纳获得知识,然而这样的知识,受限于观测,无法产生突破性的成果,在这样的模式下,再探索一万年,也无法...
  • 1.3 过参数化模型和正则化 自 20 世纪 70 年代以来,统计学受个方面的影响,发生了一个重大的变化,即用一些正则化过程得到稳定的估计和良好的预测结果,从而拟合具有大量参数(有时参数比数据点更多)的模型。...
  • 来源:机器之心 本文约5000字,建议阅读10分钟近期,阿里巴巴达摩院将因果推理方法引入计算机视觉领域,尝试克服机器学习方法的缺陷。 [ 导读]学过人类照片和鱼类照片的 AI,第一次见...
  • 前沿 文章目录前沿开源地址[算法学习资料: AI_Tutorial](https://github.com/cbamls/AI_Tutorial)开源相关LuceneSolrElasticLucidWorks中文...算法学习资料: AI_Tutorial 人工智能、AI架构、搜索系统、推荐系统...
  • 希望靠系统自身能力,支撑起同时需要高吞吐率的顺序和随机读写的应用场景(可能的场景,比如时间序列数据分析,日志数据实时监控分析),提供一个介于HDFS和HBase的性能特点之间的一个系统,在随机读写和批量扫描...
  • 语不惊人死不休(59)因果

    千次阅读 2011-11-18 23:00:11
    尽管你的角色和努力,成就了目前的佳境,但佳境之后的稳定或更上一层楼的尝试过程中,你不一定是最佳人选。把被成功放大的自信心先放到 一边,冷静地想一想接下来自己会不会还是主角,如果是,请带着从零开始的心态...
  • 软件开发模型和优缺点

    万次阅读 2018-04-05 16:30:27
    优点: 生命周期短 整合“边做边改”与“瀑布模型”优点 减少软件需求不明确带来的开发风险 适用于小型、交互型的系统,大型系统的某些部分 缺点: 所选用的开发技术和工具不一定符合主流的发展;快速建立起来的...
  • 搞懂分布式技术1:分布式系统的一些基本概念

    千次阅读 多人点赞 2018-06-19 21:30:29
    本文较为粗略地讲述了CAP与BASE理论,以及分布式系统需要解决的一些问题,更加系统的理论可以参考后面的分布式系统理论专题文章。更加详细的实践内容也可以参考本专题的剩余文章 1、分布式 小明的公司又3个...
  • 在线视频,尤其是长视频领域具备长时间、连续型消费 ( 追剧、追网红 ) 等特点,对比传统的图文推荐系统、电商推荐系统和广告系统,用户的消费行为可以在连续的时间上进行切分,状态表示法是对向量表示法的有力补充...
  • ERP系统特点是:1.使组织的主要业务流程集成化和自动化;2.在整个企业组织内共享数据和业务活动结果;3.在实时环境下产生和获取数据。为了适应市场竞争环境的剧烈变化,越来越多的企业采用ERP系统将主要业务流程...
  • 由于在自然中,绝大多数都是非线性的复杂系统,因此,系统中的单向因果关系往往也是非线性的,尽管如此,梁教授已经证明,即使因果关系是高度非线性的,使用上述线性假设推导出的公式也可以很好的判断因果关系。...
  • 系统分析师之路】第三章 数据库系统 本章的重点有:数据库设计,ER模型,完整性约束,触发器,候选关键字,模式分解,分布式数据库,SQL语句,关系代数,数据仓库,范式,事务处理 数据库系统的各种概念 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,969
精华内容 2,387
关键字:

因果稳定系统的特点