精华内容
下载资源
问答
  • Bias(偏差),Error(误差),和Variance(方差)的区别 1)、概念: bias :度量了某种学习算法的平均估计结果所能逼近学习目标的程度;(一个高的偏差意味着一个坏的匹配)  variance :则度量了在面对同样规模...

    转自:http://blog.csdn.net/qq_16365849/article/details/50635700

    Bias(偏差),Error(误差),和Variance(方差)的区别

    1)、概念:

    bias :度量了某种学习算法的平均估计结果所能逼近学习目标的程度;(一个高的偏差意味着一个坏的匹配) 
    variance :则度量了在面对同样规模的不同训练集时分散程度。(一个高的方差意味着一个弱的匹配,数据比较分散) 
    这里写图片描述 
    靶心为某个能完美预测的模型,离靶心越远,则准确率随之降低。靶上的点代表某次对某个数据集上学习某个模型。纵向上,高低的bias:高的Bias表示离目标较远,低bias表示离靶心越近;横向上,高低的variance,高的variance表示多次的“学习过程”越分散,反之越集中。 
    所以bias表示预测值的均值与实际值的差值;而variance表示预测结果作为一个随机变量时的方差。

    2)、bias与Variance的区别:

    首先 Error = Bias + Variance 
    Error反映的是整个模型的准确度,Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,Variance反映的是模型每一次输出结果与模型输出期望(平均值)之间的误差,即模型的稳定性,数据是否集中。 
    方差是多个模型间的比较,而非对一个模型而言的;偏差可以是单个数据集中的,也可以是多个数据集中的。

    3)、解决bias和Variance问题的方法:

    ①在训练数据上面,我们可以进行交叉验证(Cross-Validation)。 
    一种方法叫做K-fold Cross Validation (K折交叉验证), K折交叉验证,初始采样分割成K个子样本,一个单独的子样本被保留作为验证模型的数据,其他K-1个样本用来训练。交叉验证重复K次,每个子样本验证一次,平均K次的结果或者使用其它结合方式,最终得到一个单一估测。 
    当K值大的时候,我们会有更少的Bias(偏差), 更多的Variance。 
    当K值小的时候,我们会有更多的Bias(偏差), 更少的Variance。 
    cross-validation很大一个好处是避免对test dataset的二次overfitting。k-fold一般取k=5/10比较常见,当然也可以根据你的需要(看样本量怎么可以整除啦之类的),也要看电脑和软件的运算能力。 
    ②Boosting通过样本变权全部参与,故Boosting 主要是降低 bias(同时也有降低 variance 的作用,但以降低 bias为主);而 Bagging 通过样本随机抽样部分参与(单个学习器训练),故bagging主要是降低 variance。 
    ③High bias解决方案: 
    1)与领域专家交流来获取更多信息,据此增加更多熟人特征 
    2)以非线性方式对现有特征进行组合 
    3)使用更复杂模型,比如神经网络中的层等 
    High Variance: 
    如果问题是由于我们过度高估模型复杂度而导致的high Variance,那么可以把一些影响小的特征去掉来降低模型复杂度。此时也无需收集更多数据。

    展开全文
  • 总第457篇2021年 第027篇美团到店广告平台算法团队基于多年来在广告领域上积累的经验,一直在数据偏差等业界挑战性问题不断进行深入优化与算法创新。在之前分享的《KDD Cup 2020...

     

    美团到店广告平台算法团队基于多年来在广告领域上积累的经验,一直在数据偏差等业界挑战性问题不断进行深入优化与算法创新。在之前分享的《KDD Cup 2020 Debiasing比赛冠军技术方案与广告业务应用》一文[4]中,团队分享了在KDD Cup比赛中取得冠军的选择性偏差以及流行度偏差的解决方案,同时也分享了在广告业务上偏差优化的技术框架。

    本文基于这一技术框架进行继续介绍,聚焦于位置偏差问题的最新进展,并详细地介绍团队在美团广告取得显著业务效果的位置偏差CTR模型优化方案,以该方案为基础形成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国际顶级会议SIGIR 2021录用。

    近些年来,由于人工智能技术的高速发展,所带来的公平性问题也愈发受到关注。同样的,广告技术也存在着许多公平性问题,由于公平性问题造成的偏差对广告系统的生态会产生较大的负面影响。图1所示的是广告系统中的反馈环路[1],广告系统通过累积的用户交互反馈数据基于一定的假设去训练模型,模型对广告进行预估排序展示给用户,用户基于可看到的广告进行交互进而累积到数据中。在该环路中,位置偏差、流行度偏差等各种不同类型的偏差会在各环节中不断累积,最终导致广告系统的生态不断恶化,形成“强者愈强、弱者愈弱”的马太效应。

    图1 广告系统中的反馈环路,各种偏差被不断循环累积

    由于偏差对广告系统和推荐系统的生态有着极大的影响,针对消除偏差的研究工作也在不断增加。比如国际信息检索会议SIGIR在2018年和2020年组织了一些关注于消除偏差主题的专门会议,同时也给一些基于偏差和公平性的论文颁发了最佳论文奖(Best Paper)[2,3]。KDD Cup 2020的其中一个赛道也基于电子商务推荐中的流行度偏差进行开展[1]。

    1. 背景

    美团到店广告平台广告算法团队基于美团和点评双侧的广告业务场景,不断进行广告前沿技术的深入优化与算法创新。在大多数广告业务场景下,广告系统被分为四个模块,分别是触发策略、创意优选、质量预估以及机制设计,这些模块构成一个广告投放漏斗从海量广告中过滤以及精选出优质广告投放给目标用户。其中,触发策略从海量广告中挑选出满足用户意图的候选广告集合,创意优选负责候选广告的图片和文本生成,质量预估结合创意优选的结果对每一个候选广告进行质量预估,包括点击率(CTR)预估、转化率(CVR)预估等,机制排序结合广告质量以及广告出价进行优化排序。在本文中,我们也将广告称之为item。

    CTR预估,作为质量预估的一个环节,是计算广告中最核心的算法之一。在每次点击付费(CPC)计费模式下,机制设计可以简单地按每千次展示收入(eCPM)来对广告进行排序以取得广告收入最大化。由于eCPM正比于CTR和广告出价(bid)的乘积。因此,CTR预估会直接影响到广告的最终收入和用户体验。为了有更高的CTR预估精度,CTR预估从早期的LR[5]、FM[6]、FFM[7]等支持大规模稀疏特征的模型,到XGBoost[8]、LightGBM[9]等树模型的结合,再到Wide&Deep[10]、Deep&Cross[11]、DeepFM[12]、xDeepFM[13]等支持高阶特征交叉的深度学习模型,进一步演化到DIN[14]、DIEN[15]、DSIN[16]等结合用户行为序列的深度学习模型,一直作为工业界以及学术界研究的热点领域之一,被不断探索和不断创新。

    由于CTR预估模型的训练通常采用曝光点击数据,该数据是一种隐式反馈数据,所以会不可避免地产生各种偏差问题。其中,位置偏差因对CTR影响极大而备受关注。如图2所示,随机流量上不同位置的CTR分布反应了用户通常倾向于点击靠前位置的广告,并且CTR会随着曝光位置的增大而迅速下降。因此,直接在曝光点击数据上进行训练,模型不可避免地会偏向于靠前位置的广告集合,造成位置偏差问题。图2显示正常流量相比随机流量CTR分布更加集中在高位置广告上,通过反馈环路,这一问题将不断地放大,并且进一步损害模型的性能。因此,解决好位置偏差问题不仅能够提升广告系统的效果,而且还能平衡广告系统的生态,促进系统的公平性。

    图2 美团广告正常流量和随机流量在不同位置上的CTR分布

    广告最终的真实曝光位置信息在线上预估时是未知的,这无疑进一步增大了位置偏差问题的解决难度。现有的解决位置偏差的方法可以大致分为以下两种:

    • 神经网络位置特征建模:该方法将位置建模为神经网络中的特征,由于在预估过程中并不知道真实位置信息,故而有些方法[17-19]把位置信息放于网络的Wide部分,在线下训练时使用真实位置,在线上预估时使用固定位置,这种方法由于其简单性和有效性,在工业界被广泛应用。为了在线上预估时无需使用位置信息,如图3所示,PAL[20]将样本的CTR建模为ProbSeen乘以pCTR,其中ProbSeen仅使用位置特征建模,而pCTR使用其他信息建模,在线上只使用pCTR作为CTR预估值。

    图3 PAL框架
    • Inverse Propensity Weighting(IPW):该方法被学术界广泛研究[21-29],其在模型训练时给不同曝光位置的样本赋予不同的样本权重,直观地看,应该将具有较低接收反馈倾向的广告样本(曝光位置靠后的广告)分配较高的权重。因此,这种方法的难点就在于不同位置的样本权重如何确定,一个简单的方法是使用广告随机展示的流量来准确地计算位置CTR偏差,但不可避免地损害用户体验。故而,许多方法致力于在有偏的流量上来准确地预估位置偏差。

    上述的方法通常基于一个较强的假设,即点击伯努利变量依赖于两个潜在的伯努利变量E和,如下式所示:

    其中,等式左边指的是用户在上下文中点击第个广告的概率,我们定义上下文为实时的请求信息。等式右边第一项指的是位置被查看的概率,其中通常为上下文的一个子集,大部分方法假设为空集,即位置被查看的概率仅与有关。等式右边第二项指的是相关性概率(例如用户在上下文中对广告的的真实兴趣)。上述方法通常显式或隐式地估计查看概率,然后利用反事实推理(Counterfactual Inference)得出相关性概率,最终在线上将相关性概率作为CTR的预估值。训练和预估之间位置信息的不同处理将不可避免地导致线下线上间的不一致问题,进一步导致次优的模型性能。

    此外,已有方法通常假设查看概率仅依赖于位置及部分上下文信息,其假设过于简单。不同的用户通常具有不同的浏览习惯,有些用户可能倾向于浏览更多item,而有些用户通常能快速做出决定,并且同一个用户在不同的上下文中搜索意图中也会有不同的位置偏好,例如商场等地点词的搜索往往意图不明确导致高低位置的CTR差异并不大。故而,位置偏差与用户,上下文有关,甚至可能与广告本身也有关,建模它们间的关系能更好地解决位置偏差问题。

    不同于上述的方法,本文提出了一个基于深度位置交叉网络(Deep Position-wise Interaction Network)(DPIN)模型的多位置预估方法去有效地直接建模来提高模型性能,其中是第个广告在第个位置的CTR预估值。该模型有效地组合了所有候选广告和位置,以预估每个广告在每个位置的CTR,实现线下线上的一致性,并在在线服务性能限制的情况下支持位置、用户、上下文和广告之间的深度非线性交叉。广告的最终序可以通过最大化来确定,其中为广告的出价,本文在线上机制采用一个位置自顶向下的贪婪算法去得到广告的最终序。本文的贡献如下:

    • 本文在DPIN中使用具有非线性交叉的浅层位置组合模块,该模块可以并行地预估候选广告和位置组合的CTR,达到线下线上的一致性,并大大改善了模型性能。

    • 不同于以往只对候选广告进行用户兴趣建模,本次首次提出对候选位置也进行用户兴趣建模。DPIN应用一个深度位置交叉模块有效地学习位置,用户兴趣和上下文之间的深度非线性交叉表示。

    • 根据对于位置的新处理方式,本文提出了一种新的评估指标PAUC(Position-wise AUC),用于测量模型在解决位置偏差问题上的模型性能。本文在美团广告的真实数据集上进行了充分的实验,验证了DPIN在模型性能和服务性能上都能取得很好的效果。同时本文还在线上部署了A/B Test,验证了DPIN与高度优化的已有基线相比有显著提升。

    2. 深度位置交叉网络(Deep Position-wise Interaction Network)

    本节主要介绍深度位置交叉网络(Deep Position-wise Interaction Network)(DPIN)模型。如图4所示,DPIN模型由三个模块组成,分别是处理个候选广告的基础模块(Base Module),处理个候选位置的深度位置交叉模块(Deep Position-wise Interaction Module)以及组合个广告和个位置的位置组合模块(Position-wise Combination Module),不同模块需预估的样本数量不一样,复杂模块预估的样本数量少,简单模块预估的样本数量多,由此来提高模型性能和保障服务性能。通过这三个模块的组合,DPIN模型有能力在服务性能的限制下预估每个广告在每个位置上的CTR,并学习位置信息和其他信息的深度非线性交叉表示。下文将会详细地介绍这三个模块。

    图4 Deep Position-wise Interaction Network模型结构

    2.1 基础模块(Base Module)

    与大多数深度学习CTR模型[10-16]类似,本文采用Embedding和MLP(多层感知机)的结构作为基础模块。对于一个特定请求请求,基础模块将用户、上下文和个候选广告作为输入,将每个特征通过Embedding进行表示,拼接Embedding表示输入多层MLP,采用ReLU作为激活函数,最终可以得到每个广告在该请求下的表示。第个广告的表示可以通过如下公式得到:

    其中,,分别是当前用户特征集合、当前上下文特征集合以及第个广告的特征集合,是Embedding映射。

    2.2 深度位置交叉模块(Deep Position-wise Interaction Module)

    在大多数业务场景中,基础模块通常已经被高度优化,包含了大量特征甚至用户序列等信息,其目的是捕捉用户在该上下文中对不同广告的兴趣。因此,基础模块的推理时间复杂度通常较大,直接在基础模块中加入位置特征对所有广告在所有位置上进行CTR预估是不可接受的。因此,本文提出了一个与基础模块并行的深度位置交叉模块,不同于针对广告进行兴趣建模的基础模块,该模块针对于位置进行兴趣建模,学习每个位置与上下文及用户兴趣的深度非线性交叉表示。

    在深度位置交叉模块中,我们提取用户在每个位置的行为序列,将其用于各位置上的用户兴趣聚合,这样可以消除整个用户行为序列上的位置偏差。接着,我们采用一层非线性全连接层来学习位置、上下文与用户兴趣非线性交叉表示。最后,为了聚合用户在不同位置上的序列信息来保证信息不被丢失,我们采用了Transformer[30]来使得不同位置上的行为序列表示可以进行交互。

    位置兴趣聚合(Position-wise Interest Aggregation)。 我们令为用户在第个位置的历史行为序列,其中为用户在第个位置上的历史第个行为记录,为点击的item特征集合,为发生该行为时的上下文(包括搜索关键词、请求地理位置、一周中的第几天、一天中的第几个小时等),行为记录的Embedding表示可以通过下式得到:

    其中,分别为和的特征集合,为该行为与当前上下文的时间差。

    第个位置行为序列的聚合表示可以通过注意力机制获取,如以下公式所示:

    其引入当前上下文去计算注意力权重,对于与上下文越相关的行为可以给予越多的权重。

    位置非线性交叉(Position-wise Non-linear Interaction): 我们采用一层非线性全连接层来学习位置、上下文与用户兴趣非线性交叉表示,如下式所示:

    其中,将拼接的向量映射到维度。

    Transformer Block: 如果将直接作为第个位置的非线性交叉表示,那么会丢失用户在其他位置上的行为序列信息。因此,我们采用Transformer去学习不同位置兴趣的交互。令为Transformer的输入,Tranformer的多头自注意力结构可以由以下公式表示:

    其中,是每个头的维度。因为中已经包含位置信息,故而我们不需要Transformer中的位置编码。同样的,我们也沿用Transformer中的前馈网络(Position-wise Feed-forward Network)、残差连接(Residual Connections)以及层标准化(Layer Normalization)。N个Transformer Block会被使用去加深网络。

    最终,深度位置交叉模块会产出每个位置的深度非线性交叉表示,其中第个位置被表示为。

    2.3 位置组合模块(Position-wise Combination Module)

    位置组合模块的目的是去组合个广告和个位置来预估每个广告在每个位置上的CTR,我们采用一层非线性全连接层来学习广告、位置、上下文和用户的非线性表示,第个广告在第个位置上的CTR可以由如下公式得出:

    其中包括了一层非线性连接层和一层输出层,是位置k的embedding表示,是sigmoid函数。

    整个模型可以使用真实位置通过批量梯度下降法进行训练学习,我们采用交叉熵作为我们的损失函数。

    3. 实验

    在本节中,我们评估DPIN的模型性能和服务性能,我们将详细描述实验设置和实验结果。

    3.1 实验设置

    数据集: 我们使用美团搜索关键词广告数据集训练和评估我们的CTR模型。训练数据量达到数亿,测试数据量大约一千万。测试集被划分为两个部分,一部分是线上收集的常规流量日志,另一部分是线上Top-k随机的探索流量日志。Top-k随机的探索流量日志是更适合用来评估位置偏差问题,因为它大大削弱了相关性推荐对位置偏差的影响。

    评估指标: 我们使用AUC(Area Under ROC)作为我们的评估指标之一。为了更好的针对位置偏差问题进行评估,我们提出PAUC (Position-wise AUC)作为我们的另一个评估指标,其由以下公式计算:

    其中,是第个位置的曝光数量,是第个位置曝光数据的AUC。PAUC指标衡量每个位置上相关性排序的质量,忽略了位置偏差对排序质量的影响。

    对比的方法。 为了公平且充分地对比不同模型的效果,我们所有实验中所使用的模型输入使用等量且深度结合美团业务的特征,不同模型中的相同模块都使用一致的参数,并且对比的基线DIN[14]模型经过高度优化,以下为我们具体进行对比的实验:

    • DIN: 该模型训练和预估时都没有使用位置信息。

    • DIN+PosInWide:  这个方法在网络的Wide部分建模位置特征,在评估时采用第一个位置作为位置特征的默认值去评估。

    • DIN+PAL:  这个方法采用PAL框架去建模位置信息。

    • DIN+ActualPosInWide:  这个方法在网络的Wide部分建模位置特征,在评估时采用真实位置特征去评估。

    • DIN+Combination:  这个方法在DIN的基础上添加了位置组合模块,评估时采用真实位置特征去评估。

    • DPIN-Transformer:  这个方法在我们提出的DPIN模型上去除了Transformer结构,来验证Transformer的作用。

    • DPIN: 这是我们提出的DPIN模型。

    • DPIN+ItemAction: 我们在DPIN的基础模块MLP层前添加深度位置交叉模块,并在位置兴趣聚合和位置非线性交叉中引入候选广告的信息,这个实验是我们方法模型性能的理论上界,然而服务性能是不可接受的。

    3.2 离线评估

    表1 在常规流量和随机流量上的离线实验评估对比结果

    表1展示了我们所进行的对比方法在常规流量和随机流量上的离线实验评估结果,其中的数值为各个模型相对于DIN模型的效果差异,我们首先分析在常规流量上不同方法的差异。与DIN相比,DIN+PosInWide和DIN+PAL的模型在AUC指标上有所下降,但在PAUC上有所提升,这表明了这两种方法都可以有效地缓解位置偏差,但会导致离线和在线之间的不一致。

    DIN+AcutalPosInWide通过在评估过程中引入实际位置来解决不一致问题,这可以通过位置组合模块来实现,但是在wide部分建模位置会导致位置特征只是一个偏差,不能提升PAUC指标,虽然能更准确地预估各位置上的CTR,但没有对数据中固有的位置偏差进行更好的学习。

    DIN+Combination通过在DIN中引入位置组合模块,我们取得了1.52%的AUC增益和0.82%的PAUC增益,达到线下线上一致性的同时也进一步地缓解了位置偏差,这个结果说明了位置偏差与上下文、用户等信息不独立,在不同的用户及上下文中会有不同的位置偏差。更进一步的,DPIN建模位置、上下文、用户的深度非线性交叉关系,也消除了用户行为序列中存在的位置偏差,对比DIN+Combination取得了0.24%的AUC增益以及0.44%的PAUC增益。

    DPIN-Transformer的效果说明了丢失其他位置的用户兴趣会影响模型的性能,因为这将损失大部分用户兴趣信息。对比DPIN和DPIN+ItemAction,我们发现DPIN的模型性能接近于这个暴力方法,说明DPIN模型逼近了我们方法的理论上界。最终,相较于我们的线上基线模型DIN+PosInWide,DPIN取得了2.98%的AUC增益和1.07%的PAUC增益,这在我们的业务场景中是一次极大的AUC和PAUC提升。

    为了确保我们的方法能够学习位置偏差而不是单纯地过度拟合系统的选择性偏差,我们进一步在随机流量上评估我们的方法。表1的结果表明了在常规流量和随机流量上不同方法之间的差异是一致的,这说明了就算系统的推荐结果有了巨大的差异,该模型仍能有效地学习到在不同用户及上下文中的位置偏差,模型学到的位置偏差受系统推荐列表的影响很小,这也说明我们的模型可以不受系统选择性偏差的影响从而泛化到其他推荐方法的流量上。

    3.3 服务性能

    图5 不同的方法下服务延迟随着不同候选广告数量的变化图

    我们从数据集中检索出一些具有不同候选广告数量的请求,以评估不同候选广告数量下的服务性能。如图5所示,由于用户序列操作的延迟在服务延迟中占了很大比例,因此与DIN模型相比,位置组合模块服务延迟可以忽略不计。DPIN的服务延迟随着广告数量的增加而缓慢增加,这是因为相比较于DIN,DPIN将用户序列从基础模块移动到深度位置交叉模块,而深度位置交叉模块的服务性能与广告数量无关。与DIPIN+ItemAction方法相比,DPIN在服务性能方面有了很大的改进,对模型性能的损害很小,这表明我们提出的方法既高效又有效。

    3.4 在线评估

    我们在线上部署了A/B测试,有稳定的结果表明,与基线相比,DPIN在CTR上提高了2.25%,在RPM(每千次展示收入)上提高了2.15%。如今,DPIN已在线部署并服务于主要流量,为业务收入的显着增长做出了贡献。

    4. 总结与展望

    在本文中,我们提出了一种新颖的深度位置交叉网络模型(Deep Position-wise Interaction Network)以缓解位置偏差问题,该模型有效地组合了所有候选广告和位置以估算每个广告在每个位置的点击率,实现了离线和在线之间的一致性。该模型设计了位置、上下文和用户之间的深层非线性交叉,可以学习到不同用户、不同上下文中的位置偏差。为了评估位置偏向问题,我们提出了一种新的评估指标PAUC,离线实验表明,所提出的DPIN的效果和效率均优于已有方法。目前,DPIN已部署到美团搜索关键词广告系统并服务于主要流量。

    值得一提的是,我们的并行组合思想不仅可以用在广告和位置的组合上,也可以用在广告和创意的组合等广告领域常见的组合排序问题。在未来,我们将在这些问题上继续实践我们的方法,并进一步地设计更完善的网络结构来解决类似的组合排序问题。我们也将在偏差领域上进行更多的探索,解决更多的问题,进一步维护广告系统的生态平衡。

    5. 参考文献

    [1] Chen, Jiawei, et al. "Bias and Debias in Recommender System: A Survey and Future Directions." arXiv preprint arXiv:2010.03240 (2020).

    [2] Cañamares, Rocío, and Pablo Castells. "Should I follow the crowd? A probabilistic analysis of the effectiveness of popularity in recommender systems." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

    [3] Morik, Marco, et al. "Controlling fairness and bias in dynamic learning-to-rank." Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020.

    [4] 《KDD Cup 2020 Debiasing比赛冠军技术方案及在美团的实践》

    [5] Richardson, Matthew, Ewa Dominowska, and Robert Ragno. "Predicting clicks: estimating the click-through rate for new ads." Proceedings of the 16th international conference on World Wide Web. 2007.

    [6] Rendle, Steffen. "Factorization machines." 2010 IEEE International Conference on Data Mining. IEEE, 2010.

    [7] Juan, Yuchin, et al. "Field-aware factorization machines for CTR prediction." Proceedings of the 10th ACM conference on recommender systems. 2016.

    [8] Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system." Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016.

    [9] Ke, Guolin, et al. "Lightgbm: A highly efficient gradient boosting decision tree." Advances in neural information processing systems 30 (2017): 3146-3154.

    [10] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

    [11] Wang, Ruoxi, et al. "Deep & cross network for ad click predictions." Proceedings of the ADKDD'17. 2017. 1-7.

    [12] Guo, Huifeng, et al. "DeepFM: a factorization-machine based neural network for CTR prediction." arXiv preprint arXiv:1703.04247 (2017).

    [13] Lian, Jianxun, et al. "xdeepfm: Combining explicit and implicit feature interactions for recommender systems." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

    [14] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

    [15] Zhou, Guorui, et al. "Deep interest evolution network for click-through rate prediction." Proceedings of the AAAI conference on artificial intelligence. Vol. 33. No. 01. 2019.

    [16] Feng, Yufei, et al. "Deep session interest network for click-through rate prediction." arXiv preprint arXiv:1905.06482 (2019).

    [17] Ling, Xiaoliang, et al. "Model ensemble for click prediction in bing search ads." Proceedings of the 26th International Conference on World Wide Web Companion. 2017.

    [18] Zhao, Zhe, et al. "Recommending what video to watch next: a multitask ranking system." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

    [19] Haldar, Malay, et al. "Improving Deep Learning For Airbnb Search." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.

    [20] Guo, Huifeng, et al. "PAL: a position-bias aware learning framework for CTR prediction in live recommender systems." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

    [21] Wang, Xuanhui, et al. "Learning to rank with selection bias in personal search." Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016.

    [22] Joachims, Thorsten, Adith Swaminathan, and Tobias Schnabel. "Unbiased learning-to-rank with biased feedback." Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017.

    [23] Ai, Qingyao, et al. "Unbiased learning to rank with unbiased propensity estimation." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

    [24] Wang, Xuanhui, et al. "Position bias estimation for unbiased learning to rank in personal search." Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018.

    [25] Agarwal, Aman, et al. "Estimating position bias without intrusive interventions." Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. 2019.

    [26] Hu, Ziniu, et al. "Unbiased lambdamart: an unbiased pairwise learning-to-rank algorithm." The World Wide Web Conference. 2019.

    [27] Ovaisi, Zohreh, et al. "Correcting for selection bias in learning-to-rank systems." Proceedings of The Web Conference 2020. 2020.

    [28] Yuan, Bowen, et al. "Unbiased Ad click prediction for position-aware advertising systems." Fourteenth ACM Conference on Recommender Systems. 2020.

    [29] Qin, Zhen, et al. "Attribute-based propensity for unbiased learning in recommender systems: Algorithm and case studies." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.

    [30] Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017).

    6. 作者简介

    坚强、胡可、庆涛、明健、漆毅、程佳、雷军等,均来自美团广告平台技术部。

    阅读更多

    ---

    前端 |  算法 | 后端 | 数据

    安全 | Android | iOS  | 运维 | 测试

    ----------  END  ----------

    招聘信息

    美团广告平台广告算法团队立足广告场景,探索深度学习、强化学习、人工智能、大数据、知识图谱、NLP和计算机视觉最前沿的技术发展,探索本地生活服务电商的价值。主要工作方向包括:

    触发策略:用户意图识别、广告商家数据理解,Query改写,深度匹配,相关性建模。

    质量预估:广告质量度建模。点击率、转化率、客单价、交易额预估。

    机制设计:广告排序机制、竞价机制、出价建议、流量预估、预算分配。

    创意优化:智能创意设计。广告图片、文字、团单、优惠信息等展示创意的优化。

    岗位要求:

    • 有三年以上相关工作经验,对CTR/CVR预估、NLP、图像理解、机制设计至少一方面有应用经验。

    • 熟悉常用的机器学习、深度学习、强化学习模型。

    • 具有优秀的逻辑思维能力,对解决挑战性问题充满热情,对数据敏感,善于分析/解决问题。

    • 计算机、数学相关专业硕士及以上学历。

    具备以下条件优先:

    • 有广告/搜索/推荐等相关业务经验。

    • 有大规模机器学习相关经验。

    感兴趣的同学可投递简历至:tech@meituan.com(邮件标题请注明:广平搜索团队)。

    也许你还想看

      | KDD Cup 2020多模态召回比赛季军方案与广告业务应用

      | KDD Cup 2020 Debiasing比赛冠军技术方案及在美团广告的实践

      | KDD Cup 2020 自动图学习比赛冠军技术方案及在美团广告的实践

    展开全文
  • 包括所有项目干系人,强调的是所有干系人,项目成果是全体项目干系人共同创造的,参与总结会很重要的一个意义就是让每个参与的人更加系统和全面了解项目,这个项目在哪方面取得了哪些不错的成绩,哪些地方有待提高,...

    目录

    要点

    内容

    实践


    要点

    1. 全体参与讨论

    包括所有项目干系人,强调的是所有干系人,项目成果是全体项目干系人共同创造的,参与总结会很重要的一个意义就是让每个参与的人更加系统和全面了解项目,这个项目在哪方面取得了哪些不错的成绩,哪些地方有待提高,在实际的项目中总结经验教训,从而不断提升自己能力,提升团队协作能力,团队战斗力等。同时作为参与者,可以在会议上积极发言,充分表达个人的意见和建议,有利于更加客观全面评价项目。

    2. 确认

    与会人员要根据项目中梳理的各项绩效数据进行一致性确认,并讨论这些绩效数据背后原因,有无改进空间,如何改进,有哪些不错的最佳实践等。

    3. 形成文件

    针对讨论内容进行梳理归纳,形成会议文件作为公司的组织过程资产,为后续其他项目提供宝贵的参考指导。


    内容

    1. 项目绩效

    项目完成情况,计划完成率,项目目标完成,作为全体项目共同成绩。

    2. 技术绩效

    最终工作范围跟最初比较结果,变更哪些,是否合理,处理是否有效;对质量,进度,成本是否有重大影响,是否符合预计的质量标准和达到客户满意度。

    3. 成本绩效

    最终成本跟原始预算费用比较,变更增加预算是否存在较大偏差,项目盈利状况如何,影响到项目组成员的绩效和奖金的分配。

    4. 进度计划绩效

    偏差比较,提前或滞后的原因

    5. 项目沟通

    是否建立完善和有效利用沟通体系,让客户参与项目决策和执行,客户定期检查项目状况,客户参与定期沟通和阶段总结会议,及时通知客户潜在问题风险,一起参与问题的解决,沟通计划完成情况如何,项目内部会议记录资料是否完备。

    6. 识别问题和解决问题

    问题是否解决,问题原因是否可以避免,如何改进

    7. 意见和建议

    项目成员对项目管理本身和项目执行计划是否有合理建议和意见,是否得到大多数参与成员的认可,是否能在未来项目中加以应用改进。


    实践

    本人组织过一个中等项目的总结会,在开总结会前提前准备好相关绩效数据。提前通知相关干系人时间,地点,议题等。在该项目总结会过程中,不一定按照上面梳理出各种绩效报告数据。我主要从项目的结果,项目过程风险,风险应对,项目存在的问题,问题解决情况,项目成果,项目建议这几方面在会议上作重点的讨论。

    1. 项目全周期简单介绍

    从启动,规划,执行,监控,收尾已时间轴简单介绍项目生命周期(里程碑事件),让参与者知道项目粗略的概貌

    2. 重点过程风险,问题和应对以及结果

    具体时间点出现项目风险,从主观和客观上都做了哪些具体行动来应对出现的问题,行动之后的结果如果

    3.项目成果,哪些做的好的,哪些存在不足

    成果:

    • 功能开发:V1.0版本完成,完成两个业务系统整合,第一个版本开发测试,另外产品工厂引入,用户中心接入。
    • 技术引入:领域驱动,自动化测试方案落地,uflo工作流引入
    • 团队能力提升:统一技术栈,基础架构,基础平台,基础组件,敏捷开发最佳实践落地
    • ...

    待改进地方(大家发言):

    • 项目定调(开始高,后期低)-随着业务战略调整,资源投入存在较明显的变化,导致进度延误的原因之一。【建议】客观原因,市场变化,业务变化,尽量预判和做好相关评估。
    • 项目统筹权责不对等--业务,产品,开发,测试等多头权衡,有些时候无法保证统一决策,需要耗费较多时间沟通。【建议】权责高度统一,多人可以协同,但必须有唯一项目负责人,即有决策权,其他团队服从和配合。
    • 一次性引入太多“新技术”--不同技术栈的切换,甚至基于该项目应用作为落地的试验项目,过程中踩坑,解决问题耗费较多时间。【建议】跟项目定位有关,考虑学习成本,试错风险。
    • 产品需求原型修改较为频繁,业务需求随着项目推进,之前投入开发功能不需要,从而导致开发无用功。【建议】没有抓住主要核心功能,主流程,先完成再完美。
    • ...

    以上讨论内容最终形成wiki文档,综上,经过大家总结复盘,每个人都较为深刻认识到项目成功是综合各方面的因素的结果,对项目存在分问题如何解决,避免等也做了深入的讨论分析,这些讨论和意见都是大家一线参与最客观真实的反映,对于每个参与者和项目团队为改进后续新项目流程协作等提供实际案例的参考指导。

     

     

    展开全文
  • 来源:混沌巡洋舰导读:智源大会2020 聚焦AI的未来,大家都知道, 2010是深度学习的时代, 我们经历了AI从巅峰进入到瓶颈的过程。那么什么是2020这个十年AI的中心?近一段大家逐...

    来源:混沌巡洋舰

    导读:智源大会2020 聚焦AI的未来,大家都知道, 2010是深度学习的时代, 我们经历了AI从巅峰进入到瓶颈的过程。那么什么是2020这个十年AI的中心?

    近一段大家逐步从各个不同的角度切入到这个主题, 比如从相关到因果, 从感知到认知, 重新结合符号主义, 结合脑科学,发展基础数学等, 而2020的智源大会,就是分别从这些不同角度进行跨学科交流的一次盛会。

    1 因果角度

    一个当下机器学习界的共识是,机器学习需要从感知过度到认知,但是对于如何引导这次革命,大家的答案是不一样的, 而一个重要的观点在于当下机器没有因果推理的能力。

    这次会议有幸请到Jude Pearl, 因果被称为是第二次数学科学革命。因为对于我们需要回答的大部分问题 ,都密切依赖我们对因果关系的建模, 这些问题包含对行为结果的分析和反事实推理。

    比如当下如果我要达到目标A, 我如何构建中间条件, 如果我没有做某事今天会怎样(反事实)等。而这些能力是当下深度学习所不具备的, Jude Pearl的演讲深入浅出的引入了这个问题, 并用几个生动的例子提出了指出一些可能的解决方法。

    因果理论的核心,就是do calculus, 它提到我们的模型如果要包含因果,就要能够模拟由行为产生的结果的不同, 这和我们之前物理的mechanic model 是相通的。你有现象模型可以预测数据,但是这是观测数据的联系,而非基于某个行为产生一定变化的因果模型。

    为了建立这样的模型,一些必要的数学工具是必不可少的, 比如概率图模型,独立因果分析框架, 有关反事实的数学模型等。

    2 认知和脑网络角度

    让人工智能具有认知能力那么最直接的解决方法无疑是直接模拟人类的理解和思维能力。

    2.1 毕彦超 人类的平行知识表示系统

    我们的知识一种是从经验提取的,一种是存在人脑中的先验知识。对于神经网络,对于同样的事物,比如香蕉和苹果,红色和黄色, 我们既可以形成类似CNN的物体表示, 又可以生成类似语义网络那样的符号结构(知识图谱)。这两种系统的认知基础是什么?

    毕研超团队通过研究先天盲人和健康人对类似的颜色等概念的表征,证实了平行的知识表示系统的存在。例如盲人和正常人都可以形成对不同颜色的概念表示,但是这些表示通过FMRI 显示背后活跃的脑区是有区别的。而盲人的概念表示更接近语义网络, 正常人却相似CNN经过ImageNet训练得到的一般表示。

    我们知道大脑最终学习概念需要学习得到从感知到抽象符号的关系, 并通过概念之间的关联来定位一个特定概念。那么是否这两种表示系统需要以某种形式耦合得到人类的知识表示, 这是一个非常值得思考的方向。

    PPT :blog.csdn.net/qq_411858

    方方 Maps and Functions of Humbian Attention

    注意地图和功能地图 , 大脑资源有限, 动态切换注意点是非常必要的。这就涉及注意力这个AI和脑科学都是很核心的问题。

    虽然当下的注意力模型已经是AI最重要的组成部分, 但是它和大脑真实使用的注意力仍有不小的差距。我们说大脑真实的注意力有两种不同的机制。一个是自下而上的salientcy map,另一个是自上而下与自下而上的priority map 。 

    这就好像当平静的草原突然出现一匹马,那么你的注意力可能会突然响应,这就是salientcy mapping, 反过来,你可能因为你的目标,比如击中飞来的网球来锁定注意力,它就是priority map。

    事实上我们发现salientcy map 从V1 就有很强的表达 ,说明这种自下而上的注意力是很基础的。而这类attention model 也不同于我们AI的模型,而是一个动态图, 始终在搜索图片最具有信息的地方作为关注点, 然后跳到下一个点。构建一个动态的attnetion model 。

    2.2 刘嘉 From representation to computation : the cognitve neurointelligence

    通过AI研究大脑, 通过大脑启发AI, 这个讲座告诉大家如何比较深度神经网络和大脑的”思考“方式, 如果有一天两者开始对话,他们能够互相理解对方吗?

    刘教授从心理学的角度来讲解如何对比深度神经网络和人脑两个信息处理的黑箱到底能否直接进行对比, 假定我们了解了人脑认知的结构, 那么是否可以用来启发人工智能系统 。

    我们说当下的深度网络是一个黑箱,事实上心理学也经常把我们的大脑比喻成黑箱。黑箱和黑箱进行比较,似乎是不可能的任务, 然而刘嘉团队的方法 -逆向相关化使这个问题变成可能。

    这里介绍人脸识别(此处以性别识别为例)的工作,无论对人还是计算机这都是一个很重要的工作。然而我们并不清楚无论是人还是机器是怎么完成这个任务的。

    这里我们可以想法得到女性和男性的平均脸(无数面孔的平均)。然后在这个平均脸上加上各类人为生成的奇怪噪声然后并让机器(一个训练好的VGG网络)分类是男是女, 这样我们就可以得到一组“男性”噪声 和 “女性” 噪声,我们分别把两组噪声再此分别叠加平均后就得到两个奇怪的斑图,我们可以称为feature 图。

    然后我们把“男噪声” 和“女噪声”两个相减得到一个差值的feature图, 我们会发现这时候一个非常清晰的图案从噪声里涌现出来,比如我们看到眼角,嘴角,和下巴轮廓等。这就是机器用来分辨人类的特征图,或者说机器识别人脸的因子图。

    然后团队对人做了相同的分析,也得到人对性别识别的这个因子图, 这时候我们可以分析人和计算机识别人脸的相关性高达0.73 , 说明人和计算机学习到的性格学习方法高度同质化。同时这也说明随机噪声其实是有结构的, 我们对这个特征图做低频和高频的傅里叶分解,可以看到低频部分人和VGG(vgg face)相关性更高。这让机器和人对人脸的表示相关性极高且集中于低频。

    这里讨论比较认知科学和机器学习的关联的时候,我们最好引入David Marr的三个层次语言体系, 也就是计算层, 表示层,硬件层, 人和VGG模型的计算目标(最高层)是相同的,在硬件层显然大相径庭, 这个研究表明在第二层次表征层两者却是高度相通的。

    刚刚用到的网络是专门为人脸训练的。我们也可以用迁移学习转移一个从ImageNet训练的通用CNN,然后训练读出层,用迁移学习来识别人脸,这时候两者的表征是否相通呢?实验表明两者表征居然依然是类似的。

    最后研究团队用sparse coding来认识这件事。sparse coding的原理表明, 随着网络层级的提高,网络表示的稀疏性随层级增加, 这将导致对人脸识别的关键特征会呈现disentagle的离散化形式,也就是可能只有少数神经元编码一个特征(这是神经编码sparse coding和symbolic 表示的内在联系, 最终的表示是一个稀疏因子图) 

    事实上高层越稀疏, 分类效果越好, 比如alexnet。人脑和深度网络的共同选择。心理学可以用来理解深度学习, 得到一个可解释的神经网络。

    *** 从这个讲座一个有意思的延申, 似乎我们个人识别美丑的特征正是这些用于性别识别的特征。

    2.3 吴思 The cross talk between biology and computer vision

    我们所熟知的深度网络泛化能力有限, 容易受到噪声干扰, 其关键问题是不能抓住全局信息。所谓的全局信息在图像处理的重要体现就是拓扑信息。人对图片的认知从来是从宏观到局部认知的, 所谓top-down-processing。

    一个重要的假设是我们对图象的理解是从图象整体的拓扑结构一步步展开的:首先人的认知从拓扑开始的,人的图像理解是一个猜测认证的过程,在一个不确定的图片里, 人要通过物体的整体轮廓对可能的情况进行猜测(sub-cortical pathway 比如天空中飞翔的鹰的影子),然后再提取出和这个整体轮廓相关的细节(ventral pathway,从细节到整体),鹰爪,鹰眼·, 补充对整体的认知,经过一个循环得到对视觉事物的认知 。人,先验的知识, 经验,记忆决定了我们要看到什么。从高级到初级视皮层的。

    深度学习只模拟了从细节到整体的ventral pathway, 而没有那个事先提炼整体的通路subcortical pathway。实验表明人脑能够非常快速的探测图像的拓扑信息, 这似乎揭示这个拓扑的认知并非那么困难而是存在于比较基础的脑区。

    事实上这个对图象的宏观拓扑特征提取的机制可能从视网膜就开始了, 人眼里的RGC cell通过电突触gap junction相连(正反馈),使得这部分神经元可以快速的同步化,同时兴奋和抑制神经元间存在旁侧抑制。

    这种正负反馈并存的一个后果是对图象宏观结构的自然分割,比如白色背景(天空)中的一个黑色局部(老鹰)。这种同步可以帮助大脑很方便的提取低频信息,如同在原野上燃烧的一把火,它会自然的把易燃的草地和岩石给分隔,从而抓住拓扑特征。

    我们能否利用人类对视觉图像理解的这种两通路设计来构建一个人工神经网络呢?第一阶段利用subcortical pathway 来实现整体的轮廓提取, 第二阶段再利用ventral pathway的原理做细致的分类。 

    动力学上看第一个回路的启动速度要快于第二个回路, 在第一阶段通过拓扑提取回路的同步和正反馈来抓住大类。第二阶段, 则通过负反馈来去掉大类平均强化对细节的注意,如此反复循环,这将实现非常具有鲁棒性的对视觉物体的理解!

    吴思最终在讲座中指出, 当人工智能发展下去到认知,人脑和AI会越来越近。

    ** 这个讲座告诉我们当下的深度学习和人类认知的很大区别在于缺乏人脑的丰富动力学机制, 加入这些机制后一些对机器很困难的事情可能是自然而然的。

    2.4 余山 From Brain Network to brain-like computation

    脑和AI很大差异, 如何从计算原理的层面理解这种本质并利用脑启发改善AI?

    我们首先看细胞和突触层面,神经细胞信息传递靠突触,上游脉冲, 神经递质不总有效, 有随机性的, 30%会发放当上游信号到达。这样随机的发放如何能够支持非常稳健和鲁棒的智能?事实上这不是单纯是生物限制,而是一种主动进化。因为它可以提高系统的泛化性。

    类似启发在深度学习的体现就是dropout的技术,dropout可以模拟某些细胞和突触发放的随机性,却可以在几乎任何任务减少泛化误差。

    另一个重要的生物启发是临界,我们知道生物神经网络的动力学处在稳定和混沌的边缘,所谓一个临界的状态。从图网络传播的角度,这个时候的网络内部信息具有长程关联,又不至于信息爆炸。

    利用这个原理我们可以设计蓄水池网络,这是一种在临界态处理信息的RNN网络因为这个时候的工作效率最高。有意思的是,这个混沌和秩序边缘的状态非常像一个finetune的精细调参结果。大脑不可能调参,它是如何维持临界态的?

    这时候我们必须拿出自组织临界的重要原理,通过引入负反馈, 我们可以使得临界态处于一个系统的收敛稳定点状态,从而在非常广的参数范围内,实现临界。很多人认为批量正则化BN使用了类似的原理让神经网络处于稳定的状态。

    余山的另一个部分讲座讲解了如何设计能够根据情境调节的神经网络。我们知道人工神经网络不能进行情景化处理(也就是依据不同情境调节自己的认知状态),而这是大脑的本质特点。

    背后的重要原理是大脑是个平行通路的系统,从sensory cortex进来的信息, 一方面直接通过视皮层层层抽象, 并输入给运动皮层作动作决策(下意识动作),另一方面通过cortex进行认知推理,得到关于情景的高层信息, 再往运动皮层推(理解之上的动作), 类似于我们说的系统一和系统二。

    我们能否根据这个原理设计一个神经网络?因此我们可以在CNN中加入一个平行于前馈网络context modulation 模块(yu 2019)。这个模块可以调控感知信息的处理过程。

    事实上这个模块更加类似一个学习的调控器,它可以根据识别到的情景对在网络内传递的梯度进行调整,从而显著缓解灾难遗忘改善连续学习。因为学习新内容的过程无疑会擦掉以往权重,这导致神经网络很难持续不断的学习到新的内容,而刚刚加入的情景调控模块引入一个OWM算法, 也叫正交调节器。就是当这个模块识别到情景的变化,就把权重的学习投影到与之前情景正交的子平面上。

    Yu Nature Intelligence 2019

    ** 余山的讲座提到的核心点与吴思有相通之处,就是充分利用人脑的平行回路原理。

    脑与认知模块总结:

    如何利用脑启发改善AI的模块是我本次大会最喜欢的模块, 从这里,可以看到大家达成共识的点是 

    1,大脑是个动力学系统, 很多动力学的基本原理对AI目前的致命缺陷有重大补充, 因果或逻辑可能蕴含在动力学里。临界很重要。 

    2. 人脑的稀疏表示与符号注意AI和因果有重要联系 

    3, 充分利用平行回路设计系统

    3 Consciousness AI

    大会也涉及了当下认知科学和AI交叉领域的最hot topic - 意识,虽然只是一小部分、

    会议邀请了研究意识问题的计算机科学家Manuel Blum 和 Lenore Blum两个专家(夫妇)。

    首先, 两个科学家介绍了意识作为科学的发展史。1988 年 科学家首次发现了意识的实验证据 (FMRI evidences) , 之后人们从不同领域进入意识的研究, 比如神经科学, 哲学, 计算机。

    之后Blum指出如果要建立一个意识的模型,它需要具备的特点。首先意识的模型并不等价于全脑模型,但是它必须符合涌现性的原理(复杂科学最重要的概念, 复杂从简单中脱颖而出的一种跳跃变化), 而且构成意识的神经组织和非意识的组织应该是共享的而非隔离的(同样脑区可以既处于有意识也处于无意识状态)。

    然后Blum指出了如何让意识模型和计算机模型对应。它提出意识的功能是一个从长期记忆力提取短期记忆内容的提取器(类似一个pointer)。因为我们的长期记忆事实上处于无意识状态, 这个内容的数量浩如星海。

    而短期工作记忆却是你我都可以意识到的, 但它通常只有几个bits。这个信息瓶颈可能就是需要意识来实现,它需要根据当下的任务和情景把和任务最相关的因子提取出来。 

    这正是著名的(conscious turning machine) Baar's global workspace model 。这样存在的意识可以迅速的把长期记忆的关键因素抽取到working memory里,方便当下任务的执行,大大加强了系统的灵活性。

    然后它指出意识可能的具体形态需要包含

    1, inner voice 

    2 inner image 

    3 feeling 

    4 thought

    非常有意思的是, 意识在取出很多脑区后依然存在。最后Blum指出意识可能必要的模型组成成分: 

    1. Inner-dialogue processor  

        2  model-of-the-world processor

    4 图网络专场

    4.1 唐建 如何借助图网络构建认知推理模型

    深度学习需要认知推理已经是人所共知,但是如何实现,图网络是一个重要的中间步骤 。大家可能熟悉当下红红火火的图网络,但是不一定熟悉它的前身条件随机场。唐建老师认为, 这两个模型分别对应人脑中的系统一和系统二认知。所谓的系统一我们可以认为是system

    I(graph network) 和system II(conditional random field) 认知模型。

    基于图的conditional random field模型可以对概率进行计算和推理。为此我们定义一个potential function, 用条件概率乘积形式来表示不同节点间的依赖关系 , 但是这一定义形式往往过于复杂,优化也很困难。这种学习类似于人类较为缓慢的总结关系规律的系统二推理。

    而图网络则相反,利用message passing的思想, 得到node representation, 这中间我们并没有直接模拟node和node间的统计关系, 但是我们可以通过拟合node上的label来获取node之间的基本关系。因此这样的学习更加类似于人类直觉思考的形式。

    可否把两者的优势结合呢?

    这就是最后要介绍的,如何把图网络和条件随机场的优势结合起来做推理。

    整个框架类似于一个EM算法,我们由一个已知部分节点和边的信息的图网络出发, 在E步骤我们需要由图网络的直觉做inference 推测 , 这样我们会得到大量新的标签, 而在M步骤这些新增加的标签会辅助条件随机场模型更好的算概率, 更新连接图,我们得到一个循环。


    如此的方法可以被用于知识图谱推理。我们用马尔科夫logic net 求解所有fact的joint distribution。然后再用图网络学习每个逻辑三元组的权重 有了三元组就可以预测每个事实是对的还是错的。

    整个思路就是首先可以基于system I (图网络)提供初始预测, 然后用system II基于这些比较初始的预测得到更加具有逻辑的结果,关系推理最终由一个概率图来执行。

    4.2 何向南 用图神经网络做推荐

    这其实是一个非常有趣的topic因为推荐系统本质上就是一个图(由用户和商品构成的bi-partite graph)。我们知道早期的推荐系统协同过滤主要是计算相似度。而当下的图网络则本质上用高阶连接性建立协同过滤的信号。

    通过信息传递得到推荐网络的表示, 在此基础上做推荐 。因此我们需要先定义从一个物品到用户的message,然后通过节点和邻居的连接度矩阵做message passing,得到任意两个节点的相似度,这是我们可以预测某个未知商品和用户关系的基础。

    在此之上,我们还可以加入用户意图。因为一个人和物品产生交互的时候, 背后的意图是不一样的则推荐的机制不同。如何能够对不同用户的意图下都学习一个表示就成为关键。这里我们可以巧妙的借鉴attention的机制, 学习一个和用户意图相关的权重。

    最终我们还需要考虑推荐本身是一个行为而非预测,因为推荐的结果会反过来影响用户的行为(反身性), 很大程度阻碍模型发现用户的真正兴趣。现有的方法需要给一个用于修正这种偏差的bias, 比如降低popular 物体的权重 第二个是用对不那么popular物品的 随机曝光,

    4.3 沈华伟 GNN的局限性

    图神经网络内核处在停滞不前的状态。我们说深度学习是炼金术,而事实上, 现在开始流行的GNN也是这样一个炼金术, 和深度学习类似。

    当年大家分析CNN为什么能work , 那么现在我们必须明白为什么GNN也work。大家看到GNN这么强大的表达能力, 做推理, 做认知,做分子式,做物理,其核心都是围绕图 G = (V, E, E, X)做节点分类,边分类和图分类。

    我们分析机器学习模型的表达能力, 通常是看它可以分开的模式数量。而GNN的表达能力能否用类似的角度研究呢?首先, 我们可以把问题定义为GNN模型能够分析的网络种类。对于不同的网络, 其主要特征就是网络的拓扑结构。

    对于GNN其核心部分是Message passing,当经过一次消息传递,看起来无区别的节点就带上其邻居的信息, 当节点和节点的对外连接不同,这个信息就变得不一样,因此在节点分类的角度, 经过一次信息传递,节点已经形成了根据自己邻域拓扑特征形成的聚类。

    当然对于比较复杂的图谱,一次传递可能是不够的,经过两次传递后, 关于网络的更深层特征就会进入到每个节点里,从而使得节点的聚类体现更长程的邻域结构。这样的方法对节点的分类很有效但对图整体的分类却没有那么有效。

    我们可以把所有节点的表示向量合起来作为图的整体表示,经过信息传递一些不同的图结构明显的被分类了, 而得到根据网络相似度表达的metric,而且信息传递的次数越多似乎这个表征能力越强。

    然而按照这样的思想传递N次后我们是否可以区分任何网络结构呢?答案确实是否定的。我们可以证明对于特定的网络结构传递多少次信息都无法区分其拓扑结构, 因此靠加大图网络深度提高其表示能力是有局限性的。这个方法揭示了单纯靠信息传递得到结果的图网络方法的局限性。

    所使用的分析方法叫做 WLtest区分,类似于把整个节点传播过程用树展开。最后看子树的分布。一阶WL_tes通常认为是 GNN表达能力的上界

    这个分析从根本上揭示出GNN的局限性,它似乎只是对图的结构做了一个平滑 。

    参考文献:

    Can you design a layer-by-layer network to achieve more powerful expressiveity than existing GNNs

    How powerful are grpah neural nets ICLR2019

    ** 这个talk让我想到用GNN做认知推理真的可靠吗?目前来看, 似乎还有差距。看起来它依然只是一个模式识别的工具。感知 = 模式识别 ,而模式识别本身是够不上认知的。

    4.4 wang min jie 新的图网络工具箱

    图神经网络本质基于消息传播模式-message passing paradim,这里面关键的是一个消息传递函数,一个累加函数。当我们假定消息传递函数是线性的,累加函数是average pooling, 且这些函数和特定网络局域结构无关, 我们得到GCN。

    如果你观察这种结构表达方程,你会发现大名鼎鼎的page rank和GCN公式几乎是同质的,都符合这个paradim。这说明我们可以设计一个更加灵活的工具箱,帮助我们设计新的图网络框架。

    消息传递,累加, 都都可以扩展成为更复杂的工具,甚至lstm。编辑图神经网络,可能用到已有神经网络的模块。新的面向图神经网络系统,需要和现有的深度学习平台结合。这是deep graph library项目动机,它搭建了张量世界和图世界的桥梁。

    **这个讲座有趣的地方不在于介绍工具箱而是对图网络精辟的总结。

    5 知识智能专题

    5.1 孙一舟 如何在深度学习里加入符号知识

    符号主义AI在当下的精髓在于knowledge graph, 知识图谱里由无数的triplet(head, relation,tail)组成, 作为知识的计算机的主体。但是单纯知识图谱是无法做认知推理的, 为了完成这样的任务, 我们需要把它和概率图模型连接在一起。

    6 强化学习部分

    6.1 Statinder singh 如何让强化学习做discovery

    discovery 是强化学习非常重要的发现和探索过程。谈到强化学习的探索,大家可能都很熟悉epsilon-greedy这一类简单的随机搜索策略。而一个大家往往不会注意的地方是奖励函数。

    奖励函数不仅是一个有关游戏目标的标量,事实上也可以存储更多游戏有关的知识,比如和探索有关的,这部分奖励又称为内部奖励(intrinsic reward),这类似于你并非因为外在的物质奖励而是由于内在求知兴趣去探索发现的过程。

    我们发现加入intrinsic reward 不仅可以,能够发现一些不易发现的不变性 ,解决类似于于non-stationary 问题的探索问题。

    ** 其它一些有趣的点1 general value function ,generalize to any feature of states

    2 引入question network 辅助task

    PPT :blog.csdn.net/qq_411858

    6.2 俞扬 更好的环境模型,更好的强化学习

    强化学习在游戏类任务里取得了史诗级的成功几乎在所有高难度任务里击败人类。如果问这个胜利的根源,不是网络的巨大,而在于环境。监督学习的原料是数据集, 强化学习则是它的环境。

    比如围棋游戏的境法则固定, 因而可以无限量的取得数据。所以可以取得优秀的成绩。强化学习agent的在环境中通过一定策略采集数据,学好策略,回到环境,验证策略有没有更好。如果环境规定固定,agent就拥有无限多的稳定数据,如同CNN拥有一个ImageNet。

    为什么环境规则必须固定?因为与监督学习针对固定数据分布的情形不同的是,强化学习面对的数据不符合这一设定, 因为游戏的数据采集是按照一定策略来的, 当我们的策略发生变化,数据会发生变化。

    监督学习通过的训练集和测试集符合同一分布假设, 而强化学习用于未来训练的数据获却永远来自历史学习策略(如同我们看着后视镜驶向未来),造成训练不稳定。在封闭固定环境下随着训练的进行这种当下策略和未来策略的差距会逐步收敛。而在一个开放环境下则变得非常困难。

    什么办法可以相对缩小真实环境和游戏的区别呢?模拟器,模拟器实际等价于真实世界的缩影,可以预测在当下的agent做出选择后,真实环境可能给以的反馈。

    我们知道在很多领域如机器人控制 ,物流,流体动力学,我们已经在使用模拟器。虽然模拟器可以做, 但是精度可能不足,尤其是当环境更加复杂。一旦出现误差这种误差可能迅速随时间扩大, 那么如何解决这个问题?

    我们可以从数据中学习一个模拟器,用监督学习的方法?从当下状态S,和行为 a 得到下一个时刻的状态 S‘和奖励R‘, 这是模拟器的本质, 这样的模型可以有效解决误差问题。有了模拟器对于真实环境的强化学习意义重大,因为我们不再依赖真实世界,而可以通过想象中的世界训练我们的值函数。

    有关世界模型的关键是模型的可迁移能力。因为随着策略的更新数据采样的区域很快放大(非iid分布)。我们因此必须不停获取数据更新世界模型。除此外我们还可以想办法加强模型的鲁棒性。

    比如 我们可以把预测分解为M(s'|s,a)* p(s,a)来假定状态转移矩阵和状态之间的独立性来增强可迁移性。还有比如利用类似对抗学习的优化方法,可以把长程优化误差迅速缩小。

    可学习世界模型的思想可以用于商品设计, 把顾客买家当成世界模型,学习顾客这个model。可以用于网约车, 可以学习一个司机的虚拟模型-模拟器。可以用于商户拣货问题, 学习工人和商品派单系统 world & agent,甚至学习一个砍价机器人, 从而提高所有电商, 推荐, 网约车等等商业问题的效率,非常有前景。

    最后总结人类决策技术的进步史:专家决策 - 专家设计模拟器决策- 专家设计可以学习的模拟器来学习决策 - AGI?模型是强化学习进入真实世界的必经之路

    **此处联想世界模型和因果的联系,理想的世界模型是一个包含do 的因果model, 而且模型动力学和数据分布独立-便于因子化factorization。如同粒子状态和作用力独立(相互作用关系模型)。当这种假定是合理的, 结果将迅速提升。

    PPT:blog.csdn.net/qq_411858

    6.3 张伟楠 Model base reinforcement learning & bidirectional model

    深度强化学习和无模型的强化学习是一对绝配,因为无模型强化学习非常适合在深度神经网络的框架里来进行,然而离开游戏场景无模型强化学习就会产生数据效率低效的问题,如果试错无法从环境中得到有效信息, 试错将毫无意义。为了解决这个问题, 提出model base 是必须的。

    基于模型的学习高效的一大原因是一旦模型学习到,可以直接在模型里perform on-policy learning,从而极大提高数据的适用效率(on policy下数据采样的集合和实施策略的集合是最匹配的)

    后面的讲座主要强调基于模型学习的优化方法, 一类所谓黑箱模型,例如dyna-Q, MPC 。模型本身也是未知的神经网络。一类是白盒模型,即模型完全已知。

    模型的加入可以提高数据适用效率,但是也会引入一定的bias。以黑盒算法 Q-planning为例。当学好一个模型后, 我们可以从模型中采样得到一个action sequence(想象中的行为) ,从而计算得到accumulative rewards。

    用术语说就是采样一个轨迹 sample a trajectory, 如果模型本身是不准确的(主观和客观的差距)那么这个差距会在整个轨迹放大。因此我们知道我们一方面要控制模型的精度,一方面要控制这个想象轨迹的长度。当前者模型误差越小,后者轨迹可以抽样的时间就越长 。

    能不能有效改进这个方法呢?此处引入一个叫bidirectional model的模型改进 。什么意思, 就是既考虑前向预测, 也考虑往历史。以往的想象轨迹只考虑未来n步发生的事情,现在我还会推测之前发生的事情,以及如果之前采取其它动作,可能到达的状态。这样时间上的双向性会缩小由于模型偏差带来的误差。

    **此处是否想到因果的counter-factual呢?

    PPT: blog.csdn.net/qq_411858

    以上是我总结的内容,会议全部内容名单请见:2020.baai.ac.cn/

    7 最终总结-世界模型

    这次会议是特别有趣的, 不同领域的人根据自己的经验提出了不同的approach在不同角度告诉我们什么可能是达到AGI的最短通路 。那么如果我总结什么可能是一个最短的到达下一个AI阶段的通路呢?

    其实大会最终采访LSTM之父施密特的对话很有意思。在对施密特的采访中,他兴高采烈的介绍了LSTM的崛起, 和他的贡献,并认为这是一个由大脑启发的能够解决大量不同实际任务的成功典范。

    那么我们回顾下LSTM为什么如此成功,首先,它是一个动力学模型, 与CNN那些前馈网络不同,LSTM模型事实上可以对一个动力过程进行模拟。而我们的物理学尝试告诉我们,世界的本质就是一台动力学机器,每个齿轮的转动拉动了整个宇宙向前。LSTM具有对宇宙齿轮的模拟能力,因此,它可以做不同的任务,学习不同的领域。

    这台机器具体包含哪些部分?它有一个记忆memory, 有一个中央动力处理单元h, 是一个神经元互相反馈的通用图灵机, 还有一个执行单元o,输出对未来的预测和动作。

    这个机器像大脑却不是, 专家最后说施密特未来的神经网络,lstm的接任者需要有什么特征。施密特很快坚定的说它需要更像大脑, 需要具有自我发现和探索的好奇心。

    然后它需要一个能够预测世界的,尤其是自我行为对世界影响的world model, 以及一个能够根据这些 知识做出行为决策的行为的action model, 这两个model组成一个循环的反馈系统。这样的模型可以像小孩子一样从真实世界里通过探索学习得到抽象的知识。

    我们从这个角度出发,将看到此次大会的所有topic 的联系。这里的第一个关键词是world model,它围绕奖励而来,却时时刻刻满足着自己的好奇心,用来discover真实世界的抽象规律。

    因果学派说的世界如同一个概率图模型,每个节点之间的关系可以由节点的扰动(do)和它的影响刻画。说的不正是这个充满好奇的world model需要做的事情,根据自己的行为或自己感测到的外界变化预测未来未知世界的关键?

    而具体的这个world model的抽象能力, 不正是类似于在真实的世界中提取这样一个核心变量组成的图网络?

    因此图网络学派可能说对了世界模型的一个重要组成成分, 它却没有涵盖这个图是怎么产生的这个最核心的议题,如何产生这张图,这让我们想到认知科学启发专题的若干讲座,大脑是如何完成这个工作的。

    而world model不是关注世界所有的内容,而只关心和智能体完成任务最相关的信息,这就是强化学习的观点, 或者叫做以行为为中心,以任务为导向

    当我们有了world model和action model, 而且world变得越来越复杂不能用一个模型来运转的时候,是不是我们可以在此基础上加一个超级观察者或者叫self model,这个self model可以预测哪些部分的world model 需要进入到action model供action 决策,同时预测action根据这些信息的决策结果?这个self model是不是就是我们要的意识模型呢?

    由此看, 这几个流派已经贯穿成一体。最终我们要实现上述的任何步骤,无疑都需要向我们的大脑取经。因为自然设计已经给了我们一份完美的解决上述通用智能问题的框架,当我们让机器执行的任务和人越来越接近,无疑将会参考这份完美答案。

    希望更多的人能够对这个问题感兴趣并加入到研究的队伍里(可加微信XUTie0609)。

    未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

      如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

    展开全文
  • 篇一:软件项目失败经验总结 项目失败经验总结 1、在项目初期没有进行风险的管理探讨,项目远景定义和功能集合的详细定义。 当项目走了很远,出现很多问题的时候,领导总算想起要做一个边界定义,但这个时候已经...
  • 不过项目总结实际操作起来往往效果较差,经常出现SM/PM一人写完所有的总结报告内容,总结会议上SM/PM一人在念报告,其他成员各顾各的,应付式完成总结。 这里跟大家分享一下好视通MCU团队的项目总...
  • 【PID】位置式PID控制原理

    万次阅读 多人点赞 2018-07-12 20:14:27
    PID 控制流程图: ... 其中: S ...\left.S\right._{v} ...$\left.X\right._{1}$,$\left.X\right._{2}...:稳态 减小最大超调量,该参数过大会低频振荡 总结 : P 用于提高响应速度、 I 用于减小静差、 D 用于抑制震荡。
  • PMP学习总结

    千次阅读 2020-12-22 16:25:36
    PMP学习总结 个人参加了QH的线下培训班,报班时间是2020年3月,线下班,有线上课程和线上练习题,中文版PMBOK(第六版)和他们自己的培训教材。费用2300(教学费用)+3900(统一的考试费用),如果第一次不通过可以...
  • 软件测试工程师工作总结

    万次阅读 多人点赞 2018-04-18 21:02:05
    因为测试人员对需求理解越深刻,对测试工作的开展越有利,可以尽早的确定测试思路,减少与开发人员的交互,减少对需求理解上的偏差。 16、软件的缺陷等级应如何划分?  严重:1.由于程序所引起的死机,非法退出 2....
  • 总结 ES 的价值在于:不同角色在具体业务场景下用一种共同语言(彩色贴纸)进行交流,通过不断提问触发探索、讨论,最终达成真正共识。 阿里巴巴研发效能峰会 | 架构设计与代码智能专场 6 月 13 日,阿里巴巴...
  • 项目管理之PMBOK学习摘要与总结

    千次阅读 2018-02-11 15:36:06
    规划,项目规划会和项目开踢大会 ; 执行,状态评审会;监控,变更评审会;收尾,收尾总结会。 产品分析技术:包括产品分解、系统分析、需求分析、系统工程、价值工程和价值分析等。 项目范围说明书:要做和不要做...
  • 中台透彻讲解

    万次阅读 多人点赞 2019-06-27 21:59:01
    仔细搜索了一下原来5月21号腾讯召开了全球数字生态大会会议上腾讯高级副总裁汤道生提出“开放中台能力,助力产业升级”。汤道生介绍,腾讯技术委员会正在推动“开源协同”和“自研上云”,通过技术整合实现高效的...
  • 这一部分我将以表格的形式对部分国内外杰出的致力于机器学习及其算法的研究人员,收录优秀机器学习论文的期刊及会议进行总结整理。 姓名 就职单位 研究方向 ...
  • 项目管理学习总结

    万次阅读 2016-06-24 09:45:22
    项目管理总结:1、风险评估 2、成本预算 3、客户沟通的过程 4、需求分析 5、面向对象设计(编码过程) 6、开发管理 7、成品交付风险评估软件项目风险是指在整个项目周期中所涉及的成本预算、开发进度、技术...
  • 文本挖掘和分类领域的一个瓶颈出现在歧义和有偏差的数据上。 发展历史: 1.4 分支四:机器翻译 机器翻译(MT)是利用机器的力量自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)。 当前阶段: 机器翻译是...
  • 为什么项目估算偏差如此之大?

    千次阅读 2014-01-06 11:28:16
    摘要:在软件开发中,估算对于项目计划、进度控制...但是估算往往会存在偏差,进而导致额外的成本,甚至影响公司声誉和员工积极性。哪些因素会导致估算偏差呢?开发者Alex E. Fish给出了本文的这些提示。
  • Beta版总结会议

    2016-06-14 23:05:00
    1.会议过程及问题  我们首先梳理了一下这两次冲刺过程,仔细考虑过程中的每个细节,将过程与最后的成果一并进行分析,发现此过程中的确存在着几个问题。  ①在我们的两次冲刺过程中,时间以及工作量的安排存在...
  • 后来总结问题的原因,五四体育馆排水管道漏水、边坡边缘硬化没到位、五四体院馆屋面排水管道水直接排在边坡地面上,水渗入边坡内。 建筑施工是一个过程管理,只有抓住过程才能建造成合格的工程。下个工程我们要做到...
  • 工作方法的一些总结

    千次阅读 2019-06-16 19:53:07
    灵活使用白板,提高会议效率,使用白板归纳、总结会议内容和主题。 掌握写邮件的技巧 收到邮件后必须立即回信,未读邮件越来越多的时候,就会陷入恶性循环,最好的办法是受到邮件就立即回复。 对于难以开口...
  • 8.最后就是 Sprint Retrospective Meeting(回顾会议),也称为总结会议,以轮流发言方式进行,每个人都要发言,总结并讨论改进的地方,放入下一轮Sprint的产品需求中。 3.敏捷过程总结: Sprint 第一天,需要...
  • 软件开发项目管理经验总结

    万次阅读 多人点赞 2019-04-16 17:26:46
    这是我从事软件外包工作以来的项目管理经验的总结,编写文章的目的是为了回顾和总结自己的一些想法,如果其中有不足的地方大家可以一起讨论交流。 项目经理的职责 关于项目经理的工作职责有很多种说法,我自己是...
  • 哪些会议又是必须的,它有着其他沟通方式不具备的优势,比如周例会,在总结和规划方面就很有效;而且各种会议都有它召开的合理时间和频率,这种时间和频率与会议的类型有关。 沟通型:这种会议最重要的功能在于交流...
  • 作者 | Tim Elfrink译者 | Tianyu出品 | AI科技大本营(ID:rgznai100)【导读】本文来自于谷歌研究人员最近发表的一篇论文,介绍了视频平台 Youtube 的视频推荐方法,并在 RecSys 2019 大会上做了分享。本文总结归纳...
  • 敏捷开发流程总结

    万次阅读 多人点赞 2015-09-22 10:02:54
    敏捷开发在其他业界的应用是否理想不得而知,但以下总结了我所在公司的敏捷开发试验,希望可以达到管中窥豹的目的。敏捷开发宣言——个体和交互 胜过 过程和工具可以工作的软件 胜过 面面俱到的文档客户合作 ...
  • 吴恩达机器学习总结

    2020-03-07 17:28:37
    在代价函数后加上正则向可以防止过拟合,具体实现机制为对参数的惩罚,正则化参数的选取很重要,过小会出现过拟合,过大会出现欠拟合。 当学习算法出现高偏差时,通过增加样本数量也不会让训练集或验证集的代价函数...
  • MOT学习总结

    2021-08-06 23:01:58
    第四步 确认: 确认是一个很简单的步骤,不过很容易被忽略,大家都已经习性点头,但是其实在对一些具体的实施步骤及要求的理解存在偏差。所以在工作当中的场景,特别的会议之后,做一个确认的动作还是很有必要的。 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,958
精华内容 2,783
关键字:

偏差会议总结