精华内容
下载资源
问答
  • 问题反馈源码带后台

    2013-09-18 13:50:04
    ASP代码 问题反馈 ASP网页 网页源代码,问题反馈源码,带后台,可完美运行!
  • 这可能会导致label不准确,我们称之为延迟反馈问题。 在以前的研究中,延迟反馈问题是通过长时间等待正例样本来解决的;或者通过在到达样本时先消费负例样本,然后在之后真正转化时再插入正例样本来解决。 实际上,...

    阿里巴巴集团淘系技术部2021实习生招聘开始啦~

    (招聘详情见文末)

    本文主要给出我们CVR模型在线学习的一些思考,并介绍我们被AAAI 2021接收的文章《Capturing Delayed Feedback in Conversion Rate Predictionvia Elapsed-Time Sampling》,以及该方法在淘宝搜索场景下的实践。

      摘要

    转化率(CVR)预估是电商搜索、推荐和广告最关键任务之一。商业系统通常需要以在线学习的方式更新模型,以跟上不断变化的数据分布。但是,成交转化通常不会在用户单击商品后立即发生。这可能会导致label不准确,我们称之为延迟反馈问题。

    在以前的研究中,延迟反馈问题是通过长时间等待正例样本来解决的;或者通过在到达样本时先消费负例样本,然后在之后真正转化时再插入正例样本来解决。

    实际上,在等待更准确的label与使用新鲜数据之间存在折衷,这在现有工作中并未考虑。为了在这种折衷之间取得平衡,我们提出了Elapsed-Time Sampling Delayed Feedback Model (ES-DFM),该模型对观测转化分布(observed conversion)与真实转化分布(ground truth conversion)之间的关系进行建模;然后,我们在动态采样分布下(elapsed-time sampling),通过重要性采样(importance sampling)来优化真实转化分布的期望。

    我们进一步估计每个样本的重要性权重,在CVR预估中用作损失函数的权重。为了证明ES-DFM的有效性,我们对公开数据和工业数据集进行了广泛的实验。实验结果证实,我们的方法始终优于以前的最新结果。


      介绍

    通过深度学习模型来对成交转化率(CVR)做预估在学术界和工业界都得到了广泛的研究。为了捕获用户需求的动态变化,商业系统经常在短时间内,即以在线训练的方式,使用最新的数据来更新学习的模型。由于成交转化通常不会在用户点击后立即发生,因此这会使CVR的预估更加复杂。

    Delayed Feedback问题为CVR模型在线学习引入了一个难题:一方面,我们需要等待足够长的时间,以便观察信息可以大致反映出真实的成交转化(label corretness);另一方面,我们也倾向于更新的预测模型(model-freshness)。

    DFM[2]是解决延迟反馈问题的早期研究之一,提出的延迟反馈模型通过预估CVR和延迟时间分布的联合概率进行优化。这种在观测转化上的优化结果可能会偏离(biased from)真实的转化分布。为了在延迟反馈问题中实现无偏的CVR预估,最近的研究探索了通过重要性采样(importance sampling)[1]来优化真实转化分布期望的方法。

    FNW(Fake Negative Weighted)[3]提出以下采样方式:每个到达的样本首先被标记为负例,然后在真正转化时进行校正。然而,在修正之前,每个假负例可能会对模型产生副作用。如果数据分布频繁更改,则会增加这种副作用。例如,在促销活动开始时,用户点击次数可能会急剧增加,而大多数转化是在一定时间之后发生的。这种不堪重负的假负例可能会损害预测模型。

    FSIW(Feedback Shift Importance Weighting)[4]不是盲目地将每个传入的样板标记为负例,而是在一定的时间间隔内等待真实的成交转化。但是,即使随后发生成交转化事件,FSIW也不允许数据校正。我们认为正例对于延迟反馈预测很重要,因为正例总是比负例稀少。此外,由于等待时间过长,FSIW可能缺乏模型新鲜度。因此,要么近乎实时地更新模型,要么等待足够长的时间进行转换,都无法解决流式CVR预测中的延迟反馈问题。

    对于CVR模型在线学习,我们提出了Elapsed-Time Sampling Delayed Feedback Model(ES-DFM),该模型对observed conversion分布和ground true conversion分布之间的关系进行建模。在我们的方案中引入动态采样分布(elapsed-time sampling),可以通过降低假负例的权重和提升真正例的权重来帮助模型纠正样本偏差。

    为了证明ES-DFM的有效性,我们对两个广泛使用的数据集进行了广泛的实验——Criteo提供了一个公共广告转化日志,以及搜索工业数据集。实验结果证实,在大多数情况下,我们的方法始终优于以前的最新结果。我们的主要贡献可以概括如下:

    据我们所知,我们是第一个研究CVR模型在线学习背景下,如何平衡label correctness和model freshness。

    通过对采样时间建模为概率分布,我们实现了真实转化分布的无偏估计。特别是在数据分布与常规不同时,我们的模型也显示出了鲁棒性。

    我们提供了一套严格的实验设置,用于流式训练和评估,可以更好地与工业系统保持一致,并且可以轻松地应用于实际应用中。

    ▐  相关工作

    Delayed Feedback Models

    解决延迟反馈问题的最引人注目的工作来自DFM,作者指出,该问题与生存时间分析有关。 延迟反馈模型(DFM)假定了转化时间分布的指数延迟,并在此基础上提出了两个模型:一个模型关注CVR预测,另一个模型关注转化延迟预测。

    NPDFM[5]以DFM模型为基础,进一步提出了非参数延迟反馈模型(NoDeF),其中在没有任何参数假设的情况下对延迟时间进行了建模。上述方法的一个显着缺点是它们都仅尝试优化观察到的转化信息,而不是实际的延迟转化。

    Importance Sampling

    通过重要性采样方法可以使用一个分布中的样本来估计对另一分布的期望。在FNW方法中,所有样本最初都标记为负,在这种实验设置下FNW可以解决延迟反馈问题。但是,在流式设置中,每个假负例都会对模型产生负面影响,直到其对应的正样本到达为止。这种负面影响可以在分布变化下急剧放大。FSIW提出了一种反馈转移重要性加权方法(FSIW),其中,重要性加权是借助等待时间信息来估计的。但是,FSIW不允许使用再次下发正样本(retract样本),因此无法利用来纠正偏差。


    ▐  背

    在这项工作中,我们专注于CVR预估任务,该任务以用户特征xu和商品特征xi作为输入(所有特征均以x表示),旨在学习用户对商品的转化概率。y∈{0,1}表示转化label,其中y=1表示发生转换,否则y=0。

    理想情况下,CVR模型是在训练数据(x,y)的基础上训练的,该训练数据是从ground truth的p(x,y)的数据分布中得出的,从而优化了理想损失函数,如下所示:

    Lideal=E(x,y)∼p(x,y)ℓ(y,fθ(x))

    其中f是CVR模型函数,而θ是参数。ℓ是分类损失,采用了广泛使用的交叉熵。然而,由于延迟的反馈问题,所观察到的训练数据q(x,y)的分布经常偏离ground truth p(x,y)的分布。因此,理想损失Lideal不可用。

    为了更精确地制定这样的延迟反馈设置,我们在上图中引入了三个时间点和相应的时间间隔。这三个时间点分别是用户单击某项时的单击时间ct,发生转化操作时的转化时间vt和提取训练样本时的观察时间ot。然后,将ct和ot之间的时间间隔记为采样时间e,将ct和vt之间的时间间隔记为延迟的反馈时间h。因此,当e>h时,训练数据中的样本被标记为y=1(正),否则当e<h时,一些正样本被错误地标记为y=0(假负)。

    ▐  方法

    为了实现对采样时间的灵活控制,我们假设采样时间从分布p(e|x)中得出。

    然后,我们开发了一个概率模型,该模型结合了采样时间分布p(e|x),延迟时间分布p(h|x,y=1)1)和转换率p(y=1|x)进入统一框架。为了实现对实际CVR预估目标的无偏估计,我们提出了一种与我们的过去采样方法相对应的重要性加权方法。然后,我们提供了重要权重的实用估计,并对这种估计引入的偏差进行了分析,这可以指导我们设计适当的经过时间分布p(e|x)。

    Elapsed-Time Sampling Delayed Feedback Model

    为了在获取准确的反馈信息和保持模型新鲜度之间取得平衡,应该将合理的等待时间(采样时间)整合到建模过程中。 

    此外,采样时间e应该是取决于x的分布,即p(e|x)。例如,用户在购买高价产品时需要更多时间考虑,因此需要较长的等待时间。当点击xi到达时,经过的时间ei从p(e|xi)中得出。然后,在分配label之前,在ei的时间间隔内等待样本xi,然后对数据进行训练。通过引入时间分布,我们提出了ES-DFM,该模型对观察的转换分布q(y|x)和真实转化分布之间的关系进行建模p(y|x),根据:

    其中,

    在进行模型训练时,尚未发现最终会发生的某些转换,并且以前的方法(如DFM和FSIW)已忽略了这些转换。我们认为这对于延迟反馈任务很重要,因为积极的例子比消极的例子稀少得多,积极的例子可以为模型优化确定方向。因此,在这项工作中,只要用户与广告互动,数据就会被发送到具有正标签的模型(如果已经存在假阴性,则该数据将被复制)。然后,应重新标准化q(y|x),如下所示:

    为了简洁起见,省略了x的条件,即q(y=0)=q(y=0|x),p(y=0)=p(y=0|x)。由于我们插入了延迟的正数,因此样本总数将增加p(y=1)p(h>e|y=1),因此我们应通过除以1+p(y=1)p(h>e|y=1)来归一化。负样本的数量不会更改,因此将除以该归一化因子。

    正数将增加p(y=1)p(h>e|y=1),因此q(y=1)的分子为:

    p(y=1)p(h<=e|y=1)+p(y=1)p(h>e|y=1)。

    使用p(h<=e|y=1)+p(h>e|y=1)=1的事实得出。

    Importance Weight of ES-DFM

    为了获得延迟反馈问题中的无偏CVR估计,我们通过重要性采样优化了对p(y|x)的期望。首先,我们提供重要性抽样的理论背景,如下所示:

    其中f是CVR模型函数,而θ是参数。ℓ是分类损失,采用了广泛使用的交叉熵。根据\ eqref {is_4},我们可以使用适当的权重优化理想目标。

    其次,我们进一步提供了建议的经过抽样分布下的重要性权重。从方程中,我们可以获得:

    其中,

    pdp(x)是deposited positive概率,表示样本是重复的正数的概率;prn(x)是真实负例概率,表示观察到的否定是基本事实否定且不会转换的概率。

    最后,权衡CVR损失函数的重要性为:

    Estimation of Importance Weight(IW)

    通过重要性采样解决延迟反馈问题的挑战是我们需要估计重要性权重w(x,y)。在这项工作中,根据公式X和公式Y,我们将w(x,y)w(x,y)分解为两部分:pdp(x)和prn(x)。

    更准确地说,我们使用两个二进制分类器来估计这两个概率。即,我们训练一个分类器fdp来预测成为delayed positive的概率,并训练一个分类器frn来预测成为真实负例。

    fdp(x)和frn(x)的模型架构与CVR预测模型相同。为了构造训练数据集,对于每个样本(xi,yi),从p(e|xi)中提取经过时间e。然后,对于fdp模型,延迟的正数标记为1,其他正数标记为0;对于frn模型,排除观察到的正值,然后将负值标记为1,将延迟的正值标记为0。

    实际上,所有这些需要的标签在流数据中都可用,并且可以通过损失函数上的掩码来实现数据选择,因此我们将frn和fdp模型与流媒体培训中的共享网络。

    我们还可以通过估计p(y=1)和p(h>e)来计算重要性权重。具体地,可以通过在跟随FNW之后的历史数据上训练的模型fθ(x)来估计p(y=1)。并且,可以使用p(h|x,y=1)和p(e|x)的特定选择(例如多项式分布)来解析地计算p(h>e)。可以使用y=1的过去数据估算p(h|x,y=1)。

    我们尝试了这种方法,具有均匀的经过时间分布p(e|x),但是性能比基线差(在观察到的数据分布下交叉熵损失)。我们将此失败归因于估算p(h|x,y=1)的难度:预测用户何时购买将比预测他是否会购买困难得多,因此,如果我们依赖于p(h|x,y=1),由于对p(h|x,y=1)的估计不准确,加权模型引入的偏差可能会很大。

    Bias Analysis of Estimated IW

    重要性加权损失函数\ meqref {emp_loss}使用理想的pdp和prn是无偏的。但是,由于估计的重要性权重fdp和frn,可能会引入偏差。通过优化损失函数\ meqref {emp_loss},并使用估计的fdp,frn代替理想的pdp,prn,可预测概率f(x)收敛到:


    取\meqref{emp_loss}相对于f的偏导数,并将导数设置为零。

    结合上式:我们可以得出以下观察结果,它们可以指导我们设计适当的经过时间采样分布p(e|x):

    • 首先,如果frn完全正确,则我们有frn=prn,然后f(x)=p(y=1),因此不会产生偏差。但是,实际上,frn是通过历史数据学习的,总是存在偏差。

    • 其次,根据\ meqref {gdfm_bias}和\ meqref {pneg},偏差也与p(y=1|x)有关。因此,如果转换率的绝对值较大,则frn引入的偏差可能较大。

    • 最后,采样分布p(e|x)可用于控制偏差。如果e长,则p(h>e)会更小。

    因此,p(y=0)+p(y=1)p(h>e)将接近p(y=0|x)。frn将更接近1,因为几乎没有假阴性。因此,pneg(x)frn(x)更接近p(y=0|x)。

    因此,我们可以控制等待时间(经过时间)分布p(e|x)以减少偏差,这是实现上述折衷的核心,也是现有方法的缺失部分。

    ▐  实验部分

    为了评估所提出的模型,我们进行了一系列实验,以回答以下研究问题:
    * RQ1与流式CVR预测任务的最新模型相比,ES-DFM的性能如何?
    * RQ2不同的运行时间选择如何影响性能?数据集的最佳运行时间是多少?
    * RQ3错误标记的样本如何影响流式训练中的重要性加权方法?
    * RQ4ES-DFM在在线推荐系统中的性能如何?

    ▐  流式训练实验协议


    我们设计了一种流式CVR预测的实验评估方法,可以充分验证不同方法在在线学习环境下的性能。在这项工作中,我们根据点击时间戳将流数据集划分为多个数据集,每个数据集包含一个小时的数据。该模型遵循工业系统在线培训的方式,先对t小时数据进行训练,然后对t+1小时数据进行测试,然后对t+1小时数据进行训练,再对t+2小时数据进行测试,依此类推。注意,训练数据是用假负片重建的,而评估数据是原始数据。因此,我们报告了不同时间的评估数据集的加权指标,以验证不同方法对流数据的整体性能。

    ▐  于p(e|x)的选取


    基于专家知识和上述偏差分析,可以设计抽样经过时间分布p(e|x)。例如,用户在购买高价产品时需要更多的时间来考虑,因此需要较长的等待时间。然而,公共数据集是匿名的,没有价格水平等信息。为了验证在流媒体设置中引入p(e|x)的有效性,我们执行了p(e|x)的简化实现。

    更精确地说,我们设置p(e=c|x)=1,其中c是一个常数,这意味着p(e|x)从一个分布退化到一个点。这给我们带来了以下两个好处。首先,我们可以在获得准确的反馈信息和保持模型新鲜度之间取得平衡,只需一个参数c。其次,我们在公共数据集中对不同的c进行了实验,实验结果表明选择最佳的c可以显著提高性能。

    ▐  标准的流式实验: RQ1


    从表中,我们可以看到,我们提出的方案在所有基线的基础上显著提高了性能,达到了最先进的性能。

    此外,还可以进行一些进一步的观察。DFM在匿名数据集和公共数据集的性能都比前者差。这是因为DFM难以收敛,因此无法在流式CVR预测中获得良好的性能,并且FSIW不允许在转换之后进行数据校正,这对于延迟反馈很重要。

    其次,在大多数情况下,FNC和FNW的表现优于常规基线。特别是,FNW在PR-AUC和NLL方面均优于基线,这与~\ciet{FNW}中的结果一致。

    第三,现有的方法在AUC方面没有表现出更好的性能,而我们的方法在公共数据集和匿名数据集上分别优于最佳基线0.26%和0.44%。

    据DIN中的描述,DIN提高了1.13%的AUC分数,在线CTR的改善为10.0%,这意味着线下AUC的微小改善可能会导致在线CTR的显著增加。

    在我们的实践中,对于最先进的CVR预测模型,即使0.1%的AUC改进也是相当可观的,并且实现了显著的在线推广。

    ▐  Elapsed Time的影响: RQ2



    为了验证不同选择的运行时间的性能,我们在Criteo数据集上使用不同的c值进行了实验。如图所示,Criteo数据集上最好的c大约是15分钟,在那里可以观察到大约35%的转换。

    此外,较大或较小的c都会降低性能。在较小的c时,性能下降缓慢,说明重要性加权模型引入的偏差较小。当c较大时,性能下降得更快,这表明当c增加时,数据的新鲜度更重要,并且c大于1小时将严重损害性能。

    ▐  鲁棒性实验: RQ3

    在延迟反馈设置中,同一样本可以被标记为阴性或阳性。它与使用嘈杂的标签noiselabel学习密切相关,其中一些标签是随机翻转的。我们假设一个处理延迟反馈问题的方法不仅要纠正错误的标签,而且要在纠正错误标签或纠正失败之前(例如,如果权重模型偏离太多,偏差将很大,校正将失败)减少错误标签的负面影响。

    因此我们进行了稳健性实验。我们随机选择流数据集中所有正样本的d部分,然后将其标签(点击时间和支付时间)与随机选择的负样本交换。注意,我们不干扰预训练数据集,因此初始CVR模型和预训练重要性加权模型不受干扰。

    我们用不同的干扰强度d进行了实验,结果显示在图中。我们可以看出,与FNW和FSIW相比,我们的方法具有更强的抗干扰能力,并且随着干扰的增加(尤其是在NLL上),性能差距也更大。

    FNW不抗干扰的原因是,FNW的加权估计和CVR预测都使用同一个模型,因此一个受干扰的CVR样本不仅会影响CVR预测模型,而且会影响重要性权重,从而步削弱了FNW的假阴性校正能力。对于FSIW,由于其重要性加权计算存在倒数且其值是无界的,因此在不正确的样本上权重可能很大,并且当d增加时,性能会显著下降。

    ▐  在线ABTest: RQ4


    我们在在线评估框架中进行了A / B测试。我们观察到性能持续改善,与最佳基准相比,AUC在7天之内增加了0.3%,CVR增加了0.7%,GMV(商品总销量)增加了1.8%,其中,GMV由交易计算商品数量乘以每件商品的价格。在线A / B测试结果符合我们的离线流媒体评估,并显示了ES-DFM在工业系统中的有效性。

    ▐  总结


    从未考虑过在流训练设置中标签准确性和模型新鲜度之间的权衡,这是该方法的主动决定,而不是离线设置中的被动功能。在本文中,我们提出了经过时间分布来平衡标签准确性和模型新鲜度,以解决流式CVR预测中的延迟反馈问题。我们通过经过时间采样分布下的重要性采样来优化对真实转化分布的期望。此外,我们提出了严格的流式培训和测试实验协议,可以更好地与实际工业应用相吻合。最后,大量实验证明了我们方法的优越性。

    ▐  未来展望


    更复杂的采样分布p(e|x) +对整个delay分布的p(h|x,y=1) 的预估,具有以下挑战:
    * 采样分布难以优化,可以人工选取,调参难度大。
    * delay分布任务难度大,导致偏差大;
    * 多步计算存在误差的累积,偏差进一步加大。


    参考文献

    [1]. Pattern recognition and machine learning, Springer 2017
    [2]. Modeling Delayed Feedback in Display Advertising, KDD 2014
    [3]. Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction, Recsys 2019
    [4]. A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback, WWW 2020
    [5]. A Nonparametric Delayed Feedback Model for Conversion Rate Prediction, arxiv 2018


      阿里巴巴集团淘系技术部2021实习生招聘啦~  

    淘系技术部是一支具有商业与技术双螺旋基因的团队,负责淘宝、天猫、闲鱼、躺平的技术与业务。

    只要你对技术感兴趣,想要和团队一起成长,就可以扫描下方海报二维码加入我们啦!

    ????橙子说

    由于成交转化通常不会在用户点击后立即发生,这使CVR的预估更加复杂。而我们提出的ES-DFM模型非常有效得平衡了延迟反馈问题。

    基于此,你有什么观点?欢迎留言区交流学习~

    ✿  拓展阅读

    作者|向寒

    编辑|橙子君

    出品|阿里巴巴新零售淘系技术

    展开全文
  • bug反馈表模板

    2018-08-01 09:47:31
    供测试使用,反馈bug模板,参考Bug解决描述Bug关闭描述(bug关闭之后由测试人员填写
  • 在线问题反馈系统

    2018-01-10 10:48:34
    基于Java开发的在线问题反馈系统源码,比较简单的页面,有数据库文件,两种角色,提问者需要注册,可以自己新增功能
  • 问题反馈模板

    2016-02-23 17:34:11
    运营常用问题反馈模板,更快的整理问题汇总和分析。
  • 技术问题反馈

    2021-03-20 04:36:00
    技术问题反馈表.pdf 介绍了关于技术问题反馈表的详细说明,提供世纪星的技术资料的下载。
  • 反馈到底有多重要?

    千次阅读 2019-11-27 20:12:40
    反馈是什么呢?反馈到底有多重要呢?很多人可能没有直接概念,或者是没有太多意识,我们先举几个例子:比如说小时候,我们偷了父母的钱,去买了点零食,父母知道后,会告诉我们这件事情不能做,那是不对的等等,在...

    反馈是什么呢?反馈到底有多重要呢?很多人可能没有直接概念,或者是没有太多意识,我们先举几个例子:比如说小时候,我们偷了父母的钱,去买了点零食,父母知道后,会告诉我们这件事情不能做,那是不对的等等,在我们长大的过程中,我们会经常接收到父母给我们的各种教导,哪些可以做,哪些不可以做,哪样是对的,哪样是不对的,其实这些统统都是反馈,在父母与我们不断的反馈过程中,我们明确了做事的边界,知晓了行为的高低;再比如我们在从小到大上学的过程中,都经历过课堂的提问、每天的作业甚至大大小小的各类考试,其实这些也都是反馈,通过这些反馈老师、父母、我们自己可以知晓我们对那些知识的掌握程度和理解情况;长大后,我们都参加了工作,单位的制度和流程会告诉我们应该按照什么要求去做事,部门的领导会指导我们正确的工作方法和分析问题的思路,甚至我们日常接触到的,如代码审查和走读、文档的校对、质量的审核、研发体系里开发与测试的角色等等,本质上这些都包含反馈的思想。“件件有着落,事事有回音”是形容人做事靠谱,善于反馈的意思;项目管理体系五大过程组“启动-规划-执行-监控-收尾”中的“监控”就存在反馈的思想;PDCA循环“计划-执行-核验-改进”中的“校验”也存在反馈的思想;我们平时拿着的体检报告单和检查结果其实也是对自我身体的一种反馈。总之,反馈无处不在,无时不有,通过反馈我们才能明辨是非,知晓对错,理解深浅。

    下面详述下我对反馈的理解。


    一、反馈的定义及分类

    按照我的理解,反馈就是告诉对方是好是坏,是对是错,是允许还是禁止,它是一种沟通和交流的思维方法。简单理解,反馈就是一把标尺,帮助我们判断自我行为、丈量这个世界。道德和法律就是一种反馈社会运行标尺的媒介;公司的愿景、价值观、管理理念、相关的制度和流程也是一种反馈的公司运作标尺的媒介;每个人的习惯、爱好、特点都有相关的反馈媒介,只不过有的不是那么容易评判罢了。

    如果简单分类的话,我认为反馈可以分为正向反馈和负向反馈两种。正向反馈就是告诉对方这是对的,做的不错,值得鼓励;负向反馈就是告诉对方这是错的,不应该做,需要吸取教训。


    二、反馈的及时性及有效性

    在反馈的时候,我觉得两点非常重要:1、反馈的及时性;2、反馈的有效性。

    反馈的及时性就是反馈一定要及时,而不是等待一段时间之后再反馈。比如说我们想表扬某一位同学,那么就立刻并及时的表扬他,不要拖拉。因为随着时间的推移,人们的记忆和意识会模糊,越晚反馈效果越差。

    反馈的有效性就是反馈一定要准确、有见地,而不是胡乱反馈、不负责任。比如说大家都提交了一堆代码,相关代码的审核人一定要专业地、正确地反馈提交代码的情况,以便相关人员明确规则、持续提高。


    三、反馈的意识及思维模型

    我认为反馈的意识极其重要,但是我们日常中却很容易忽视。比如说孩子的教育问题,1-3岁期间的教育效果要远大于后续所有年的教育,这就是因为在早期,孩子们还没有建立正确的对错观念,完全取决于父母的反馈,如果父母知晓并善于与孩子们交流和互动,那么就可以更早、更有效的把孩子培养好。再比如说对于刚毕业的年轻人,初入职场,没有养成写工作日志的习惯,也没有意识写详细的代码注释,这时候如果相关负责人没有反馈的话,很多新人就会理所当然的认为这样也可以,久而久之的话新人就会养成很多不好的工作习惯,究其原因就是因为新人没有被反馈这样做是不对的,是需要改进的。

    我认为的反馈思维模型:

    第一层级:主动反馈,刻意反馈。

    这个层级是反馈的基础,反馈要主动并且刻意的练习,固化成自我思维模式。

    第二层级:及时反馈,有效反馈。

    这个层级是反馈的原则,反馈必须要及时和有效,而不是拖拉和随意,因为那是不负责任的表现。

    第三层级:事事反馈,闭环思维。

    这个层级是反馈的思维,凡是都应该反馈,凡是都应该具有闭环思维。在日常的工作和生活中,都需要建立反馈思维。


    总之,反馈是沟通和交流中非常重要的一个环节,也是工作和生活中必备的思维意识。

    通过反馈,我们可以更高效、更直接的与对方交流信息;

    通过反馈,我们可以更快速、更明确的判断自我行为和方式;

    通过反馈,我们可以更立体、更全面的提升自我的思维和知识域。

    我认为读书是与书里的人、书里的事、书里的观点进行时空的对话和反馈的过程。

    我认为写作是与自我知识域、自我思维模式、受众对象进行内心交流和反馈的过程。

    我认为闭环思维、校验核对、沟通交流等都充满着反馈的意识和思想。

    反馈,可以让他人变的更好,也可以让自己变得更好。

    因为反馈,所以进步。

    展开全文
  • 反馈工具BIC

    万次阅读 2019-04-07 17:07:34
    BIC工具就是为解决这一反馈问题的工具。B代表Behavior(行为),I代Impact(影响),C代表Consequence(后果)。 B:谈及对方行为的时候,要说事实而不是说观点。比如员工经常迟到,找对方谈话,不能说“你又迟到了...

    BIC工具就是为解决这一反馈问题的工具。B代表Behavior(行为),I代Impact(影响),C代表Consequence(后果)。

    B:谈及对方行为的时候,要说事实而不是说观点。比如员工经常迟到,找对方谈话,不能说“你又迟到了吧”,而应该说“九点上班,你是九点十分才到吧”,这样就可以避免预设对方是不负责任的员工,构建谈话的基础,让对方更容易听进去。

    I:这部分需要谈及影响,这种影响是短期的、局部的,比如员工没有按时完成任务,导致项目延期,整个团队受到了损失,要一起加班。谈及这一部分可以警醒员工之后注意。

    C:后果指的是长期后果,比第二部分的影响更为深远。在这一部分里需要注意的是,不能只谈公司(团队)的深远影响,而要尽量和员工本人的长期发展挂钩,让对方清楚这些失误、错漏关系到他自身的核心利益。只有这样才能真正引起对方的重视。

    BIC工具需要反复练习,从一点一滴开始,持续进步。BIC工具也不只适用于团队管理,也可以用在家庭领域,用来教导孩子。使用好BIC工具,才能实现真正有效的反馈,真正提升领导力。


    学习《可复制的领导力》有感

    近期重新回顾了樊登的《可复制的领导力》,总结分享给大家。

    首先,明确一下领导力的概念。领导力是一系列的工具,是可以学习的。

    员工的执行力等于领导的领导力

    在日本企业,领导给员工交代工作任务,一般需要交代五遍(此方法值得学习)

        1. 第一遍,交代清楚事项;
        2. 第二遍,要求员工复述;
        3. 第三遍,和员工探讨此事项的目的;
        4. 第四遍,做应急预案;
        5. 第五遍,要求员工提出个人见解。
    

    反思一下之前布置任务的草率,最后员工没有完成,还经常会怪到员工的执行力问题。

    领导和管理的核心区别在哪里?

    管理的核心驱动是:怕。
    互联网时代,怕已经不管用了。互联网放大了很多人的能力,可以随时随地找到赚钱机会;
    
    领导的核心驱动是:尊敬和信任
    

    游戏改变领导力

        首先,要有共同的目标,最好是宏大的目标
            目标不是上市、买房子、赚多少钱,目标要为这个社会做一些改变,解决一些问题;
            钱的激励效果非常有限,持续半个月效果就没有了;
            如果公司没有给员工目标感和价值感,员工只能和别人比待遇,疯狂地问你要钱;
    
        其次,要有清晰明确的规则
            韩都衣舍,依靠一个规则进行自组织的管理;
            海星模式 vs 蜘蛛模式:蜘蛛模式,分支会影响全局,传统的组织架构模式;海星模式,把海星切开,变成两个海星,新型的组织架构。当然,没有绝对的好坏,适合才重要;
            海尔:一大半的员工都不发工资。樊登读书社也是个例子;
            产品尽快推向市场,有人愿意出钱买,这才是真正的用户,这才有可能得到真正的反馈
    
        再者,及时反馈
            问一下自己,多长时间给员工一个正面的反馈,来给员工提升士气;
            当员工做对事情的时候,一定要抓住机会,这是塑造他的行为的最好时机;
            当员工做错事情的时候,这时候是你拉近关系最好的时机。
    
        最后,自愿参与
            From《联盟》,点燃员工:你想成为什么样的人?
            和员工达成协议,将公司的目标和员工的目标达成一致;
            一个企业的格局有多大,你有没有替你的员工的成功着想过;
            千万不要把员工视为物,而不是一个人,激发善的力量;
    

    管理,就是最大限度地激发人的善意 —— 彼得·德鲁克

    创业要摈弃线性思维,比如,以下都是线性思维:

    • 一分耕耘,一分收获;
    • 风险和收益成正比。

    摒弃线性思维和要用好社会的非对称性是一回事。要找那些收益指数性大于付出的事情,也就是反脆弱性的实践。

    沟通很重要

        沟通很重要,这是信任和尊敬的来源;
    
        沟通视窗中的四个象限是可以相互转化的
            把隐私象限转化为公开象限,我们可采用“自我揭示”的方法,主动向他人说自己的想法,让别人多了解自己;
            把盲点象限转化为公开象限,采用的方法是“恳求反馈”,请求他人指出自己的盲点;
    
        通过沟通,放大公开象限的面积。而公开象限面积则是决定了你对一个人的信任和尊敬;
    
        这也是之前为什么说任务要布置五遍的原因。
    

    管理者角色

    管理者/领导者/执行者,每个人身上有的三个角色,要做好平衡工作。

    • 管理者的定义:是通过别人来完成工作的人。很多企业中,老板一天到晚不断地指挥,员工会被我指挥得转圈。很多公司从老板到员工都很勤奋,但干了十年还在原地打转;
    • 老板得能够忍住,有时候得知道问题不说。老板为什么要批评员工,因为老板自己不成熟,老板是一个孩子,希望划清责任、推卸责任;
    • 看一个管理者是否合格,要看他培养出来的队伍;
    • 学会睁一只眼,闭一只眼。
    • 领导者的定义:领导者是通过营造氛围来提升绩效的人
    • 善于发现人的优点,并且表扬他;
    • 管理者是算账的人,这样的人公司必须需要;
    • 领导者不应该只挑毛病,《你的生存本能正在杀死你》这本书说明人爱挑毛病的原因。

    初级管理者是以执行为中心,高层管理者是以氛围为主,中层管理者都要兼备;

    领导力技术

    领导需要观念,也需要相应的技巧。

    倾听和提问是一门学问

    • 倾听他人是交流的开始,要保持专注、深呼吸,给对方安全感,让对方说出心中的想法;
    • 倾听的最高境界是学会反映情感、学会反馈。反馈是塑造员工行为的最重要的工具;
    • 提问时,要多提开放性问题,而不是封闭性问题。封闭性问题包括,“是不是?”,“对不对?”,“好不好?”限制了对方的回答,往往会引起对方情绪上的抵触;
    • 开放性问题即不留预设的问题,没有引导的倾向性,如“你觉得怎么样?”,“你有什么想法?”;

    正面反馈和负面反馈之外,还要设置层级的区分

    1. 零级反馈:没能及时反馈,给出的反馈为零。零级反馈往往会打击员工的积极性;
    2. 一级反馈:领导给出评价,如“小张,干得不错”,“这个想法好”,但一级反馈还是不够;
    3. 二级反馈:二级反馈是在一级反馈基础上再进一步,不光要求领导者说出对员工的评价,而且要给出理由。比如,小张干得不错,到底是哪里不错?这个想法好,到底好在哪里?这些都需要和员工说清楚;

    学会反馈,员工更有干劲,团队也会更加和谐。

    BIC工具

    在做负面反馈时,最重要的是做到“对事不对人”,BIC工具就是为解决这一问题的工具。

    • B:Behavior(行为),要说事实而不是说观点。比如员工迟到,不能说“你又迟到了”,而应该说“九点上班,你是九点十分才到的吧”
    • I:Impact(影响),这种影响是短期的,局部的。比如员工没有按时完成任务,导致项目延期,整个团队受到了损失,要一起加班,谈及这一部分可以警惕员工之后注意;
    • C:Consequence(后果),后果指的是长期后果,比第二部分的影响更为深远。不能只谈公司(团队)的深远影响,而要尽量和员工本人的长期发展挂钩,让对方清楚这些失误关系到他自身的核心利益,只有这样才能真正引起对方的重视。

    推荐书籍

    《可复制的领导力》:二级反馈,如何表扬别人
    
    《哈佛商学院最受欢迎的领导课》:找到目标感,团队氛围
    
    《你就是孩子最好的玩具》:管理和教小孩子结合
    
    《高绩效教练》:辅导高级别的员工
    
    《关键冲突》:学会批评人
    
    《关键对话》、《非暴力沟通》:提高自己的沟通技术
    
    《精益创业》、《让大象飞》、《指数型组织》:创业的方法论
    
    《疯传》、《感官品牌》:现代的市场营销方法论
    

    其他

    和东方思想不一样,西方的思想重逻辑:

    • 大前提、小前提、结论;
    • 三段论:第一步、第二步、第三步。

    “什么是荒谬?持续不断地用同样的方法做同一件事情,但是期望获得不同的结果,这就是荒谬” —— 爱因斯坦

    这句话很有感触,用于自我激励,希望你也有所收获。

    展开全文
  • 管理者如何对待员工反馈

    千次阅读 2018-06-12 01:57:00
    相信在任何企业、团队中都一定会提倡员工反馈的行为,遇到问题及时向管理层反馈,不仅有利于问题的解决,更能够建立管理者与员工之间的有效沟通渠道。 离职小故事 近来在今日头条上经常有看到关于员工离职的文章...

    相信在任何企业、团队中都一定会提倡员工反馈的行为,遇到问题及时向管理层反馈,不仅有利于问题的解决,更能够建立管理者与员工之间的有效沟通渠道。

    离职小故事

    近来在今日头条上经常有看到关于员工离职的文章,马云最有名的经典语录,员工为何要离职,一是钱给的不够,二是心里受委屈了。我们今天来谈一下小A的离职故事。小A是一个程序员,在公司干了一年多,入职以来一直是团队的核心开发人员,近日从公司离职,原因就是四个字反馈无用。进入公司的一年多时间,一直勤勤恳恳工作,由于团队处于初创时的扩张期,暴露出许多问题,一年时间研发总监级管理层连换三任。管理层、团队存在许多问题,作为一名职业素养比较高的程序员,小A发现问题后不间断地向管理层反馈,从部门经理到技术总监、再到人力资源,所有能接触到的管理层都反馈过。结果就是,每一任管理层都是敷衍了事。多少个夜晚,作为一个程序员的小A不是在敲代码,而是在冥思苦想团队问题如何解决,默默地敲着几千字的邮件。可得到确实杳无音讯,领导只是一句“辛苦了”,然后让他静静等待,等到主帅一换再换,一封辞职信终结所有。
    image.png

    为何要反馈

    任何一家企业、团队都是提倡员工反馈的,这应是毋庸置疑的。一方面,对于管理者而言,由于工作职能的不同,管理者的工作偏向全面性。而且人的精力是有限的,对于一个百人团队来说,管理层不可能做到了解每一个人,了解团队中发生的每一件事,存在的所有问题。假设缺少反馈机制,就会在管理层与基层工作者之间形成鸿沟,管理层所得到的信息缺少,将影响到其决策的正确性。另一方面,从基层员工角度来看,反馈机制能提升员工的主人翁意识,员工乐于反馈、积极反馈实际上是在乎公司的体现。而且,健全的反馈机制,有助于员工表达自己的心声,展现自己的才能。若是员工不愿意反馈,即使存在问题也是视而不见,那将直接影响到团队的和谐发展,会让问题越来越多、越滚愈大,对团队是重大伤害。将问题掩藏着,不代表其不存在,不在沉默中爆发,即在沉默中灭亡。

    如何对待

    及时给予肯定

    这一点及其重要,小A的故事已经说的很清楚。当员工乐于反馈时,代表这他是真正把自己当初团队的一份子,表达的是对团队的关心。对于这种行为,管理者一定要及时地给予肯定。尚且不论其真实性、合理性,光是这一份心意就应该得到赞扬。尤其是对于一些问题的反馈,一定要尤为重视。为什么每个人离职时,HR都会问其对团队看法,有什么建议。所谓人之将去,其言也善。就因为要离开时,什么都不在乎,所以才回说实话,对于那些在职的人能够勇敢说话的人,更应该给出肯定。

    处理后给出结论

    一种领导是对于反馈视而不见,还有另外一种就是忽悠之。收到反馈之后,没有任何行动,敷衍了事。给予肯定只是第一步,重要的是落实。无可否认,管理者经常会收到很多的反馈,处理起来确实很累。但是,反馈问题的处理、意见的采纳一定是明主必备的素质。光说不练假把式,若管理者常常敷衍,常忽悠下属,早晚必会被忽悠。将反馈的问题认真对待,给反馈者一个结果,这会让员工感受到满满的重视感。会极大提升其积极性,哪怕是证明其反馈并不是事实。最起码,会让基层员工感受到,自己的言行是得到领导的重视,在后续工作中若是发现问题,也会勇敢提出来。

    结束语

    重要的话说三遍,无论从哪个角度而言,反馈都是及其重要的。管理者不能视而不见,必须格外重视,不管其真假性,以及可否解决。但必须给出一个答复。今日你忽悠他人,他人定会被他人忽悠。

    展开全文
  • Html 用户反馈界面

    千次阅读 2019-06-01 14:12:27
    Html 用户反馈界面 ...用户反馈页面</title> </head> <body> <h1 align=center>用户反馈表单</h1> <form method="post" > <p>姓&nbsp;&n...
  • "navigationBarTitleText": "问题反馈" } .wxml <view class="container"> <image class='about-banner'src='/images/图片名.jpg'></image> <button open-type='feedback' type='primary'>...
  • 微信小程序使用意见反馈

    千次阅读 2019-05-17 14:32:05
    使用微信提供的意见反馈 一、button调用意见反馈 1、直接上代码 <button open-type='feedback'>意见反馈</button> 简单吧、看点击调用效果 2、出现很多list 随便点一个先发送看一看 3、反馈成功 4、...
  • 小程序页面跳转与意见反馈

    千次阅读 2020-02-25 14:28:21
    小程序My功能(一) open-type="feedback与老版不同,新版已经改为该页面,提建议可以在其它异常。而且在开发工具,这个功能是无法打开,只有真机测试可以体验。 跳转外部页面 微信小程序无法在直接内部打开并...
  • 反馈问题是经典的NP难问题,在电路测试、操作系统解死锁、分析工艺流程、生物计算等领域都有重要应用,按照反馈集中元素类型可分为反馈顶点集(FVS)问题反馈边集(FAS)问题。人们利用线性规划和局部搜索等技术设计...
  • PC端,问题反馈软件

    2014-04-26 00:14:21
    反馈问题专用,pc端使用问题专用,提供后台支持
  • 问题反馈信息处理平台开发过程

    千次阅读 2018-09-29 19:35:36
    问题反馈信息处理平台开发过程   “问题反馈信息处理平台”是一个将用户反馈上来的出错信息进行处理和收集的一个平台。 这个项目主要都是在实习的时候由我一个人进行开发,我导师在旁边进行指导完成的。 该项目...
  • 自动控制原理的matlab实现,可以配合自动控制原理课本进行实践,难得的一本好书,200来页,国外写的,翻译过来的。不错,推荐
  • 如何及时汇报反馈工作

    千次阅读 2016-04-19 23:12:38
    我们在工作中经常会忘记一些重要的事情,对这些时间...3.和朋友讨论过程中、或者其他渠道中获得与公司有关的信息,都需要及时反馈。 4.对事情的汇报需要客观、详尽,从多角度阐述问题。 5.汇报工作不要过多的具体细
  • 意见反馈和聊天界面

    2015-01-12 11:55:09
    这是个意见反馈的界面,并可以发送图片和文字。也可以用于聊天界面。还可以设置聊天背景,和聊天框的模式。
  • HTML5意见反馈提交表单页面模板支持文本编辑,图片上传预览,联系方式,账号非空检测,帮助中心等功能。
  • 测试问题反馈需要包含内容总结

    千次阅读 2019-01-23 11:27:59
    测试人员在测试中,问题反馈包含的一些内容:  1.问题描述(简要叙述测试出现的具体问题)  2.测试环境(测试所用的具体环境具体的版本信息,比如客户端要写清客户端的版本和手机型号等信息  3.测试用例(测试的是...
  • 在一个整体中,及时将自己的进度反馈出来,将提高团队的效率。整理出了一些可供参考的汇报节点: 1. 工作计划制定完成 让上级了解计划的基本内容,执行流程与预期效果。获得反馈之后再根据领...
  • 近期UI设计师岗位面试反馈的常见问题: 当我们面试前没有准备充分时,很多人在面试过程中面对一些“突如其来”问题,不知该如何回答;往往身怀技能却被一些问题难到/困惑。 希望通过这些整理,在结合自己实际的...
  • 以阻容耦合电压串联负反馈为例,对一些文献资料所介绍的实验方法、实验方案、 实验电路进行了分析与探讨,指出了所存在的某些错误问题。主要分析讨论了考虑和不考虑反 馈网络负栽作用时无反馈基本放大电路的差别、...
  • 解决Windows反馈中心高级诊断无法记录的问题以下是解决办法 去微软社区请教了社区的工作人员,根据他们的操作叫我使用Dism和sfc命令修复电脑,重启后再试,还是下图这个错误。最后是我自己突然想起了很早之前设置了...
  • 反馈质量问题的处理情况与案例分析答案反馈质量问题的处理情况与案例分析答案
  • 反馈电路

    千次阅读 2019-06-11 15:12:38
    概念性理解什么是反馈电路、什么是负反馈、什么是正反馈、如何判断正负反馈? 一、反馈放大电路 基本放大电路中,有源器件(晶体管等)具有信号单向传递性,被放大信号从输入端输入放大电路以后输出,存在输入信号...
  • matlab开发-状态反馈的一般形式。简单函数用于求解极点配置问题中状态反馈的一般形式。
  • 问题反馈中心

    千次阅读 热门讨论 2018-12-29 20:02:13
    请在此留言您的意见或建议!我们将及时作出反馈
  • 针对一类采用线性分式模型描述的结构反馈不确定广义系统,当系统状态不可测时,讨论其基于输出反馈的鲁棒模型预测控制问题,采用变量替换方法以及线性矩阵不等式技术对含有输出反馈控制器增益矩阵的非线性不等式进行解...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 427,026
精华内容 170,810
关键字:

反馈问题