精华内容
下载资源
问答
  • having great (or a certain) extent from one side to the ..."wide roads""a wide necktie""wide margins""three feet wide""a river two miles broad""broad shoulders""a broad river"broad in scope or cont...

    having great (or a certain) extent from one side to the other;

    "wide roads"

    "a wide necktie"

    "wide margins"

    "three feet wide"

    "a river two miles broad"

    "broad shoulders"

    "a broad river"

    broad in scope or content;

    "across-the-board pay increases"

    "an all-embracing definition"

    "blanket sanctions against human-rights violators"

    "an invention with broad applications"

    "a panoptic study of Soviet nationality"

    "granted him wide powers"

    (used of eyes) fully open or extended;

    "stared with wide eyes"

    very large in expanse or scope;

    "a broad lawn"

    "the wide plains"

    "a spacious view"

    "spacious skies"

    great in degree;

    "won by a wide margin"

    having ample fabric;

    "the current taste for wide trousers"

    "a full skirt"

    not on target;

    "the kick was wide"

    "the arrow was wide of the mark"

    "a claim that was wide of the truth"

    展开全文
  • wide&deep

    2021-03-18 13:22:33
    wide&deep顾名思义就是通过算法优化对用户进行个性化推荐(deep)和广泛推荐(wide)的算法。是谷歌公司发布于2016年的论文。比如再刷新闻的时候,软件时常会给你推荐很多种类,还会推荐你特别感兴趣的,这就和...

    原文链接:https://arxiv.org/pdf/1606.07792.pdf

    简单介绍

    wide&deep顾名思义就是通过算法优化对用户进行个性化推荐(deep)和广泛推荐(wide)的算法。是谷歌公司发布于2016年的论文。比如再刷新闻的时候,软件时常会给你推荐很多种类,还会推荐你特别感兴趣的,这就和这种算法差不多。当然这个得区分热点推荐等。

    main contributions:

    1. 帮助解决稀疏输入的通用推荐系统,用于训练带有嵌入的前馈神经网络和线性变换的线性模型。
    2. 这个推荐系统的实施和评估是在线实验
    3. 该算法在TensorFlow上有开源的数据接口,可以直接调用

    Wide&Deep算法框架

    在这里插入图片描述
    在Wide&Deep算法框架上分为两个部分一个为线性模型(Wide Models)
    公式为:
      Y = W T X + b   \ Y = W^{T}X+b\,  Y=WTX+b
    在个模型中我们将项目的特征作为输入也就是当做公式中的X,X = [x1, x2, x3,…xn], 公式中的W和b都是这个模型中的参数,通过训练可以得到这个模型的相关参数设置。
    在这里插入图片描述
    在上式中,就是一个做与运算的公式,只有都为true才为1,否则为0.通过这个公式,Wide Models可以捕捉了二元特征之间的相互作用,增加了广义线性模型的非线性。
    在这里插入图片描述
    上图为推荐系统在应用过程中的框架图。
    Deep Models部分是一个前馈神经网络的模型,公式为:
      a ( l + 1 ) = f ( W l a l + b l )   \ a^{(l+1)} = f( W^{l}a^{l}+b^{l})\,  a(l+1)=f(Wlal+bl)
    这个公式中的f表示的是激活函数,其中使用的是ReLu()函数,l表示的是神经网络模型的层数。

    Wide&Deep连解部分

    公式描述:
    在这里插入图片描述
    通过训练不同的wide和deep权重来计算wide和deep推荐的重要性,其中使用的是sigmoid激活函数。
    通过计算每个项目最终得分进行排名再对项目进行推荐。

    代码部分

    正因为Wide侧不能发现新模式,因此我们需要根据人工经验、业务背景,将我们认为有价值的、显而易见的特征及特征组合,喂入Wide侧

    Deep侧就是DNN,通过embedding的方式将categorical/id特征映射成稠密向量,让DNN学习到这些特征之间的深层交叉,以增强扩展能力。

    # Wide&Deep 模型的wide部分及Deep部分的特征选择,应该根据实际的业务场景去确定哪些特征应该放在Wide部分,哪些特征应该放在Deep部分
    def WideNDeep(linear_feature_columns, dnn_feature_columns):
        # 构建输入层,即所有特征对应的Input()层,这里使用字典的形式返回,方便后续构建模型
        dense_input_dict, sparse_input_dict = build_input_layers(linear_feature_columns + dnn_feature_columns)
    
        # 将linear部分的特征中sparse特征筛选出来,后面用来做1维的embedding
        linear_sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), linear_feature_columns))
    
        # 构建模型的输入层,模型的输入层不能是字典的形式,应该将字典的形式转换成列表的形式
        # 注意:这里实际的输入与Input()层的对应,是通过模型输入时候的字典数据的key与对应name的Input层
        input_layers = list(dense_input_dict.values()) + list(sparse_input_dict.values())
    
        # Wide&Deep模型论文中Wide部分使用的特征比较简单,并且得到的特征非常的稀疏,所以使用了FTRL优化Wide部分(这里没有实现FTRL)
        # 但是是根据他们业务进行选择的,我们这里将所有可能用到的特征都输入到Wide部分,具体的细节可以根据需求进行修改
        linear_logits = get_linear_logits(dense_input_dict, sparse_input_dict, linear_sparse_feature_columns)
        
        # 构建维度为k的embedding层,这里使用字典的形式返回,方便后面搭建模型
        embedding_layers = build_embedding_layers(dnn_feature_columns, sparse_input_dict, is_linear=False)
    
        dnn_sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), dnn_feature_columns))
    
        # 在Wide&Deep模型中,deep部分的输入是将dense特征和embedding特征拼在一起输入到dnn中
        dnn_logits = get_dnn_logits(dense_input_dict, sparse_input_dict, dnn_sparse_feature_columns, embedding_layers)
        
        # 将linear,dnn的logits相加作为最终的logits
        output_logits = Add()([linear_logits, dnn_logits])
    
        # 这里的激活函数使用sigmoid
        output_layer = Activation("sigmoid")(output_logits)
    
        model = Model(input_layers, output_layer)
        return model
    

    简单来说,这个模型的左边就是一个简单的线性回归模型,右边是一个DNN模型,通过这两个模型,训练出这两个模型各自所占的权重后,通过激活函数得到最终结果。当然这两个模型中DNN模型有对输入的数据进行embedding.

    思考

    思考题中有一个题目问道为什么deep不需要考虑数据的稀疏性的问题。我个人觉得这个可能就是embedding越来越常用,方法越来越多的原因。由于现在的数据量越来越大,如果依旧使用传统的协同过滤算法,或者简单的onehot编码等方法会存在运算量较大、数据稀疏性的问题。而使用embedding的方法,我们可以将某个项目的特征降维到,降低了运算的时间和空间复杂度的问题。同时还可以用过各种手段不断来优化项目的特征表示。这代表着我们可以通过这些手段得到更好的结果。
    由于这篇文章来自于谷歌,且发表于2016年。这其实给了我们很多启发,网络模型并不是越复杂越好,层数越多越好。很多时候一些简单的算法也能取得很好的效果。

    展开全文
  • Wide& Deep

    千次阅读 2018-08-12 18:26:49
    排序系统的发展: LR-->GBDT+LR FM-->FFM-->GBDT+FM|FFM FTRL-->GBDT+FTRL Wide&DeepModel Deep Neural Networks for YouTube ... Wide an...
    1. 排序系统的发展:

    • LR-->GBDT+LR

    • FM-->FFM-->GBDT+FM|FFM

    • FTRL-->GBDT+FTRL

    • Wide&DeepModel

    • Deep Neural Networks for YouTube Recommendations

    • Reinforce Learning

    1. Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中 [1]。wide and deep 模型的核心思想是结合线性模型的记忆能力(memorization)和 DNN 模型的泛化能力(generalization),在训练过程中同时优化 2 个模型的参数,从而达到整体模型的预测能力最优。论文见 Wide & Deep Learning for Recommender Systems。

    • 记忆(memorization) 通过特征叉乘对原始特征做非线性变换,输入为高维度的稀疏向量。通过大量的特征叉乘产生特征相互作用的“记忆(Memorization)”,高效且可解释,但要泛化需要更多的特征工程。

    • 泛化(generalization)只需要少量的特征工程,深度神经网络通过embedding的方法,使用低维稠密特征输入,可以更好地泛化训练样本中未出现过的特征组合。但当user-item交互矩阵稀疏且高阶时,容易出现“过泛化(over-generalize)”导致推荐的item相关性差。

    • 在推荐场景中是相关性和多样性的融合。

    1. Wide & Deep的模型结构:

     

    wide and deep模型中使用的特征包括两大类: 一类是连续型特征,主要用于deep模型的训练,包括real value类型的特征以及embedding类型的特征等;一类是离散型特征,主要用于wide模型的训练,包括sparse类型的特征以及cross类型的特征等。

    • W&D的特征包括三方面:      User-Feature:contry, language, demographics.      Contextual-Feature:device, hour of the day, day of the week.      Impression-Feature:app age, historical statistics of an app.    2.1)Wide部分的输入特征:      raw input features and transformed features [手挑的交叉特征].      notice: W&D这里的cross-product transformation:      只在离散特征之间做组合,不管是文本策略型的,还是离散值的;没有连续值特征的啥事,至少在W&D的paper里面是这样使用的。    2.2)Deep部分的输入特征: raw input+embeding处理      对非连续值之外的特征做embedding处理,这里都是策略特征,就是乘以个embedding-matrix。在TensorFlow里面的接口是:tf.feature_column.embedding_column,默认trainable=True.      对连续值特征的处理是:将其按照累积分布函数P(X≤x),压缩至[0,1]内。      notice1: Wide部分用FTRL+L1来训练;Deep部分用AdaGrad来训练。 使用BP算法采用joint train的方式训练。

                       notice2特征工程部分:1)连续特征归一化。2)离散特征去掉出现次数过少的特征,减少计算量。

                 notice3:tf.clip_by_global_norm防止梯度消失和爆炸。   2.3)  Wide&Deep在TensorFlow里面的API接口为:tf.estimator.DNNLinearCombinedClassifier 

    2.4)FM&DNN vs LR: FM 和 DNN 都算是这样的模型,可以在很少的特征工程情况下,通过学习一个低纬度的 embedding vector 来学习训练集中从未见过的组合特征。

    FM 和 DNN 的缺点在于: 当 query-item 矩阵是稀疏并且是 high-rank 的时候(比如 user 有特殊的爱好,或 item 比较小众),很难非常效率的学习出低维度的表示。这种情况下,大部分的 query-item 都没有什么关系。但是 dense embedding 会导致几乎所有的 query-item 预测值都是非 0 的,这就导致了推荐过度泛化,会推荐一些不那么相关的物品。

    相反,linear model 却可以通过 cross-product transformation 来记住这些 exception rules,而且仅仅使用了非常少的参数。

    总结一下:

    线性模型无法学习到训练集中未出现的组合特征;FM 或 DNN 通过学习 embedding vector 虽然可以学习到训练集中未出现的组合特征,但是会过度泛化

    • W&D的模型的训练:

    模型训练采用的是联合训练(joint training),模型的训练误差会同时反馈到线性模型和DNN模型中进行参数更新。相比于ensemble learning中单个模型进行独立训练,模型的融合仅在最终做预测阶段进行,joint training中模型的融合是在训练阶段进行的,单个模型的权重更新会受到wide端和deep端对模型训练误差的共同影响。因此在模型的特征设计阶段,wide端模型和deep端模型只需要分别专注于擅长的方面,wide端模型通过离散特征的交叉组合进行memorization,deep端模型通过特征的embedding进行generalization,这样单个模型的大小和复杂度也能得到控制,而整体模型的性能仍能得到提高。

    • Joint Training vs Ensemble

      • Joint Training 同时训练 wide & deep 模型,优化的参数包括两个模型各自的参数以及 weights of sum

      • Ensemble 中的模型是分别独立训练的,互不干扰,只有在预测时才会联系在一起

    1. 问题思考:目前的CTR预估模型,实质上都是在“利用模型”进行特征工程上狠下功夫。为什么线性模型有记忆能力,而DNN模型有泛化能力?文章指出,wide端模型通过离散特征的交叉组合进行memorization, deep端模型通过特征的embedding进行generalization. 同时wide and deep模型中使用的特征包括两大类:一类是连续型特征,主要用于deep模型的训练,包括real value 类型的特征及embedding类型的特征等;一类是离散型特征,主要用于wide模型的训练,包括sparse类型的特征以及cross类型的特征等。所有特征的汇总图如下:

     

    图中类与类的关系除了 inherit(继承)之外,同时我们也标出了特征类之间的构成关系:_BucketizedColumn 由_RealValueColumn 通过对连续值域进行分桶构成,_CrossedColumn 由若干_SparseColumn 或者_BucketizedColumn 或者_CrossedColumn 经过交叉组合构成。图中左边部分特征属于离散型特征,右边部分特征属于连续型特征。

    tf.contrib.layers.feature_column进行特征处理接口:

    (1)sparse column from keys

      (2)  sparse column from vocabulary file

      (3)  sparse column with hash bucket

      (4)  crossed column (笛卡尔积)

    (5)我们在实际使用的时候,通常情况下是调用 TensorFlow 提供的接口来构建特征的。以下是构建各类特征的接口:

     

    sparse_column_with_integerized_feature() --> _SparseColumnIntegerized

    sparse_column_with_hash_bucket() --> _SparseColumnHashed

    sparse_column_with_keys() --> _SparseColumnKeys

    sparse_column_with_vocabulary_file() --> _SparseColumnVocabulary

    weighted_sparse_column() --> _WeightedSparseColumn

    one_hot_column() --> _OneHotColumn

    embedding_column() --> _EmbeddingColumn

    shared_embedding_columns() --> List[_EmbeddingColumn]

    scattered_embedding_column() --> _ScatteredEmbeddingColumn

    real_valued_column() --> _RealValuedColumn

    bucketized_column() -->_BucketizedColumn

    crossed_column() --> _CrossedColumn

    1. 优缺点

      缺点:Wide 部分还是需要人为的特征工程。优点:实现了对 memorization 和 generalization 的统一建模

    2. ref:

      1. 模型代码讲解:https://blog.csdn.net/heyc861221/article/details/80131369

      2. 模型代码及特征工程详解2:https://blog.csdn.net/kwame211/article/details/78015498

      3. 官方代码:https://github.com/tensorflow/models/tree/master/official/wide_deep

      4. https://zhuanlan.zhihu.com/p/28202287

      5. https://zhuanlan.zhihu.com/p/31589565

      6. https://www.zhihu.com/question/56474891

    展开全文
  • Wide & Deep Learning模型介绍

    千次阅读 2018-04-21 12:58:52
    Wide & Deep Learning3 The Wide Component(Wide 组件) The Deep Component (Deep组件) Wide & Deep模型的联合训练 Wide & Deep Learning 是由Google Inc发表的paper:Wide &...


    Wide & Deep Learning 是由 Google Inc 发表的 paper <Wide & Deep Learning for Recommender Systems> 中提出的一种使用非线性特征的线性模型和一个用来 embedding 特征的深度学习进行联合训练 (joint training) 的方法 1

    Introduction2

    通过将稀疏数据的非线性转化特征引入到广义线性模型被广泛应用于大规模的回归和分类问题。通过广泛的使用交叉特征转化,使得特征交互的记忆性有效并且具有可解释性。然后,这导致应用过程需要做许多的特征工作。相对来说,通过从稀疏数据中学习低纬稠密的 embedding 特征,并应用到深度学习中,只需要少量的特征工程就能对潜在的特征组合具有更好的泛化性。但是当用户项目交互是稀疏和高纬数据的时候,利用了 embeddings 的深度学习则表现得过于笼统 (over-generalize),推荐的都是些相关性很低的 items。在这篇文章中,提出了一个 wide & deep 联合学习模型,去结合推荐系统的 memorizationgeneralization

    通过结合使用非线性特征的线性模型和用来 embedding 特征的深度学习,并且使用联合训练 (joint training) 的方法进行优化。主要思想基于交叉特征的线性模型只能从历史出现过的数据中找到非线性 (显性的非线性) ,深度学习可以找到没有出现过的非线性 (隐性的非线性) 。Memorization 就是去把历史数据中显性的非线性找出来,而 generalization 通过找出隐性的非线性提高模型的泛化性。

    推荐系统可以被看做是一个搜索排序系统,其中输入的 query 是一系列的用户和文本信息,输出是 items 的排序列表。给定一个 query,推荐的任务就是到数据库中去找出相关的 items,然后对这些 items 根据相关对象,如点击或者购买行为,并进行排序。

    和传统的搜索排序问题一样,在推荐系统中一个挑战就是区域同时达到 memorization 和 generalization。Memorization 可以被大概定义为学习 items 或者 features 之间的相关频率,在历史数据中探索相关性的可行性。Generalizaion 的话则是基于相关性的传递,去探索一些在过去没有出现过的特征组合。基于 memorization 的推荐相对来说具有局部性,是在哪些用户和 items 已经有直接相关联的活动上。相较于 memorization,generalization 尝试去提高推荐 items 的多元化

    在工业中,对于大规模的在线推荐和排序系统,像逻辑回归这样的广义线性模型由于实现简单,可扩展性好,可解释性强而被广泛使用。通过喂给它一些 one-hot 编码的稀疏特征,比如二值特征 (user_installed_app=netfix) 表示用户安装了 Netflix。Memorization 则可以通过对稀疏特征做交叉积转换获得,就是求交叉特征。比如 AND 操作 (user_installed_app= netflix, impression_app=pandora) 这两个特征,当用户安装了Netflix并且之后展示在Pandora上,那么得到特征的值为1,其余为0。这个交叉特征展示了特征对之间的相关性和目标 lable 之间的关联。在逻辑回归上实现 generalization 可以通过增加一些粗粒度的特征实现,如 AND(user_installed_category=video, impression_category=music ),但是这些都是需要人工做特征工程实现,工作量极大。此外,cross-product transformation 的一个限制就是他们不能生成从未在训练数据中出现过的 query-item 特征对。

    而 Embedding-based 的模型,比如因子分解机 (FM) 或深度神经网络,只需要很少的特征工程,通过为每个 query 和 item 特征对 (pair) 学到一个低维的 dense embedding vector,可以泛化到之前未见过的 query-item 特征对。但是如果潜在的 query-item 矩阵是稀疏,高秩的话,为 query 和 items 学习出一个有效的低纬表示往往很困难,比如基于特殊偏好的 users,或者一些很少出现的小众 items。在这种情况下,大多数的 query-item 没有交互,但是稠密的 embedding 还是会对全部的 query-item 对有非零的输出预测,因此能做出一些过泛化和做出一些不太相关的推荐。另一方面,利用交叉积特征 (cross-product features transformations) 的线性模型能用很少的参数记住那些异常规则 (exception_rules) 。

    Wide & Deep Learning3

    model

    The Wide Component (Wide 组件)

    Wide 组件是一个泛化的线性模型, y = w T x + b y=w^Tx+b y=wTx+b,如 Fig.1 图左所示。 y y y 是预测值, x = [ x 1 , x 2 , … , x d ] x = [x_1, x_2, …, x_d] x=[x1,x2,,xd] d d d 维特征向量, w = [ w 1 , w 2 , … , w d ] w = [w_1, w_2,…, w_d] w=[w1,w2,,wd] 是模型参数, b b b 是 bias。特征集包括原始的输入特征和转换后 (cross-product transformation) 的特征。Cross-product transformation 有如下定义:

    ϕ k ( x ) = ∏ i = 1 d x i c k i , c k i ∈ { 0 , 1 } (1) \phi_k(x)=\prod_{i=1}^{d}x_{i}^{c_{ki}}, c_{ki} \in \{0, 1\}\tag1 ϕk(x)=i=1dxicki,cki{0,1}(1)

    其中 c k i c_{ki} cki 为一个 boolean变量,如果第 i i i 个特征是第 k k k 个变换 ϕ k \phi_k ϕk 的一部分,则为1,否则为0。对于二值特征,一个 cross-product transformation (比如:“AND(gender=female, language=en)”) 只能当组成特征 (“gender=female” 和 “language=en”) 都为1时才会为1, 否则为0。这可以捕获二值特征间的交叉,为通用的线性模型添加非线性 (显性的) 。

    The Deep Component (Deep组件)

    Deep 组件是一个前馈神经网络 (feed-forward NN),如 Fig.1 图右所示。对于类别型特征,原始的输入是特征字符串 (比如:language=en) 。这些稀疏的、高维的类别型特征首先被转换成一个低维的、dense 的、real-valued 的向量,通常叫做 embedding vector。Embedding 的维度通常是 O ( 10 ) O(10) O(10) O ( 100 ) O(100) O(100) 阶。该 embedding vectors 被随机初始化,接着通过最小化最终的 loss 的方式训练得到该值。这些低维的 dense embedding vectors 通过前向传递被 feed 给神经网络的隐层。特别地,每个隐层都会执行以下的计算:

    a l + 1 = f ( W ( l ) a ( l ) + b ( l ) ) (2) a^{l+1} = f(W^{(l)} a^{(l)} + b^{(l)})\tag2 al+1=f(W(l)a(l)+b(l))(2)

    其中, l l l 是层数, f f f 是激活函数 (通常为ReLUs) , a ( l ) a(l) a(l) b ( l ) b(l) b(l) W ( l ) W(l) W(l) 分别是第 l l l 层的 activations,bias,以及 weights。

    Wide & Deep模型的联合训练

    Wide 组件和 Deep 组件组合在一起,对它们的输入日志进行一个加权求和来做为预测,它会被 feed 给一个常见的 logistic loss function 来进行联合训练。注意,**联合训练 (joint training) 集成训练 (ensemble) **有明显的区别。在 ensemble 中,每个独立的模型会单独训练,相互并不知道,只有在预测时会组合在一起。相反地,联合训练 (joint training) 会同时优化所有参数,通过将 wide 组件和 deep 组件在训练时进行加权求和的方式进行。这也暗示了模型的 size:对于一个 ensemble,由于训练是不联合的 (disjoint) ,每个单独的模型 size 通常需要更大些 (例如:更多的特征和转换) 来达到合理的精度。相比之下,对于联合训练 (joint training) 来说,wide 组件只需要补充 deep 组件的缺点,使用一小部分的 cross-product 特征转换即可,而非使用一个 full-size 的 wide 模型。

    一个 Wide&Deep 模型的联合训练,通过对梯度进行后向传播算法、SGD 优化来完成。训练中使用 FTRL 算法和L1正则做为 Wide 组件的优化器,对 Deep 组件使用 AdaGrad。

    组合模型如 Fig.1 图中所示。对于一个 logistic regression 问题,模型的预测为:

    P ( Y = 1 ∣ x ) = σ ( w w i d e T [ x , ϕ ( x ) ] + w d e e p T a ( l f ) + b ) (3) P(Y = 1 | x) = \sigma(w_{wide}^{T} [x, \phi(x)] + w_{deep}^{T} a^{(l_f)} + b)\tag3 P(Y=1x)=σ(wwideT[x,ϕ(x)]+wdeepTa(lf)+b)(3)

    其中 Y Y Y 是二分类的 label, σ ( ⋅ ) \sigma(·) σ() 是 sigmoid function, ϕ ( x ) \phi(x) ϕ(x) 是对原始特征 x x x 做 cross product transformations, b b b 是 bias 项。 w w i d e w_{wide} wwide 是所有 wide 模型权重向量, w d e e p w_{deep} wdeep 是应用在最终激活函数 a ( l f ) a^{(l_f)} a(lf) 上的权重。


    1. Wide & Deep Learning for Recommender Systems ↩︎

    2. The Wide and Deep Learning Model (译文+Tensorlfow源码解析) ↩︎

    3. 基于Wide & Deep Learning的推荐系统 ↩︎

    展开全文
  • Wide & Deep模型

    千次阅读 2019-09-11 14:51:00
    Wide&Deep的右边就是DNN部分,左边的FM Function用的是线性回归,其特征组合需要人去设计。 Wide&Deep模型。它混合了一个线性模型(Wide part)和Deep模型(Deep part)。这两部分模型需要不同的输入,而Wide...
  • 解析Wide Residual Networks

    2019-10-25 16:58:39
    Wide Residual Networks (WRNs)是2016年被提出的基于扩展通道数学习机制的卷积神经网络。对深度卷积神经网络有了解的应该知道随着网络越深性能越好,但是训练深度卷积神经网络存在着这样子那样子的问题,如梯度消失/...
  • 推荐系统中的常用算法——Wide & Deep

    万次阅读 2017-10-07 20:10:16
    Deep Learning for Recommender Systems》后的总结,该文章中提出结合Wide模型和Deep模型的组合方法,对于提升推荐系统(Recommendation System)的性能有很重要的作用。 1、背景 本文提出Wide &amp; Deep...
  • Wide&Deep模型

    2021-03-19 00:25:48
    Wide&Deep 这次我们来学习推荐算法中的Wide&Deep模型。该模型出自Google 在16年发布的一篇文章 Wide & Deep Learning for Recommender Systems。在文中提出了一种融合浅层(wide)模型和深层(deep)...
  • wide & deep模型

    2020-02-17 14:00:50
    推荐系统在电商等平台使用广泛,这里讨论wide&deep推荐模型,初始是由google推出的,主要用于app的推荐。 概念理解 Wide & Deep模型,旨在使得训练得到的模型能够同时获得记忆(memorization)和泛化...
  • Wide and Deep 理解

    2020-03-30 16:57:12
    wide&deep 模型的核心思想是结合线性模型的记忆能力(memorization)和DNN 模型的泛化能力(generalization),在训练过程中同时优化两个模型的参数,从而达到整体模型的预测能力最优。 联合训练是指同时训练...
  • 可以通过导入wide_residial_network脚本并使用create_wide_residual_network()方法使用它。 可以更改几个参数以增加网络的深度或宽度。 请注意,可以通过以下公式计算层数: nb_layers = 4 + 6 * N 因此,N可以...
  • Wide & Deep算法

    2021-08-01 17:16:30
    一、模型介绍 推荐系统的挑战是 memorization与generalization memorization,记忆能力,学习items或者features之间的相关频率,在...1、Wide推荐: 系统通过获得用户的购物日志数据,包括用户点击哪些商品,购...
  • NUS-WIDE数据集预处理

    千次阅读 热门讨论 2020-11-24 20:46:43
    NUS-WIDE[1]是一个多标签(multi-label)数据集,26,9648 个样本、81 个类。从 [1] 下载几个文件: Groundtruth,label,解压后有 AllLabels/ 和 TrainTestLabels/ 两个目录,本篇只用前者。里面 81 文件对应 81 个...
  • NUS_WIDE数据处理

    千次阅读 2018-12-06 14:09:16
    单词异常的识别  计算WT的相似度 利用这个相似度找到knn k个近邻的标签补全或删除(也就是第二次降噪)(可以利用词频分析)  NLP相似度计算 ...NUS_WIDE数据库是计算机视觉...下面介绍一下数据库制作方法:  ...
  • wide & deep系模型

    2021-09-25 09:30:41
    1、wide &deep 2、deep crossing 3、DCN 4、DCN v2
  • wide & deep 特征区别

    2020-11-23 17:01:13
    wide 主要用作学习样本中特征的共现性,产生的结果是和用户有过直接行为的 item,通过少量的交叉特征转换来补充 deep 的弱点 wide侧的输入可以包含了一些交叉特征、离散特征及部分连续特征 其中基φk(x)是0/1布尔...
  • 问题描述:解决方法:出现这种状况的时候是xshell窗口放大情况下出现的。把窗口缩小既可以解决这个问题。再使用vi编辑文本就可以了。
  • 1、概述 人工智能的最终目的是为了模拟人的思维状态。而相对于传统的程序而言,人脑的工作机制是非常复杂的。...本章节将使用wide&amp;deep模型来实现。如下图所示: 在该模型中我们将wide模型由于特...
  • 文章目录第10章基于深度学习的排序模型WideAndDeep一、背景介绍之什么是深度学习1.1什么是神经元?1.2激活函数1.2.1阶跃函数 sigmod1.2.2双曲正切1.2.3修正线性单元1.3 什么是神经网络?1.3深度学习与传统的机器学习...
  • wide & deep Learning 实践

    2020-04-20 17:59:33
    主要是为了理解用法。 https://github.com/tensorflow/models/tree/r1.9.0/official/wide_deep tf.__version__ == 1.9.0 数据集是预测收入是否超过5万美元,二分类问题。 下载数据集: def _download_and_...
  • TensorFlow Wide And Deep 模型详解与应用

    万次阅读 多人点赞 2017-09-06 16:47:25
    作者简介:汪剑,现在在出门问问负责推荐与个性化。...Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中 [1]。wide and deep ...
  • Wide&Deep-Datawhale训练营

    2021-03-19 01:17:40
    Wide&Deep-Datawhale训练营 Wide&Deep介绍 今天学习的是由谷歌于2016年提出的Wide&Deep模型,自提出以来就在业界发挥着巨大影响力。 一句话概括: W&D由浅层(或单层)的Wide部分神经网络和深层的...
  • 深度模型笔记02 Wide&Deep 更多资料参考:datawhale 1. Wide&Deep 一句话概括W&D,W&D由浅层(或单层)的wide部分神经网络和深层的deep部分多层神经网络组成,输出层采用softmax或logistics ...
  • 推荐系统 - Wide & Deep

    2021-03-19 00:22:10
    Introduction精简概要wide模型介绍deep 模型介绍W&D模型1. Motivation2. Architecture3. Code4. Reference 0. Introduction Google 16年发布的Wide & Deep推荐框架,文章只有4页,思路页很简单。文中设计了...
  • WRN(Wide ResNet)

    2020-06-15 17:40:31
    Paper : Wide Residual Networks Code : official 摘要 深度残差网络能够将网络深度扩大到上千层,并且有很好的性能提升。但是,分类准确率每提高百分之一的代价几乎是层数的两倍。深度越深的网络,出现梯度消失的...
  • # 多输入,使用函数式方法 input_wide = keras.layers.Input(shape=[5]) #取前5个feature做为wide模型的输入 input_deep = keras.layers.Input(shape=[6]) ##取后6个feature做为wide模型的输入 hidden1 = keras....
  • 宽行示例 ...注意:这将删除键空间“datastax_widerow_demo”并创建一个新的。 所有现有数据都将丢失。 要指定接触点,请使用contactPoints 命令行参数,例如'-DcontactPoints=192.168.25.100,192.
  • 题目:Wide & Deep Learning for Recommender Systems 摘要 具有非线性特征变换的广义线性模型被广泛用于稀疏输入的大规模回归和分类问题。通过一系列方法来记忆特征交互效果是有效且可解释的,而泛化则需要...
  • {wide}^{T}[\mathbf{x},\phi (\mathbf{x})]+\mathbf{w}_{deep}^{T}a^{lf}+b) P(Y=1∣x)=σ(wwideT​[x,ϕ(x)]+wdeepT​alf+b) 在论文实验中,训练部分,Wide使用Follow-the-regularized-learder(FTRL)+L1正则, Deep...
  • wide&deep模型原理十分简单,说白了就是wide类模型与deep类模型的组合(借鉴google paper,但是选用模型不同)。 提出两个问题: 1、什么是wide类、deep类? wide类模型一般指的是复杂度不高的线性模型,以LR...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 59,741
精华内容 23,896
关键字:

wide的用法