精华内容
下载资源
问答
  • 论文笔记

    2018-02-27 22:18:09
    End-to-end learning of action detection from frame glimpses in videos 阅读笔记
    展开全文
  • NGCF论文笔记

    千次阅读 2020-04-20 17:10:12
    Neural Graph Collaborative Filtering论文笔记 论文地址:NGCF 代码地址:https://github.com/xiangwang1223/neural_graph_collaborative_filtering 简要概述 对user和item进行embedding是当前推荐系统的核心...

    Neural Graph Collaborative Filtering论文笔记

    简要概述

    对user和item进行embedding是当前推荐系统的核心,但如今不少算法只利用user或者item本身的特征进行embedding。文章将user和item当做二部图来表示,并通过算法在图上传播对user和item进行embedding,这样利用了item和user的交互信息,展示了user和item之间的high-order connectivity,能够更好的进行协同过滤,该算法就是NGCF在这里插入图片描述

    论文核心

    论文核心是网络的构建,有3个步骤:

    • 初始化user和item的embedding,可以随机初始化或者根据已知特征pretrain初始embedding
      E=[eu1,,euN,ei1,,eiM]euuser embedding,eiitem embeddingeu,eiRd,ER(N+M)×d E=[e_{u_1},\cdots,e_{u_N},e_{i_1},\cdots,e_{i_M}]\\ e_{u}是user\space embedding,e_i是item\space embedding\\ e_u,e_i\in R^{d},E\in R^{(N+M)\times d}

    • embedding propagation层,该层通过聚合有交互的user和item来更新user或者item的embedding
      uimui=1NiNu(W1eu+W2(euei))Ni,Nuitemuser 用户u与物品i有连接,则定义\\m_{u\leftarrow i}=\frac{1}{\sqrt{|N_i||N_u|}}(W_1e_u+W_2(e_u\otimes e_i))\\ N_i,N_u为item或user的邻接点集合,\otimes指元素间的乘法
      其中W1W_1W2W_2为可训练的参数,W1,W2Rd^×d,muiRd^W_1,W_2\in R^{\hat{d}\times d},m_{u\leftarrow i}\in R^{\hat{d}}
      muu=W1eu 同样定义m_{u\leftarrow u}=W_1e_u
      则更新用户u的embedding为
      eu=Leaky_ReLU(muu+iNumui) e_u=Leaky\_ReLU(m_{u\leftarrow u}+\sum_{i\in N_u}m_{u\leftarrow i})
      合起来写就是
      eu(l)=Leaky_ReLU(W1eu(l1)+iNu(1NiNu(W1eu(l1)+W2(eu(l1)ei(l1))))ei(l1) e_u^{(l)}=Leaky\_ReLU(W_1e_u^{(l-1)}+\sum_{i\in N_u}(\frac{1}{\sqrt{|N_i||N_u|}}(W_1e_u^{(l-1)}+W_2(e_u^{(l-1)}\otimes e_i^{(l-1)})))\\同理更新e_i^{(l-1)}
      最终将每一层的user或者item的embedding拼接起来成为最终embedding,这里便体现了上文所说的high-order connectivity,即高阶连通性,每深入一层,对于一个user或者item,能够收到它的更远的“邻居”的信息。
      eu=[eu1,eu2,,eul],ei=[ei1,ei2,,eil] e_u^*=[e_u^{1},e_u^{2},\cdots,e_u^{l}],e_i^*=[e_i^{1},e_i^{2},\cdots,e_i^{l}]

    • 最后依一层是预测层,给定用户u与物品i的评分为
      y^NGCF(u,i)=eu×(ei)T \hat{y}_{NGCF}(u,i)=e_u^*\times (e^*_i)^T

    整个网络的架构已经设好,最后通过损失函数来更新参数
    Loss=(u,i,j)Olnσ(y^uiy^uj)+λθ22(u,i,j)Ouiujσsigmodl2 Loss=\sum_{(u,i,j)\in O}-ln\sigma(\hat{y}_{ui}-\hat{y}_{uj})+\lambda||\theta||_2^2\\ (u,i,j)\in O指u与i有交互,u与j无交互\\ \sigma值sigmod函数,最后是l_2正则化防止过拟合
    整个网络架构如图在这里插入图片描述

    背景知识

    推荐系统的本质就是给用户和物品embedding,给定用户,根据embedding的结果来对所有物品进行评分,文章中的评分函数就是用户和物品的embedding的乘积,然后对评分进行排序,topN的物品就是要推荐给用户的物品

    推荐系统的评价指标:

    • Precision:
      Precison=uR(u)T(u)uR(u) Precison=\frac{\sum_u|R(u)\cap T(u)|}{\sum_u|R(u)|}
      R(u)R(u)为给用户推荐的物品的集合,T(u)T(u)为测试集上用户喜欢的物品的集合

    • Recall:
      Precison=uR(u)T(u)uT(u) Precison=\frac{\sum_u|R(u)\cap T(u)|}{\sum_u|T(u)|}
      R(u),T(u)R(u),T(u)意义同上

    • NDCG(Normalized Discounted Cumulative Gain)

      ​ 这个指标设计到用户对物品的评分

      • CG(Cumulative Gain): 对某一用户:
        CGp=i=1preli,reliiCGp CG_p=\sum_{i=1}^prel_i,rel_i是用户对第i个物品的评分\\CG_p越大越好

      • **DCG(Discounted cumulative gain):**在CG的基础上乘上一个位置递减权重
        DCGp=i=1prelilog2(i+1) DCG_p=\sum_{i=1}^p\frac{rel_i}{log_2(i+1)}
        这里个人理解是算出来每个物品的评分后,对于测试集中用户真实的喜欢的物品的评分相加,这就是CG但是用户对物品的喜欢程度也有不同,假设测试集中用户喜欢的物品安装喜欢程度递减来排列,那么就有必要乘上一个权重

      • NDCG(Normalized Discounted Cumulative Gain):

        显然上面两个指标对于不同用户之间差别是很大的,所以我们需要标准化,NDCG的意思是某个用户的DCG距离理想的情况的程度。
        IDCG=i=1preli^log2(i+1)reli^pNDCG=DCGIDCGNDCG1DCGIDCG IDCG=\sum_{i=1}^p\frac{\hat{rel_i}}{log_2(i+1)}\\ \hat{rel_i}指按照评分高低的排序取前p个物品的评分\\ NDCG=\frac{DCG}{IDCG}\\ 如果NDCG越接近1,则说明DCG与IDCG越接近

    最后,笔者刚刚入门,若有理解错误的地方还请各位大佬指出

    展开全文
  • LightGCN论文笔记

    2020-06-10 17:20:19
    LightGCN论文笔记 论文地址:http://staff.ustc.edu.cn/~hexn/papers/sigir20-LightGCN.pdf 这是何向南组发表在SIGIR2020上的一篇论文,论文中对比了LightGCN与之前发表的论文NGCF的对比,总体来说就是认为GCN中的...

    LightGCN论文笔记

    论文地址:http://staff.ustc.edu.cn/~hexn/papers/sigir20-LightGCN.pdf

    这是何向南组发表在SIGIR2020上的一篇论文,论文中对比了LightGCN与之前发表的论文NGCF的对比,总体来说就是认为GCN中的特征转化和非线性激活在协同过滤的过程中无作用且会增加模型的训练难度。下面就先来看看LightGCN的基本思路。

    LightGCN模型

    模型图如下:
    在这里插入图片描述
    模型的总体思路就是:
    (1)先将用户和项目节点的领域聚合
    (2)使用三层卷积层分别生成每层的嵌入
    (3)将节点的原始输入与生成每层新的嵌入做一个加权和
    (4)将用户和项目最终的生成节点表示做内积生成预测的分数

    LightGCN

    现在以论文中的公式描述一下以上思路:
    在这里插入图片描述
    这里的聚合器并没有像GCN中的聚合器一样使用了层变换和非线性激活,而是只用了一个简单的加权运算来用节点的邻域计算下一层的节点表示。这里也是对每层的节点做了一个正则化,以避免嵌入规模越来越大。特别需要注意的是,邻域聚合并没有用到自连接,根据作者的解释在最终将每层嵌入组合到一起时,起到了自连接的效果,所以在聚合时是不要增加自连接的。在这里插入图片描述
    以上公式是将每层生成的节点表示累加起来,生成最终的节点表示,其中系数α坐着在论文中统一在设置成了1/(K+1),所以也不过多讨论。

    在这里插入图片描述
    最后根据生成的节点表示做内积来得出最终的预测分数。

    总结

    LightGCN将传统的GCN中的特征转换和非线性激活去除,并且在CF上取得了很好的效果,同时,在聚合邻域时,LightGCN以层组合方式代替了传统GCN中的自连接。总之LightGCN易于训练,泛化能力强,效率高。

    新手一个,有问题请及时指出。

    展开全文
  • ESPCN论文笔记

    2020-02-29 13:20:12
    ESPCN论文笔记 论文:Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network 此前利用卷积神经网络(CNN)的图像超分辨率方法(Super Resoluiton, SR)中,...

    ESPCN论文笔记

    论文:Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

    此前利用卷积神经网络(CNN)的图像超分辨率方法(Super Resoluiton, SR)中,通常在图像预处理阶段利用双三次插值将低分辨率(LR)图像变换为目标分辨率,然后在高分辨率的条件下进行特征提取与图像重建(例如SRCNN)。这样做使得算法的计算复杂度很高,ESPCN提出了一种在低分辨率场景下提取特征并重建图像的网络结构,降低了计算量,提高了运行速度。

    网络结构

    首先将L层卷积神经网络直接应用于LR图像,然后应用亚像素卷积层(sub-pixel convolution layer)进行特征映射与放大生成高分辨率(HR)图像。亚像素卷积层就是ESPCN的主要贡献,其后有很多方法都仿照此,在LR上提取特征,继而经过亚像素卷积层提高分辨率。(sub-pixel convolution又称作pixel shuffle)

    一般通过卷积操作生成的特征图会比原始图像更小,而当步长小于1时,得到的特征图就会大于原始图像。这里就是将通过CNN生成的r²个H×W×C的张量转化成为一个rH×rW×C的张量。r为scale factor,H、W为图像宽高,C为图像通道数。

    损失函数

    MSE损失函数:

    与SRCNN同样的损失函数,能获得很高的PSNR值,但实际图像质量过平滑。

    测试结果

    展开全文
  • DRCN论文笔记

    2020-03-06 16:55:12
    DRCN论文笔记 DRCN将递归神经网络(Recursive Neural Network, RNN)用于图像超分辨率(Super Resolution, SR)问题中,在增加网络深度的同时没有引入过量参数,即提高网络性能的同时没有增加训练时间。针对深度RNN由于...
  • VDSR论文笔记

    2020-03-05 18:09:49
    VDSR论文笔记 VDSR将VGG网络模型用于图像超分辨率(Super Resolution, SR)问题中,大幅提高了网络深度,使得特征提取更加充分,同时在训练的过程中利用残差学习,大幅调高了学习率,是的训练时间明显缩短。 网络...
  • 论文笔记】SimRank论文解析

    万次阅读 多人点赞 2019-03-03 04:20:19
    SimRank论文解析 介绍 SimRank 系列研究开山之作:SimRank: A Measure of Structural-Context Similarity 主要研究在图中,关系结点之间的相似度定义。 论文的主要工作为: 形式上定义了SimRank 物体相似度计算,...
  • DeepLung论文笔记

    千次阅读 2017-10-13 18:47:09
    DeepLung论文笔记论文主要思路 DeepLung contains two parts,nodule detection and classification. 3D Faster R-CNN is designed for nodule detection gradient boosting machine(GBM) with 3D dual path ...
  • 为了看论文时更有条理,并且沉淀的东西更多更有用,我总结了一个自用的【论文笔记整理模板】,以xmind格式呈现
  • 论文笔记整理模板

    2020-10-15 11:56:19
    为了看论文时更有条理,并且沉淀更多,总结了一个自用的【论文笔记整理模板】,以xmind格式呈现。 免费下载链接
  • Kalman论文笔记

    2017-07-10 10:15:24
    因此笔者只发布Kalman的论文笔记,用表格的形式分析了几篇论文的Kalman filter的结构,希望对大家有帮助。 表格中包含有 论文名称 状态变量 转移矩阵 观测变量 观测矩阵 过程噪声 观测噪声 备注
  • YOLOv4论文笔记详解

    千次阅读 2020-05-02 20:31:16
    YOLOv4论文笔记 论文地址:YOLOv4: Optimal Speed and Accuracy of Object Detection (Optimal :最优的) Github上面已经有了一些代码: YOLOv4 的 TensorFlow 2.0 实现:...
  • GGNN和GCN的几篇论文笔记,介绍常用的两种图神经网络。个人笔记。
  • TOWARDS DEEP NEURAL NETWORK ARCHITECTURES ROBUST TO ADVERSARIAL EXAMPLES 论文笔记一、前言二、注入噪声三、去噪自编码(DAE)四、深度收索网(DCN) 一、前言 本文主要是为了探索对抗样本的特性和神经网络的...
  • 论文笔记:PRNet

    2020-07-22 10:56:26
    论文笔记:PRNet PRNet: Self-Supervised Learning for Partial-to-Partial Registration 1、现存问题 PointNetLK和DCP证明了基于学习的配准可以比传统方法更快和鲁棒,但是依旧在处理部分-部分配准上效果不好 2、...
  • QA问答论文笔记

    2019-09-06 16:28:51
    《Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering》论文笔记 背景: 在之前的研究工作中,都是将不同的QA任务放在不同框架中解决。在作者这篇论文中,...
  • 论文笔记】SimRank系列论文

    万次阅读 多人点赞 2019-03-06 03:35:52
    论文笔记: 原始的simRank提出了: 1.迭代的方法 2.random walk方法 并用公式证明了这两者是同样的 问题 :G^2 到底要干什么? 之后大量的工作除了精确地分出上述几个问题之外: 总体上可以...
  • MobileNet v1论文笔记

    2018-09-16 18:12:37
    MobileNet 论文笔记 论文链接 概述 论文思想非常简单,主要就是利用depthwise CNN的结构来减少计算量,从而减小模型大小。论文提出了两个超参数,可以简单的调整模型大小。出发点一个是从Filter大小上...
  • DeepWalk 论文笔记

    万次阅读 2017-03-23 16:07:26
    DeepWalk 论文笔记针对论文[1]的阅读撰写阅读笔记。这篇论文主要提出了在一个网络中,学习节点隐表达的方法——DeepWalk,这个方法在一个连续向量空间中对节点的社会关系进行编码,是语言模型和无监督学习从单词序列...
  • 论文笔记《3》

    2019-11-28 15:39:45
    论文笔记《Intelligent Reflecting Surface Aided Multi-User Millimeter-Wave Communications for Coverage Enhancement》
  • 对话推荐系统论文笔记 ##1, 2019 EMNLP Towards Knowledge-Based Recommender Dialog System   本文由清华大学和阿里巴巴发表,介绍了了一种基于知识图谱的对话推荐系统,该系统将对话系统和推荐系统整合成一个...
  • Deep Learning论文笔记之(五)CNN卷积神经网络代码理解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样。...
  • Bigtable论文笔记

    万次阅读 2019-03-25 22:38:13
    Bigtable作为一个分布式存储平台,能够可靠的扩展存储PB级的数据,并分布到上千台服务器上。 ...一致性、可靠性的问题,论文中没有提到(如何做到这些?依靠底层GFS,还是依靠上层应用的设计?...
  • Meta Network||论文笔记

    千次阅读 2019-05-25 19:56:35
    元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV...Meta-Learning论文笔记:Meta Network 本文是对2017年ICML的一篇Meta-Learning论文的笔记,论文连...
  • 论文笔记】:DenseBox

    千次阅读 2019-09-26 16:44:42
    引言: 先放个链接:关于densebox的论文解读 DenseBox 大多数的论文笔记都差不多,就转一篇过来当复习笔记,以便后续查看。
  • DeepLab V3 论文笔记

    千次阅读 2019-04-17 16:18:06
    本博客转载于知乎,原文链接:DeepLab V3 论文笔记 论文:Rethinking Atrous Convolution for Semantic Image Segmentation 论文最早版本arXiv上的发表时间是2017.06 Abstract 在本文中,我们重新回顾了空洞...
  • 论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION 论文中提出了一种异步联邦优化算法。 联邦优化的同步特性是不可伸缩的、低效的和不灵活的。同时签入的设备过多会导致服务器端的网络拥塞。在每个全局epoch中,...
  • 《完结篇》论文笔记

    2018-12-16 23:39:00
    到这里为止,自己看了将近三十篇关于超市管理系统相关的论文了,挑了其中的十九篇做了相应的论文笔记。最后一篇,不想写文献笔记了,因为要了解的了解的差不多了,不够了解的,后面接着学。这篇想说总结一下这将近一...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,188
精华内容 8,875
关键字:

论文笔记