精华内容
下载资源
问答
  • 神经网络可解释性

    千次阅读 2017-08-16 09:04:04
    神经网络可解释性
    展开全文
  • 神经网络可解释性

    千次阅读 2020-09-05 08:52:43
    模型的可解释性是机器学习领域的重要研究课题,主要关注两个方向,一个是提升模型本身的可解释性,如引入注意力机制、解耦表示学习等技术;另一个是对黑盒模型的事后解释,如特征掩码技术、可视化技术等。图结构提供...

    模型的可解释性是机器学习领域的重要研究课题,主要关注两个方向,一个是提升模型本身的可解释性,如引入注意力机制、解耦表示学习等技术;另一个是对黑盒模型的事后解释,如特征掩码技术、可视化技术等。图结构提供了额外的拓扑信息,也对可解释技术提出了更高的要求。

    第一个工作是Research Track的《XGNN: Towards Model-Level Explanations of Graph Neural Networks》,关注黑盒模型的事后解释,提出了一种基于输入优化的图神经网络事后解释方法。

    论文

    第二个工作是Applied Data Science Track的《Explainable classification of brain networks via contrast subgraphs》,关注提升模型本身的可解释性,提出了一种基于对比子图的可解释脑网络分类方法。
    论文

    GNN 可解释性问题 blog
    https://www.infoq.cn/article/1OgX48SsVcfPPEjgTmEw?utm_source=tuicool&utm_medium=referral

    展开全文
  • 神经网络可解释性一直是一个很有趣也很有用的东西。很多情况下大家都把神经网络作为一个黑箱来用,而近年来也有越来越多的工作希望能够探索神经网络到底学习到了什么,比如利用deconvolution进行可视化,周博磊...

    本文是周博磊大神CVPR 2017年的文章,主要关注网络的可解释性。

    前言

    神经网络的可解释性一直是一个很有趣也很有用的东西。很多情况下大家都把神经网络作为一个黑箱来用,而近年来也有越来越多的工作希望能够探索神经网络到底学习到了什么,比如利用deconvolution进行可视化,周博磊去年的Learning Deep Features for Discriminative Localization等。

    方法

    今年这篇则是通过评估隐藏单元和一系列语义概念的契合度来给出网络的可解释性,提出了一个叫Network Dissection的方法。作者建立了一个带有不同语义概念的图片数据库Broden,里面每张图都有pixel-wise的标定(颜色,纹理,场景,物体部分,物体等),也就是说对于每种语义概念,都有一张label map。
    对于一个训练好的网络模型,输入Broden中的所有图片,然后收集某个单元在所有图片上的响应图。为了比较该响应图是对应于哪种语义概念,把这些响应图插值放大到数据库原图大小后,做阈值处理,相应大于某个值就设为1,否则为0,也就是我们只关注响应较大的区域,把这些区域作为该隐藏单元的语义表征,得到一个二值的mask。然后计算该mask和每一个真实语义概念label map的IoU,如果大于一定值,也就是和某个语义概念的重合率比较大,就认为该神经单元是对这个概念的检测器。如下图:
    这里写图片描述

    实验

    作者首先把这个方法用到在ImageNet和Places上训练的多种网络AlexNet, VGG, GoogLeNet, ResNet等典型的CNN模型,可视化和标定各个网络的神经元。然后利用Network Dissection比较了不同神经网络之间可解释性的概念分布的差异。然后作者还分析了不同supervision,以及训练过程中网络的变化和各种regularization,如batchnorm, dropout,对网络内部表征的影响,得出了许多有趣的结论,甚至有一些是和我们之前的直观认知不太一致的结论。

    旋转

    作者通过旋转AlexNet的conv5层发现,网络的可解释性并不是axis-independent的。也就是说,旋转特征图会影响到网络的特异检测器(unique detector)的数量,从而对网络的可解释性造成影响。但旋转后的特征拥有和原来相同的辨别力(discriminative power),作者由此得出结论,网络的可解释性并不是网络辨别力的结果或先决条件,而是一个需要独立测量的品质。
    这里写图片描述

    网络结构和监督对可解释性的影响

    对于网络结构的可解释性排序:ResNet > VGG > GoogLeNet > AlexNet。更深的网络拥有更强的可解释性。
    同时训练数据也会造成影响:Places > ImageNet。这是因为一个场景中包含更多的目标,有助于得到更多的目标检测器。
    这里写图片描述
    而相比于监督学习,自监督模型会产生更多的纹理检测器,但目标检测器较少。

    训练条件vs可解释性

    对不同的训练条件(迭代次数,dropout,batch normalization,随机初始化),网络的可解释性对比如下:
    这里写图片描述

    结论

    1. 不同的随机初始化最后得到的网络可解释性基本相同;
    2. 没有dropout的网络有更多的纹理检测器和较少的目标检测器;
    3. BN会严重降低网络的可解释性。
      关于最后一条,BN虽然能够加速网络训练,在某种意义上对网络的discriminative power有利,但它却降低了网络的可解释性。这可能是因为BN可以白化(whiten)每一层的响应,平滑了他们的scale,网络能够在训练过程中更容易地旋转中间表征,从而有了前面提到的旋转对可解释性造成了影响。
      下图是训练过程中的变化:
      这里写图片描述
      在训练过程中,没有出现不同类别的概念检测器之间相互转化的现象。
    展开全文
  • 可解释性神经网络——1.xNN

    千次阅读 2020-07-20 17:48:03
    但其可解释性差也一直是令人所诟病的一点,也就是我们常说的“黑箱问题”。 例如:在识别一段话的语义情境时,计算机直接通过神经网络,给出这段话是积极的还是消极的,并且给出一个百分比作为置信度。但我们并不...

    引言

    随着深度学习的兴起,其在许多领域都能够取得远胜于传统方法的表现,如今许多行业都已经用到了深度学习以及神经网络来进行分析或者预测,解决实际的一些问题。但其可解释性差也一直是令人所诟病的一点,也就是我们常说的“黑箱问题”

    例如:在识别一段话的语义情境时,计算机直接通过神经网络,给出这段话是积极的还是消极的,并且给出一个百分比作为置信度。但我们并不知道为什么计算机能够直接给出这样的结果,其内部的判断机制,都无法知晓。那么及时这个模型的准确率非常高,在实际使用时,我们也会为其画上一个大大的问号,使用时也会相对比较谨慎。

    同样的问题还存在医学影像诊断上,如果不解释出模型判断的原因与机制,很难让医生与病人信服。

    因此如何提出一种可解释性的神经网络,是如今一个非常重要的问题。而本篇博客主要介绍 Vaughan J, Sudjianto A, Brahimi E 等人在2018年的文章:Explainable neural networks based on additive index models


    Explainable Neural Networks based on Additive Index Models(xNN)

    网络结构

    文章利用 additive index model 构建了一个可解释性神经网络。

    我们先来看看 Additive Index Model,其本质就是一个线性可加模型:

    文章的主要思想是利用上述的 additive index model,其中 xx 为输入的特征变量,整体有 kk 个子网络,每个子网络中都是一个输入变量的加权组合,之后再分别使用 kk 个函数变化后,再次进行一次加权求和。

    A modified version of the additive index model:

    下图为上述公式的可视化展现,本质是一种特殊的全连接的神经网络,其中的 h1,h2,,hkh_1,h_2,…,h_k 可以理解为一种带未知参数的激活函数(这里称为ridge functions),但每个子网络的激活函数均不一致,具体的函数类型需要我们自己进行给定(可为一次函数、二次函数等,注意不能定义多个一次函数,否则模型会存在可识别性的问题)。


    网络的可解释性

    下面说明网络如何体现可解释性,这里以一个例子来阐述,构建一个一次函数 f1f_1,二次函数 f2f_2,三次函数 f3f_3


    我们生成5个独立且服从 U(1,1)U(-1,1) 的随机变量 x1,,x5x_1,…,x_5 ,而后可通过对三个函数进行求和,得到 yy。其中,x4,x5x_4,x_5 为噪声变量。下图为三个函数的图像:

    采用五个子网络的模型对y进行拟合,文中添加了L1惩罚,使结果呈现下图的效果。下图左列展示每个子网络的拟合结果,右列表示针对每个子网络, x1,,x5x_1,…,x_5 每个变量所对应的权重大小。

    由图可以看出,第一个展现出线性性质的子网络为 x1x_1 贡献最大;第二个与二次函数相关的子网络与 x2x_2 相关;而三次函数的子网络则对应着 x3x_3。由于x4,x5x_4, x_5 为噪声变量,因此后两个子网络为0,且没有变量有对应的权重。

    下图则以变量为主,将每个子网络对变量的贡献进行可视化展现。从图中可以看出,变量 x1x_1 只有子网络1中需要用到;变量 x2x_2 对应子网络2;变量 x3x_3 对应子网络3。

    接着进行两个模拟实验:模拟1(多项式)与模拟2(指数函数与三角函数)来验证模型的优劣。


    模拟实验

    模拟1:

    模拟2:

    模拟1所需要的6个随机变量 x1,,x6x_1,…,x_6 相互独立且服从 U(1,1)U(-1,1) ;模拟1所需要的4个随机变量 x1,,x4x_1,…,x_4 相互独立且服从 U(1,1)U(-1,1)

    文中没有具体说明上述模拟实验中所使用的子网络结构,仅仅提及是从一些函数集合中进行选取。从图中可以看到,x1x_1 对应的子网络9(图中第四行)趋势是类似线性(作者选定的展示范围,主观性较强),x2x_2x5x_5 展示的函数图像均为开口向上的二次函数,且x_5的开口更大,这与实际情况中x_5前的系数更小相一致。而 x3x4x_3 x_4 这一交互项,模型通过使用两个子网络作差达到一样的效果(由于下式)。

    通过此模拟可看出,对于真实模型是可加模型的情况,文章的方法能够真实还原出实际情形,具有很强的可解释性。同时,模型的预测准确率也很高。

    而针对模拟2,模型的解释性就相对较弱,这是由于产生数据的模型不是可加的,这与最开始的模型假设已经有所不同,这里不再进行贴图展示,但预测准确性依旧比较高。

    而后在此篇文章的基础上,有的文章(Enhancing Explainability of Neural Networks through Architecture Constraints)添加了一系列约束,使模型预测准确率更高,通过引入平滑与稀疏性,使可解释性更好。请参见下篇博客:可解释性神经网络——添加约束的xNN


    更多细节请参见原文:Explainable Neural Networks based on Additive Index Models

    展开全文
  • 在前面的文章中,我们介绍了 一种可解释性神经网络——xNN,而在本篇博客中,我们将要介绍一种针对前面文章的一种改进方法,使网络结构的可解释性更强,预测准确率更高。 文章名称:Enhancing Explainability of ...
  • 卷积神经网络可视化与可解释性

    千次阅读 2018-05-05 14:59:24
    对卷积网络可视化与可解释性相关资料的一些整理,不断更新中~ 主要作用 进一步理解CNN 帮助我们分析训练好的网络 学会如何生成热力图,如下图: 博客 Distill 非常推荐的一个网站 Global Average ...
  • 神经网络很让人诟病的是它的“黑匣子”特性,在应用于推荐系统中时我们往往无法理解,即没有有效的可解释性。 比如CF 是很好的个性化推荐主流技术,但它只对用户–项目交互进行建模,不能为推荐提供具体的理由...
  • 神经网络是准确的,但无法解释;在计算机视觉中,决策树是解释的,但不准确。可解释性AI(XAI)试图弥合这一分歧,但正如下面所解释的那样,“XAI在不直接解释模型的情况下证明了决策的合理性”。 这意味着金融...
  • 可解释神经网络:5个GNN解释方法

    千次阅读 2021-06-17 08:58:17
    最近,人工智能中的可解释性引起了人们的广泛关注,其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。LIME论文[2]中给出的一个很好的例子是,您会信任您的医生,因为他/她能够根据您的症状...
  • 卷积神经网络

    万次阅读 多人点赞 2014-11-29 16:20:41
    自今年七月份以来,一直在实验室负责卷积神经网络(Convolutional Neural Network,CNN),期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用,特写此博文,以其与人交流,互有增益。...
  • 目前,他正在领导一个解释AI小组,相关主题包括解释神经网络、预训练神经网络解释,以及无监督/弱监督学习。 原文链接:https://zhuanlan.zhihu.com/p/67831834 (*本文为 AI科技大本营转载文章,转载请联系原...
  • 神经网络的直观解释

    千次阅读 2016-11-05 18:50:05
    神经网络的直观解释
  • 近日,斯坦福大学计算机科学博士生 Mike Wu 发表博客介绍了他对深度神经网络可解释性的探索,主要提到了树正则化。其论文《Beyond Sparsity: Tree Regularization of Deep Models for Interpretability》已被 AAAI ...
  • 卷积神经网络直观解释

    千次阅读 2016-08-30 11:26:41
    卷积神经网络直观解释 ================== ---------- 什么是卷积神经网络? ------------- 在模式识别的传统模型中,利用手工设计的特征提取器从输入中提取相关信息,消除无关变量。一个...
  • 循环神经网络(RNN)原理通俗解释

    万次阅读 多人点赞 2017-11-30 15:15:37
    1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN...循环神经网络的应用场景比较多,比如暂时能写论文,写程序,写诗,但是,(总是会有但是的),但是他们现在还不能正常使...
  • 见过最好的神经网络CNN解释

    万次阅读 多人点赞 2017-08-12 13:31:31
    这篇文章原地址为An Intuitive Explanation of Convolutional Neural Networks,卷积神经网络的讲解非常通俗易懂。 什么是卷积神经网络?为什么它们很重要? 卷积神经网络(ConvNets 或者 CNNs)属于神经网络的...
  • 卷积神经网络的直观解释

    千次阅读 2017-11-01 19:37:38
    什么是卷积神经网络,为什么它们很重要? 卷积神经网络(ConvNets或CNN)是神经网络的一个类别,在图像识别和分类等领域已被证明非常有效。除了机器人和自驾车的视觉驱动之外,ConvNets已经成功地识别了面部,...
  • 近年来,对深度神经网络可解释性和可解释性方法的研究和探索已经取得了很大进展。目前,人工智能正被越来越多的关键任务部门所接受。但是应用在这些关键性人物的深度学习或基于人工智能的系统,哪怕是最轻微的计算...
  • 在实际应用中,大约80%的神经网络模型采取了BP网络或BP网络的变化形式,一个包含两个隐藏层的BP神经网络的结构图如下图所示。 传递函数必须微,所以二值函数与符号函数等没有用武之地了...
  • SNN综述(2):生物可解释的脉冲神经网络

    千次阅读 多人点赞 2020-08-29 15:51:54
    Biologically Plausible Spiking Neural Networks 作者:Aboozar Taherkhani, Ammar Belatreche, Yuhua Li, Georgina Cosma, Liam P. Maguire, T.M. McGinnity 译者:TianlongLee ...脉冲神经网络根据
  • 过去11年中用于解释神经网络的最新方法是如何发展的呢? 本文在 Inception 网络图像分类器上尝试使用引导反向传播进行解释演示。 为什么「解释」很重要? 使用机器学习(ML)算法(尤其是现代深度学习)进行...
  • BP神经网络的Matlab实现——人工智能算法

    万次阅读 多人点赞 2018-01-27 23:07:23
    这几天在各大媒体上接触到了人工智能机器学习,觉得很有意思,于是开始入门最简单的机器算法——神经网络训练算法(Neural Network Training);以前一直觉得机器学习很高深,到处是超高等数学、线性代数、数理统计。...
  • 卷积神经网络概念与原理

    万次阅读 多人点赞 2016-09-05 10:00:27
    一、卷积神经网络的基本概念 受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向...
  • 一文搞定BP神经网络——从原理到应用(原理篇)

    万次阅读 多人点赞 2017-10-11 09:31:25
    神经网络结构以及前向传播过程 损失函数和代价函数 反向传播 1 矩阵补充知识 11 矩阵求梯度 12 海塞矩阵 13 总结 2 矩阵乘积和对应元素相乘 3 反向传播原理四个基础等式 4 反向传播总结 41 单样本输入公式表 42 多...
  • 卷积神经网络的直观解释(笔记)

    万次阅读 2017-03-05 12:23:25
    卷积神经网络 CNN 卷积操作 ReLU 池化 全连接 LeNet AlexNet GoogleNet VGGNet ResNets DenseNet
  • CNN笔记:通俗理解卷积神经网络

    万次阅读 多人点赞 2016-07-02 22:14:50
    通俗理解卷积神经网络(cs231n与5月dl班课程笔记) 1 前言 2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有...
  • 深度神经网络解释方法有很多,每种解释方法都有各自的优缺点。在大多数情况下,我们感兴趣的是局部解释方法,即对特定输入的网络输出的解释,因为DNNs往往过于复杂,无法进行全局解释(独立于输入)。 一般而言,...
  • 卷积神经网络超详细介绍

    万次阅读 多人点赞 2018-09-19 10:16:59
    1、卷积神经网络的概念 2、 发展过程 3、如何利用CNN实现图像识别的任务 4、CNN的特征 5、CNN的求解 6、卷积神经网络注意事项 7、CNN发展综合介绍 8、LeNet-5结构分析 9、AlexNet 10、ZFNet 10.1 意义 ...
  • 前馈神经网络 & 反馈神经网络

    千次阅读 2020-07-22 22:52:17
    前馈神经网络(feedforward neural network,FNN) 前馈神经网络也叫做多层感知机,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈 个人理解就是我们...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 77,546
精华内容 31,018
关键字:

神经网络可解释性