精华内容
下载资源
问答
  • 也就是说,当用户输入一个服务器62616964757a686964616fe4b893e5b19e31333365643536域名时,借助于该记录可以将域名解析为IP地址,从而实现对服务器的访问。反向查找:是指在大部分的 DNS 搜索中,客户机一般执行...

    展开全部

    正向查找:是指将域名解析为IP地址的过程。也就是说,当用户输入一个服务器62616964757a686964616fe4b893e5b19e31333365643536域名时,借助于该记录可以将域名解析为IP地址,从而实现对服务器的访问。

    反向查找:是指在大部分的 DNS 搜索中,客户机一般执行正向搜索。 DNS 同时提供反向搜索,允许客户机根据一台计算机的IP 地址搜索它的DNS名称。反向搜索的域名信息保存在反向搜索区域中,为进行反向搜索,需要在DNS服务器中创建反向搜索区域。

    DNS(Domain Name Server,域名服务器)是进行域名(domain name)和与之相对应的IP地址 (IP address)转换的服务器。DNS中保存了一张域名(domain name)和与之相对应的IP地址 (IP address)的表,以解析消息的域名。

    域名是Internet上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。域名是由一串用点分隔的名字组成的,通常包含组织名,而且始终包括两到三个字母的后缀,以指明组织的类型或该域所在的国家或地区。

    DNS是计算机域名系统 (Domain Name System 或Domain Name Service) 的缩写,它是由域名解析器和域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址,并具有将域名转换为IP地址功能的服务器。

    其中域名必须对应一个IP地址,一个IP地址可以有多个域名,而IP地址不一定有域名。域名系统采用类似目录树的等级结构。域名服务器通常为客户机/服务器模式中的服务器方,它主要有两种形式:主服务器和转发服务器。将域名映射为IP地址的过程就称为“域名解析”。

    展开全文
  • 其实我们常用的网络,都是前馈神经网络,从输入到输出是一个有向图,中间不会有环或者反向传播。 当然,我们在训练前馈神经网络的时候,会用到反向传播进行参数调整。但仍不影响整个网络的有向和前馈性质。 ...

    “前馈”是指整个网络中无反馈,信号从输入层向输出层单向传播,可用一个有向无环图表示

    其实我们常用的网络,都是前馈神经网络,从输入到输出是一个有向图,中间不会有环或者反向传播。

    当然,我们在训练前馈神经网络的时候,会用到反向传播进行参数调整。但仍不影响整个网络的有向和前馈性质。

    展开全文
  • 本篇学习笔记对应深度学习入门课程 第七课博客地址:http://blog.csdn.net/tangyudi 欢迎转载...反向传播最直观的意思就是说咱们要从LOSS值入手一步步的往回看,看什么呢?就是要看咱们的每一个权重参数对最终的LOSS值

    本篇学习笔记对应深度学习入门课程 第七课

    博客地址:http://blog.csdn.net/tangyudi 欢迎转载

    反向传播:

    这里写图片描述

    咱们在之前的课程讲了一系列的前向传播的知识点,前向传播也就是从输入到最终计算出LOSS值这一系列过程,那么这节课咱们要讲一个更重要的知识点也就是反向传播。反向传播最直观的意思就是说咱们要从LOSS值入手一步步的往回看,看什么呢?就是要看咱们的每一个权重参数对最终的LOSS值做了多大的贡献。

    这里写图片描述

    最简单的小例子

    首先咱们用一个最简单的小例子来看一下反向传播是怎么一回事,如上图最终的LOSS值等于-12下面咱们就要算对于X,Y,Z三个输入来说分别对于LOSS值做了多大的贡献,首先咱们用q=x+y,f=qz分别表示中间的计算过程。那么咱们要算什么呢?反向传播最终要算的就是最终的LOSS值对X,Y,Z三个输入的偏导数,这个偏导数该怎么算呢?在这里我们遵循一个链式法则也就是对于输入来说他对于最终LOSS的贡献等于他前面传播下来的梯度再乘以自身的梯度

    这里写图片描述

    链式法则

    这里就是梯度传播的计算方式,我们要算X和Y对于最终LOSS的贡献(换句话说就是反向传播到X和Y的梯度的大小)要先算前面一层传播到X和Y的梯度再去计算X和Y自身的梯度。

    这里写图片描述

    稍难的例子

    咱们再来看一个稍微难一些的例子,上图表示的是咱们之前说过的这个SIGMOID函数,咱们接下来要算的就是这个函数梯度传播的过程,导数计算的公式我已经写在图上了,咱们只需要根据导数的计算方式一步步的从最终的LOSS值往回算就可以了,下面浅红色的值就是梯度传播的值。

    这里写图片描述

    这里我们可以看到梯度传播可以是一步一步的传播也可以一步传播一整块,这一整块我们把它当做是一个整体,相应的就要计算这一整个块的梯度了,也就是直接对SIGMOID函数求导。

    这里写图片描述

    梯度传播的门

    这里咱们所说的门就是一个单位区域,我们可以从图中看出来咱们在计算梯度传播的过程中无外乎就是这几种门的操作,每种门也都有它各自的特性,他们的特性是怎么得出的呢?这里就不带大家一步步算了,咱们可以动动笔算一下梯度的传播然后就知道为什么这些门有不同的特性了。

    反向传播就先说到这里了,这里只是很简单的谈了一下反向传播具体的计算过程如果同学们还是不太理解建议看一下原始课程会有很详细的推导。

    笔记对应课程:唐宇迪老师的 深度学习入门课程 第七课

    展开全文
  • AutoEncoder

    千次阅读 2020-02-23 11:48:44
    什么意思呢,下面举个例子 有一个神经网络,它在做的事情是,输入一张图片,通过一个Encoder神经网络,输出一个比较"浓缩的"feature map。之后将这个feature map通过一个Decoder网络,结果又将这张图片还原回去了 你...

    自编码AutoEncoder是一种无监督学习的算法,他利用反向传播算法,让目标值等于输入值。什么意思呢,下面举个例子

    有一个神经网络,它在做的事情是,输入一张图片,通过一个Encoder神经网络,输出一个比较"浓缩的"feature map。之后将这个feature map通过一个Decoder网络,结果又将这张图片还原回去了

    你也可以这么理解,整个Encoder+Decoder是一个神经网络,中间的code只是暂存的数据

    感觉就像是,现在有一锅红糖水,你不停的煮它,最终水都被煮干了,只剩下红糖,这个红糖就是上图的"Code"。然后你再向红糖里面注水、加热,结果又还原回了一锅红糖水

    假设上面的神经网络展开如下图所示,可以看出,图片经过了一个压缩,再解压的工序。当压缩的时候,原有的图片质量被缩减。解压时,用信息量少却包含所有关键信息的文件恢复出了原本的图片。为什么要这样做呢?

    因为有时候神经网络要接受大量的输入信息,比如说输入信息是高清图片时,信息量可能高达上千万,让神经网络直接从上千万个信息中进行学习是很吃力的。所以,为何不压缩一下,提取出原图片中最具代表性的信息,缩减输入信息量,再把缩减后的信息带入进行网络学习。这样学习起来就轻松多了

    How to Train?

    下图是一个AutoEncoder的三层模型,其中W=WTW^*=W^TWW^*没有什么含义,仅仅是个变量名字而已,用来区分WW,你也可以管WW^*WW'

    Vincent在2010年的论文中做了研究,发现只要单组WW就可以了,即W=WTW^*=W^TWW^*WTW^T称为Tied Weights(绑定的权重),实验证明,WW^*真的只是在打酱油,完全没有必要去训练

    如果是实数作为输入,Loss function就是
    L(f(x))=12k(x^kxk)2 L(f(x))=\frac{1}{2}\sum_k (\hat {x}_k-x_k)^2
    如果输入是binary的,即01值,那么就是
    L(f(x))=k(xklog(x^k)+(1xk)log(1x^k)) L(f(x))=-\sum_k (x_k log(\hat{x}_k)+(1-x_k)log(1-\hat{x}_k))

    PCA V.S. AutoEncoder

    同样都是降维,PCA和AutoEncoder谁的效果更好呢?

    首先从直觉上分析,PCA本质上是线性的变换,所以它是有局限性的。而AutoEncoder是基于DNN的,由于有activation function的存在,所以可以进行非线性变换,使用范围更广

    下图展示了MNIST数据集分别经过PCA和AutoEncoder降维再还原后的效果。第二行是是使用AutoEncoder的方法,可以看到几乎没什么太大变化;而第四行的图片很多都变得非常模糊了。说明PCA的效果是不如AutoEncoder的

    Denoising AutoEncoders

    Vincent在2008的论文中提出了AutoEncoder的改良版——dA,论文标题叫"Extracting and Composing Robust Features",译成中文就是"提取、编码出具有鲁棒性的特征"

    首先我们考虑,为什么会产生这样的变种AutoEncoder。如果我们仅仅只是在像素级别对一张图片进行Encode,然后再重建,这样就无法发现更深层次的信息,很有可能会导致网络记住了一些特征。为了防止这种情况产生,我们可以给输入图片加一些噪声,比方说生成和图片同样大小的高斯分布的数据,然后和图像的像素值相加(见下图)。如果这样都能重建原来的图片,意味着这个网络能从这些混乱的信息中发现真正有用的特征,此时的Code才能代表输入图片的"精华"


    关键是,这样胡乱给原始图片加噪声真的科学吗?Vincent从大脑认知角度给了解释。Paper中说到:

    人类具有认识被阻挡的破损图像的能力,源于我们高等的联想记忆感受机能

    就是说,我们能以多种形式去记忆(比如图像、声音),所以即便是数据破损丢失,我们也能回想起来

    Dropout AutoEncoders

    其实这个没什么特别的,平时我们不论是CNN还是RNN几乎都会用到Dropout。据说Dropout是当时Hilton在给学生上课的时候提到的,用来帮助提升神经网路训练效果的小Trick。具体关于Dropout的讲解可以看我的这篇文章

    Adversarial AutoEncoders

    在AutoEncoder中可能存在这样一个问题,图片经过Encode之后的vector并不符合我们希望的分布(例如高斯分布),他的分布很有可能如下图所示。这其实是令我们不太满意的(虽然我并不知道Code满足分布到底有重要,但是既然别人认为很重要那就重要吧),那么有什么解决办法呢?

    由University of Toronto、Google Brain和OpenAI合作的文章Adversarial Autoencoders(AAE)提出了一个使用Autoencoder进行对抗学习的idea,某种程度上对上述问题提供了一些新思路

    AAE的核心其实就是利用GAN的思想,利用一个生成器G和一个判别器D进行对抗学习,以区分Real data和Fake data。具体思路是这样的,我现在需要一个满足p(z)p(z)概率分布的zz向量,但是zz实际上满足q(z)q(z)分布。那么我就首先生成一个满足p(z)p(z)分布的zz'向量,打上Real data的标签,然后将zz向量打上Fake data的标签,将它们俩送入判别器D。判别器D通过不断学习,预测输入input是来自于Real data(服从预定义的p(z)p(z)分布)还是Fake data(服从q(z)q(z)分布)。由于这里的p(z)p(z)可以是我们定义的任何一个概率分布,因此整个对抗学习的过程实际上可以认为是通过调整Encoder不断让其产生数据的概率分布q(z)q(z)接近我们预定义的p(z)p(z)

    基本上AAE的原理就讲完了,还剩最后一个问题,AAE的Loss function是什么?
    L(x,x^)+jKL(qj(zx)p(z)) {L}\left( {x,\hat x} \right) + \sum\limits_j {KL\left( {{q_j}\left( {z|x} \right)||p\left( z \right)} \right)}
    其中KL(PQ)=p(x)logp(x)q(x)dxKL(P||Q)=\int_{-\infty}^\infty{p(x)log\frac{p(x)}{q(x)}dx},如果PPQQ分布非常接近,那么KL(PQ)0KL(P||Q)\approx 0。回过头看上面的Loss function就很好理解了,因为我们需要minimize loss,而且要求q(z)q(z)分布趋近于p(z)p(z)分布,而KL散度的作用正好是计算两个分布的相似程度

    下面简述KL散度的公式推导。假设ppqq均是服从N(μ1,σ12)N(\mu_1,\sigma^2_1)N(μ2,σ22)N(\mu_2, \sigma_2^2)的随机变量的概率密度函数,则

    更加详细的推导过程可以看这篇文章

    Variational AutoEncoders

    前面的各种AutoEncoder都是将输入数据转换为vector,其中每个维度代表学习到的数据。而Variational AutoEncoders(VAE)提供了一种概率分布的描述形式,VAE中Encoder描述的是每个潜在属性的概率分布,而不是直接输出一个值

    举例来说,假设我们已经在一个AutoEncoder上训练了一个6维的vector,这个6维的vector将学习面部的一些属性,例如肤色、是否戴眼镜等


    在上面的示例中,我们使用单个值来描述输入图像的潜在属性。但是,我们可能更喜欢将每个潜在属性表示为一个范围。VAE就可以实现这个功能,如下图所示

    通过这种方法,我们现在将给定输入的每个潜在属性表示为概率分布。从状态解码(Decode)时,我们将从每个潜在状态分布中随机采样以生成向量来作为解码器的输入


    现在问题来了,sample()是不能求导的,那我们如何反向传播?幸运的是,我们可以利用一个聪明的办法——“reparameterization trick”。这个办法的具体思想如下图,假设我们要让zz服从正态分布,我们可以生成一个标准正态ε\varepsilon,对这个标准正态进行平移以及伸缩变换,生成均值为μ\mu,方差为σ\sigma的正态分布z=μ+σεz=\mu+\sigma\odot \varepsilon


    通过reparameterization,we can now optimize the parameters of the distribution, while still maintaing ε\varepsilon。就是说,我们保持ε\varepsilon不变,因为ε\varepsilon不需要学习修正,我们更新的只有μ\muσ\sigma

    展开全文
  • 在linux执行命令过程中,反向单引号``什么意思? 例如 echo `cat /etc/hostname` 在这串命令中,反向单引号``内的命令将会被先执行,并且执行的结果会作为外部命令的输入
  • 【机器学习】BP算法学习笔记

    千次阅读 2017-06-02 16:29:09
    BP即Back Propagation的缩写,也就是反向传播的意思,顾名思义,将什么反向传播?一张动态图可以说明 这个网络的工作原理应该很清楚了,首先,一组输入x1、x2、…、xm来到输入层,然后通过与隐层的连接权重产生一...
  • 自编码AutoEncoder 及PyTorch 实现

    千次阅读 2020-02-15 11:00:00
    自编码AutoEncoder是一种无监督学习的算法,他利用反向传播算法,让目标值等于输入值。什么意思呢,下面举个例子:有一个神经网络,它在做的事情是,输入一张图片,通过一个Encoder...
  • 比较器与放大器使用的符号是一样的,但是...从这个图,可以看出,比较器分为同向与反向比较器,什么意思呢?同向就是输入电压从+脚进入,大于VREF电压(-)时,输出正,小于VREF电压(+),输出负。反向就是输入电压从...
  • 那么,直方图反向投影是什么意思呢?常被用于图像分割或者寻找图像中感兴趣区域。简单来说,首先创建与输入图像相同大小的单通道图像,图像中每一个像素与该像素属于目标的概率有关。简而言之,输出图像中目标区域...
  • sigmoid函数是一个logistic函数,意思是说不管输入什么,输出都在0到1之间,也就是输入的每个神经元、节点或激活都会被锁放在一个介于0到1之间的值。 sigmoid 这样的函数常被称为非线性函数,因为我们不能用线性的...
  • // 为什么需要记录每个输出元素值对应在输入元素中的总索引呢?因为在下面的反向过程中需要用到,在计算当前最大池化层上一层网络的敏感度时, 在做推理时,可以不要这个,感觉输入的内存量...
  • 什么会出现这个错误呢,因为在深度学习中,梯度的更新是由于反向传播算法的实现的,如果损失函数没有与已知的任何(除输入)层关联,那么,损失函数就无法求出关于各个函数的梯度,导致错误 解决办法 例如 损失...
  • 我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新,梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数,但是靠近输入层的网络层,计算的到的偏导数近乎零,W几乎无法得到更新。...
  • 梯度消失和梯度爆炸

    2020-10-30 15:54:28
    我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新,梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数,但是靠近输入层的网络层,计算的到的偏导数近乎零,W几乎无法得到更新。...
  • CRF 简单来说一组参数theta可以唯一确定一组模型,我们需要找到一组最优参数使得训练数据中 x->...什么意思呢,转移特征概率是指前一个输出标签为 B 的前提下我当前输出标签为某个值比如 I 的概率大小。而状
  • 你必须知道的495个C语言问题

    千次下载 热门讨论 2015-05-08 11:09:25
    3.20 “semanticsof‘’changeinANSIC”的警告是什么意思? 3.21 “无符号保护”和“值保护”规则的区别在哪里? 第4章 指针 基本的指针应用 4.1 指针到底有什么好处? 4.2 我想声明一个指针并为它分配...
  • DNS高速缓存服务器

    2017-08-09 15:53:51
    1、DNS的基础知识上网时本输入IP就可以了,但人们方便记忆的是字符串。所以,DNS就诞生了,DNS负责域名(字符串)到IP的转换正向查询:最基本的通过主机名查IP反向查询:用IP来查主机名迭代查询:去查询dns时。...
  • 题意看得我云里雾里,意思是有多个会议,每个会议都要满足要求,如果一个人他是什么会议都参加不了,那他就要被踢出了。 关系不好的不坐一起,那么反向建边,把那些能坐一起的建一条边,然后找点双连通分量。 在一个...
  • 3.20 “semantics of‘’change in ANSI C”的警告是什么意思? 42 3.21 “无符号保护”和“值保护”规则的区别在哪里? 42 第4章 指针 45 基本的指针应用 45 4.1 指针到底有什么好处? 45 4.2 我想声明...
  • 《你必须知道的495个C语言问题》

    热门讨论 2010-03-20 16:41:18
    3.20 “semantics of‘’change in ANSI C”的警告是什么意思? 42 3.21 “无符号保护”和“值保护”规则的区别在哪里? 42 第4章 指针 45 基本的指针应用 45 4.1 指针到底有什么好处? 45 4.2 我想声明...
  • o 2.4 extern 在函数声明中是什么意思? o 2.5 关键字 auto 到底有什么用途? o 2.6 我似乎不能成功定义一个链表。我试过 typedef struct { char *item; NODEPTR next; } *NODEPTR; 但是编译器报了错误信息。难道...
  • 3.1.0 在函数内定义一个字符数组,用gets函数输入字符串的时候,如果输入越界,为什么程序会崩溃? 3.1.1 C++中引用与指针的区别 3.1.2 C/C++程序的内存分区 3.1.3 快速排序的思想、时间复杂度、实现以及优化方法...
  • 你必须知道的495个C语言问题(PDF)

    热门讨论 2009-09-15 10:25:47
    1.4 extern 在函数声明中是什么意思? . . . . . . . . . . . . . . . . . 2 1.5 关键字auto 到底有什么用途? . . . . . . . . . . . . . . . . . . . 2 1.6 我似乎不能成功定义一个链表。我试过typedef struct f ...
  • 教程安装好ssl证书之后,你就可以适应https://yourDomainName 来访问你的服务器接着就是使用你的Nginx服务器来代理你作为微信小程序后端的nodejs项目了先说说使用Nginx反向代理nodejs项目是什么意思Nginx是安装在你...
  • 意思是研究是经网络不必从零起步。MT4里已有了不错的“遗传算法” 文中介绍了如何利用MT4已有的“遗传算法” 2。大家都说做单子最重要的是“顺势而为”,但更需要解决的是∶ “一个基于趋势的交易系统是不能成功...
  • 9.8.1 理解其他关键字的意思 9.8.2 理解列的类型 9.8.3 用SHOW和DESCRIBE来查看数据库 9.8.4 创建索引 9.9 理解MySQL的标识符 9.10 选择列数据类型 9.10.1 数字类型 9.10.2 日期和时间类型 9.10.3 字符串...

空空如也

空空如也

1 2 3
收藏数 42
精华内容 16
关键字:

反向输入什么意思