精华内容
下载资源
问答
  • 动态神经网络-源码

    2021-02-18 23:35:52
    该软件包旨在用于动态贝叶斯网络网络重构。 要在Yeast数据集上测试算法,请运行bash脚本。 运行非均匀动态贝叶斯网络的示例 sh yeast_pipeline.sh -m nh-dbn 其中-m表示要使用的方法 'h-dbn'->同类动态贝叶斯...
  • MATLAB动态神经网络-时间系列预测

    万次阅读 2013-01-30 21:16:33
    看了matlat中文论坛上的用动态神经网络预测时间序列 http://www.ilovem http:// a http:// http:// tlab.cn/thread-113431-1-1.html (1)第一种基本知识需要知道 训练数据(training data) 验证数据...

    看了matlat中文论坛上的用动态神经网络预测时间序列

    http://www.ilovem http:// a http:// http:// tlab.cn/thread-113431-1-1.html


    (1)第一种基本知识需要知道

    训练数据(training data)

    验证数据(validation data)

    测试数据(testing data)

    这三个需要分清,可是我不是很明白。明白的,麻烦留个言解释下,谢谢啦。

    下面是某个网站的对三者的解释:

    http://stackoverflow.com/questions/2976452/whats-the-diference-between-train-validation-and-test-set-in-neural-networks?answertab=oldest#tab-top

    The training and validation sets are used during training.

    for each epoch
        for each training data instance
            propagate error through the network
            adjust the weights
            calculate the accuracy over training data
        for each validation data instance
            calculate the accuracy over the validation data
        if the threshold validation accuracy is met
            exit training
        else
            continue training
    

    Once you're finished training, then you run against your testing set and verify that the accuracy is sufficient.

    Training Set: this data set is used to adjust the weights on the neural network.

    Validation Set: this data set is used to minimize overfitting. You're not adjusting the weights of the network with this data set, you're just verifying that any increase in accuracy over the training data set actually yields an increase in accuracy over a data set that has not been shown to the network before, or at least the network hasn't trained on it (i.e. validation data set). If the accuracy over the training data set increases, but the accuracy over then validation data set stays the same or decreases, then you're overfitting your neural network and you should stop training.

    Testing Set: this data set is used only for testing the final solution in order to confirm the actual predictive power of the network.

    (2)第二种基本只是需要知道

    matlab自带的神经网络工具箱的时间序列预测中,有三种类型。

    A有一个输入x(t),有一个输出y(t)。如:输出的关系y(t)=y(t-1)+y(t-2)+...y(t-d)+x(t-1)+x(t-2)+...+x(t-d)

    B只有以输出。如输出y(t)=y(t-1)+y(t-2)+...+y(t-d)

    C如y(t)=x(t-1)+x(t-2)+..+x(t-d)

    (3)对于训练的结果

    利用matlab神经网络时间序列预测的时候,需要不断调整numbers of hidden neurons 和number of delays d,

    最后通过观察plot error autocorrelation和plot response两个重要的图,如果训练得好,

    error autocorrelation是处于允许范围的误差内的,如果是A类型的还有一个plot inout-error correlation


    对于这三种给我就是看视频有了个定性的判断,对于原理还是不懂。希望可以得到有缘人的指教。^_^

    (4)预测部分

    前期工作都已经做好,就剩下我们的目的,预测了。可惜的是,视频没有关于预测部分,不过视频主讲人还是

    意识到这个问题,发了个帖子,对观众讲解了一点点预测的方法。

    http://www.ilovematlab.cn/thread-132940-1-1.html


    http://www.ilovematlab.cn/forum.php?mod=viewthread&tid=216264

    展开全文
  • 1、优化器Optimizer 加速神经网络训练最基础的optimizer是 Stochastic Gradient Descent(SGD),假如红色方块是我们要训练的data,如果用普通的训练方法,就需要重复不断的把整套数据放入神经网络NN训练,这样消耗的...

    内容原文:https://morvanzhou.github.io/tutorials/machine-learning/torch/
    1、优化器Optimizer 加速神经网络训练

    最基础的optimizer是 Stochastic Gradient Descent(SGD),假如红色方块是我们要训练的data,如果用普通的训练方法,就需要重复不断的把整套数据放入神经网络NN训练,这样消耗的计算资源会很大。
    但是如果我们将数据大块分成一个个小块,分批放入网络中进行训练,这样虽然不能完整的反应全部数据的情况,但是却大大加快了训练速度,而且其实不会丢失太多准确率,这就是SGD了。

    这里写图片描述

    其实PyTorch中有好几个优化器,其实其中SGD算是最训练最慢的,接下来来看下其他几个优化器。

    这里写图片描述

    (1)Momentum
    大多优化器其实都是在神经网络更新参数的时候动了手脚,从而使得训练速度加快的。Momentum就是这样。
    传统参数W的更新是:加上负的学习率*校正值
    W += -Learning rate * dx 这样的训练会比较曲折,就好像一个喝醉酒的人摇摇晃晃的回家。

    这里写图片描述

    假如我们将这个人放在一个下坡路上,一旦他下一点坡,他就会不自觉的向下坡的方向走,这样他就一直下坡而不会摇晃走弯路了(惯性原则)。这个就是Momentum,它的数学形式是:
    m = b1*m -Learning rate * dx
    W += m

    这里写图片描述

    (2)AdaGrad

    这个方法是在学习效率上动手脚,使得每一个参数的更新都会有属于自己独特的学习效率,它的作用和monentum类似。但是他不是让在在下坡路上走,而是给他换一双不好的鞋子,每步路走起来都脚疼,最终强迫他一直直着走(对错误方向的阻力)
    他的数学形式见下图

    这里写图片描述

    (3)RMSProp

    这个方法是Momentum和AdaGrad的结合,即让醉汉走在下坡路上,又给他穿一双不好的鞋子,也就是惯性原则+对错误方向的阻力

    这里写图片描述

    但是RMSProp并不是完整的两个融合,少了红线圈住的部分,那么在Adam方法中会进行完整的融合。

    (4)Adam
    Adam是对Momentum和AdaGard的完整融合,计算m 时有 momentum 下坡的属性, 计算 v 时有 adagrad 阻力的属性, 然后再更新参数时 把 m 和 V 都考虑进去. 实验证明, 大多数时候, 使用 adam 都能又快又好的达到目标, 迅速收敛. 所以说, 在加速神经网络训练的时候, 一个下坡, 一双破鞋子, 功不可没.

    这里写图片描述

    2、下面从代码的角度来看下以上四种的效果:

    import  torch
    from torch.autograd import Variable
    import torch.utils.data as Data
    import torch.nn.functional as F
    import matplotlib.pyplot as plt
    
    #hyper parameters   
    LR = 0.01
    BATCH_SIZE = 32
    EPOCH = 12
    
    #data
    x = torch.unsqueeze(torch.linspace(-1,1,1000),dim=1)
    y = x.pow(2) + 0.1*torch.normal(torch.zeros(*x.size()))
    
    torch_dataset = Data.TensorDataset(data_tensor=x, target_tensor=y)
    loader = Data.DataLoader(dataset=torch_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=2)
    
    #default network
    class Net(torch.nn.Module):
    	def __init__(self):
    		super(Net,self).__init__()
    		self.hidden = torch.nn.Linear(1,20)
    		self.predict = torch.nn.Linear(20,1)
    	def forward(self,x):
    		x = F.relu(self.hidden(x))
    		x = self.predict(x)
    		return x
    
    #different nets
    net_SGD =       Net()
    net_Momentum =	Net()
    net_RMSprop =   Net()
    net_Adam =      Net()
    nets = [net_SGD,net_Momentum,net_RMSprop,net_Adam]
    
    #different oprimizers
    opt_SGD       = torch.optim.SGD(net_SGD.parameters(), lr=LR)
    opt_Momentum  = torch.optim.SGD(net_Momentum.parameters(), lr=LR, momentum=0.8)
    opt_RMSprop   = torch.optim.RMSprop(net_RMSprop.parameters(), lr=LR, alpha = 0.9)
    opt_Adam      =torch.optim.Adam(net_Adam.parameters(), lr=LR, betas=(0.9, 0.99))
    optimizers = [opt_SGD, opt_Momentum, opt_RMSprop, opt_Adam]
    
    loss_func = torch.nn.MSELoss()
    losses_his = [[],[],[],[]]
    
    #training ...
    for epoch in range(EPOCH):
    	print(epoch)
    	for step, (batch_x, batch_y) in enumerate(loader):
    		b_x = Variable(batch_x)
    		b_y = Variable(batch_y)
    		for net, opt, l_his in zip(nets, optimizers, losses_his):
    			output = net(b_x)  # get output for every net
    			loss = loss_func(output, b_y)   # compute loss for every net
    			opt.zero_grad()   # clear gradients for next train
    			loss.backward()   # backpropagation, compute gradients
    			opt.step()        # apply gradients
    			l_his.append(loss.data[0])    # loss recoder
    
    # draw pictrue
    labels = ['SGD', 'Momentum', 'RMSprop', 'Adam']
    for i, l_his in enumerate(losses_his):
    	plt.plot(l_his, label=labels[i])
    plt.legend(loc='best')
    plt.xlabel('Steps')
    plt.ylabel('Loss')
    plt.ylim((0, 0.2))
    plt.show()
    			
    

    这里写图片描述
    这里写图片描述

    可以看出,其中SGD其实是最慢且效果最差的一个了,还是Adam的效果又快又好。
    可以注意到,其实,每个优化器都有自己的特有的一些参数,所以我们可以通过设置油优化器的参数来尝试效果的变化,从而选出自己想要的效果。

    展开全文
  • 基于基于磁带的autograd系统构建的深度神经网络 您可以在需要时重用自己喜欢的Python软件包(例如NumPy,SciPy和Cython)来扩展PyTorch。 系统 3.6 3.7 3.8 Linux CPU — Linux GPU — Windows CPU / GPU ...
  • 针对获取数据不足等特点,首次在煤炭的预测中运用动态广义回归神经网络(D-GRNN)的方法,预测了中国未来近十年内的煤炭预测值,得到了比较合理的预测值。运用预测数据对国家的煤炭宏观调控做出了合理评价。
  • 循环神经网络RNN

    万次阅读 2020-06-21 23:00:39
    在我们开始了解RNN之前,... 循环神经网络(英文名Recurrent Neural Networks,简称 RNN)是一种通过隐藏层节点周期性的连接,来捕捉序列化数据中动态信息的神经网络,可以对序列化的数据进行分类。 和其他前向...

     

    在我们开始了解RNN之前,我们先回顾一下前馈神经网络

     

     

    前馈神经网络接收前一层的输入,并传递给下一层,但是同一层之间没有反馈。前馈神经网络的传播是单向的,但是,某些任务需要能够更好的处理序列信息,即前面的输入和后面的输入有关系,比如语音识别、自然语音处理等等。

     

        循环神经网络(英文名Recurrent Neural Networks,简称 RNN)是一种通过隐藏层节点周期性的连接,来捕捉序列化数据中动态信息的神经网络,可以对序列化的数据进行分类。

     

    和其他前向神经网络不同,RNN 可以保存一种上下文的状态,甚至能够在任意长的上下文窗口中存储、学习、表达相关信息,而且不再局限于传统神经网络在空间上的边界,可以在时间序列上有延拓。

     

    RNN 广泛应用在和序列有关的场景,如一帧帧图像组成的视频,一个个片段组成的音频,和一个个词汇组成的句子。 

    为了便于我们对RNN结构的理解和分析,我们将RNN结构进行展开,如下图所示:

     

    我们可以发现,Xt-1输入后会得到一个权重计算的结果,这个结果一方面会返回到下一层,另一方面会返回到相邻的同一层,并且和Xt进行权重计算。从中我们可以看出,RNN可以被看作是同一个神经网络的多次赋值,每个神经网络模块会把消息传递给下一个。

     

    RNN适用的场景

    RNN适用的场景无外乎主要有两个:

    1.不太长的相关信息和位置信息

    2.适用于需要连接前面短期内的信息到当前的任务上

     

    展开全文
  • 针对一类完全非仿射纯反馈非线性系统, 提出一种简化的自适应神经网络动态面控制方法. 基于隐函数定 理和中值定理将未知非仿射输入函数进行分解, 使其含有显式的控制输入; 利用简化的神经网络逼近未知非线性函...
  • 基于卷积神经网络动态场景视觉注意预测模型。 在虚拟现实领域中,用户的注视信息可以被应用到很多不同的方面。目前虚拟现实中眼动追踪的解决方案主要是基于眼动仪。眼动仪虽然准确,但是价格昂贵、需要校准、且...
  • 有许多任务需要根据这些图的信息完成,例如根据用户和商品的历史交互,预测一个用户是否会购买一个商品或对它感兴趣;又如根据用户间的好友关系或交流记录,预测用户和用户之间是否构成好友关系。因为经典的深度学习...

    图这种结构普遍存在于人类社会生活中,如互联网中网页间的互相链接会构成图、网民购买商品会构成“网民-商品”图、人和人的交流会构成图、论文的互相引用也会构成图。有许多任务需要根据这些图的信息完成,例如根据用户和商品的历史交互,预测一个用户是否会购买一个商品或对它感兴趣;又如根据用户间的好友关系或交流记录,预测用户和用户之间是否构成好友关系。

    因为经典的深度学习方法如RNN、CNN等不能直接使用到图这种结构中,最近几年图神经网络(Graph Neural Network)成为了深度学习的研究热点之一。图神经网络在对图中节点之间的依赖关系建模方面的强大功能使得与图分析相关的研究领域取得了重要突破。但这些图神经网络算法如DeepWalk[1]、GCN[2]等大多都是基于静态图(static graph)而不是基于动态图(dynamic graph)的,所以这些算法很多时候没有完整地使用上一个图中的所有信息。

    静态图与动态图

    一个图G=(V,E)由节点集合V以及边集合E组成,每个节点v∈V有自身的节点属性,每条边e∈E有自身的边属性。静态图指的是图的节点和边都是固定的,不会随时间变化。而实际上在现实世界中,图的节点和边往往都是动态变化的,边会动态增加(用户购买新的商品、用户关注另一个用户),节点会增加(新网页上线、新用户注册),节点的属性会变化(用户的属性会随时间变化)等。基于静态图去解决问题,虽然处理起来更简单,但不符合实际,预测效果也会大打折扣。动态图则认为图中的节点、边都是会动态变化的,会出现节点和边的动态增加、动态减少以及属性的动态变化。虽然动态图更符合实际,但因为要研究的目标是在图上动态变化的,可以想象研究难度会比静态图高不少。随着静态图算法的日趋成熟,不少研究人员开始在基于静态图的神经网络算法[1][2]的研究基础上提出了一些动态图算法,这里我们以两个代表算法CTDNE[3]和JODIE[4]为例介绍他们使用动态图来解决静态图局限性的思路。

    CTDNE

    CTDNE[3]是在DeepWalk基础上发展出来的算法框架,也是训练图中节点的embedding表示。在图1中,每条边可以代表现实生活中两个实体(如用户、商品等)的一次交互(如打电话、发邮件、关注等),边上的数字代表交互发生的时间。DeepWalk算法是基于静态图的算法,相当于忽略了边的发生时间,然后在图中随机选取一个节点作为起点,以随机游走(Random Walk)的方式采样出一条路径。在采样出大量的路径后,使用SkipGram的结构训练每个节点的embedding。但使用Random Walk采样因为忽略了边是动态增加的,往往会采样出不合理的路径,例如用户v1先发消息给v2,然后v2发给v3,v3发给v4,v4发给v1。但Random Walk可能会采样出路径v4-v1-v2,这条路径相当于跳过了v3,表达的意思就是由v4发消息给v1然后v1再发给v2,这样的路径是不合理的。

    f71b66fa4a81c578520fdc7e44307953.png

    图1. 动态图样例[3]

    CTDNE认为,一条合理的时序路径(temporal walk)应该满足规则:“路径中每条边的时间都应该小于等于下一条边的时间”。在满足这一规则的基础上,还需要确定两个随机采样方式。初始节点/边的采样方式以及采样下一个满足规则的邻居节点/边的采样方式。论文通过实验证明,对于初始边的采样使用线性增长的采样最好,也就是一条边的被采样概率随着边的发生时间增长而线性增长。而对于采样下一条边,在满足下一条边的时间大于等于当前边的条件下,采样等概率采样的方式更好。

    总结起来,CTDNE就是在DeepWalk基础上,通过修改路径采样方式使得路径满足实际的发生顺序,从而使得采样路径更加合理。

    JODIE

    JODIE[4]主要处理用户(user)与物品(item)间的交互序列(sequence of interaction)预测问题。用户和物品的交互在现实中普遍存在,例如用户购买商品、学生注册某个 MOOC 课程、一个网友编辑了某个Wikipedia页面等。一个用户往往会在不同的时间和不同的物品进行交互,对同一个物品也可能会出现多次的交互。预测用户和物品间的交互是非常重要的问题,如预测用户的购买商品行为可以进行商品推荐;预测学生什么时候可能退出MOOC课程可以为他们制定后续的教育计划;预测用户何时可能在平台(如Reddit、Wikipedia)上会出现恶意操作对维护平台的稳定非常重要。

    在根据用户与物品的交互序列进行预测时,需要解决两个主要问题。

    1. 用户和物品的属性会随着时间发展而变化。例如图2中用户u3的兴趣爱好可能会随着时间推移慢慢从书本转移到电影再转移到衣服。书本可能一开始在老年人中流行,慢慢地在年轻人中也流行了开来。而静态图将这些交互都存放在一张没有时间记录的图上,无法建模节点的属性变化。

    2. 用户和物品会因为他们交互的对象属性不同而对自身属性产生不同影响。例如用户 u2在书本i2获得普利策奖之后购买,与u2在书本获奖之前购买,模型建模得到的u2的属性变化应该是不一样的。同样,静态图也没有办法建模出这样的信息。

    41d5a1ea5ddcbcd295f5e32f063024e5.png

    图2. 用户和物品的交互序列(左)以及在JODIE中的动态表示[4]

    在JODIE中,每个用户和物品都有两个 embedding:static embedding和dynamic embedding。static embedding 表示一个用户/物品的长期静态属性,而dynamic embedding表示不断变化的属性,通过 JODIE 模型进行学习。这使得JODIE能够根据用户的静态属性和随时间变化的时序属性进行预测。

    JODIE模型有三个主要的组成部分:更新函数(update function),映射函数(project function)和预测函数(predict function)。

    f9957fc7374ae02ba14ab9874c3b0e2d.png

    图3. JODIE模型框架[4]

    JODIE的更新函数通过两个RNN来生成用户和物品的dynamic embedding:

    823bd4b7c7a37a9a945e7f5dfaeea62c.png

    在每次交互时,根据用户和物品上一刻的 embedding:u(tˉ)和i(tˉ)、当前交互与用户上一次交互的时间间隔△u以及当前交互的特征f来更新用户的embedding。类似地,RNNi会更新物品的embedding。

    用户的属性在上一次交互之后短时间内基本不变,但是随着时间增长往往会显著变化,而模型中用户的embedding却一直没有改变,使用这个embedding进行预测往往是不科学的。于是JODIE的映射函数通过类似attention的学习方式,评估/转换用户上一次的embedding u(t)在经过时间间隔△u之后新的用户embedding。

    128f95ed198008d0afb0dc3c2c3982d0.png

    最后,JODIE的预测函数会直接输出用户最有可能与之交互的物品的embedding,因此模型中只需要进行一次神经网络的前向传递,然后找到与目标embedding最接近的物品的embedding,这比进行N次前向传递(与N个物品进行预测)然后进行排序要高效得多。

    总结起来,JODIE会根据用户和物品的交互序列动态地更新用户和物品的embedding,从而建模出用户和物品动态变化的属性。

    总结

    本文先从静态图的局限性出发介绍了动态图的优势,然后通过CTDNE和JODIE两个算法介绍了动态图算法的基本思路。动态图算法的研究目前还处于初级阶段,未来的研究方向包括:如何设计更好的动态图模型使得算法可以更合理地建模图中节点和边的属性;使用什么数据结构使得动态图算法能大规模部署和运行;如何将知识图谱等信息引入动态图中。希望这篇文章能对从事图算法相关领域的朋友有参考意义,对于本文的不足之处,请读者不吝赐教。

    参考文献

    [1] Perozzi, Bryan, Rami Al-Rfou, and Steven Skiena. "Deepwalk: Online learning of social representations." Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014.

    [2] Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016).

    [3] Nguyen, Giang Hoang, et al. "Continuous-time dynamic network embeddings." Companion of the The Web Conference 2018 on The Web Conference 2018. International World Wide Web Conferences Steering Committee, 2018.

    [4] Kumar, Srijan, Xikun Zhang, and Jure Leskovec. "Learning Dynamic Embeddings from Temporal Interactions." arXiv preprint arXiv:1812.02289 (2018).

    •作者简介

    姓名:刘旭钦

    专业:数据科学(计算机科学与技术)

    年级:硕士三年级

    研究方向:图神经网络

    展开全文
  • 最近由于项目需要,要将在matlab训练好的神经网络转换为动态链接库.dll文件,方便在VS下进行调用。网上关于matlab生成动态链接库的教程很多。我个人也写了一个,但是关于封装神经网络的资料几乎没有,经过多方尝试...
  • 针对航空发动机参数非线性动态特性,提出一种基于外部输入非线性自回归(NARX)神经网络的发动机参数动态辨识模型。主要思路是根据NARX网络的非线性时序预测特性,结合发动机参数的稳态和动态参数,提出一种基于偏...
  • 之前接触并了解过神经网络的相关概念,但是并没有做过任何系统的总结,这一段时间借此总结一下相关的概念;对于神经网络的入门概念来说最重要的是一些相关的理解性概念:反向传播、激活函数、正则化以及...
  • 前言:最近在搞神经网络,看到有用神经网络逼近未建模动态的,也有用神经网络来逼近整个模型的,后者即是无模型控制。无模型控制它不需要知道系统的名义模型,直接用神经网络来逼近整个系统,感觉这个方法还蛮厉害的...
  • 前馈型神经网络取连续或...反馈型神经网络可以用离散变量也可以用连续取值,考虑输出与输入之间在时间上的延迟,需要动态方程来描述系统的模型。 前馈型神经网络的学习主要采用误差修正法(如BP算法),计算过程...
  • 非线性动态逆的思想就是通过非线性逆和非线性函数对消被控对象的非线性,从而构成... 输出反馈动态逆控制方法的优点只需测量感兴趣的输出量,而无需测量系统的所有的状态量,但是需要知道系统输出量的各阶导数,这...
  • 而BP神经网络是一种容错能力极强的非线性动态系统,将神经网络应用于丝状真菌的生长预测,拥有其它方法所不能比拟的优势。 中间内容省略~ 结语: 本文提出了基于BP神经网络的木霉生长预测模型。其他常用方法...
  • 如果有需要或者感兴趣的朋友,之后我会陆续把相关工作发出来。总体来讲,是自己用了几个月时间给自己挖了一个大坑,然后又用大半年的时间勉强填上来了。也希望大家尽量避免类似的错误,相近的工作可以借鉴一下,谨防...
  • 而BP神经网络是一种容错能力极强的非线性动态系统,将神经网络应用于丝状真菌的生长预测,拥有其它方法所不能比拟的优势。 中间内容省略~ 结语: 本文提出了基于BP神经网络的木霉生长预测模型。其他常用方法...
  • 而BP神经网络是一种容错能力极强的非线性动态系统,将神经网络应用于丝状真菌的生长预测,拥有其它方法所不能比拟的优势。 中间内容省略~ 结语: 本文提出了基于BP神经网络的木霉生长预测模型。其他常用方法...
  • 前馈 反馈神经网络

    千次阅读 2016-08-17 11:32:20
    反馈型神经网络可以用离散变量也可以用连续取值,考虑输出与输入之间在时间上的延迟,需要动态方程来描述系统的模型。 前馈型神经网络的学习主要采用误差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较...
  • 使用Yolo V3来检测图像或视频流中人脸触摸的神经网络。 这个想法来自Keras的创作者。 演示版 这是的网络预测 来源: : 原始视频的前十秒剪辑上的网络输出-https: 预测 安装(Mac) conda env create -f ...
  • 很棒的项目!!!推荐!!! 将CNN工作过程可视化分析,对初学者太友好了~ CNN解释器 From: Zijie Wang ... 该解释器加载了一个10层的预训练模型,包含卷积层、激活函数、池化层等多个... 只需要打开浏览器加载界面,移.
  • 可完成的功能有:简单神经网络实现自定义损失函数(利润最大化)、计算一个5层神经网络带L2正则化的损失函数,神经网络的优化、模拟神经网络迭代的轮数,动态控制衰减率,简单神经网络实现自定义损失函数,加入学习...
  • Hopfield神经网络的通俗理解

    万次阅读 2017-09-26 16:10:48
    Hopfield网络 和BP神经网络区别和联系。 ... 前馈型神经网络通过引入隐层及非线性转移函数(激活函数)使得网络具有复杂的非线性映射...因此需要通过微分方程或差分方程描述网络的动态数学模型。Hopfield神经网络
  • 神经网络-pytorch 安装

    2018-12-25 16:53:29
    torch的意思是火炬,这是Facebook的开源神经网络框架,pytorch就是它的python版本啊,与Tensorflow的静态计算图不同,pytorch的计算图是动态的,可以根据计算需要实时改变计算图。 我觉得可能比较适合初学者,但也...
  • 利用RBF神经网络实现对数据点的分类。采用的是广义RBF网络数据中心的监督学习算法,利用梯度下降法,自动求RBF网络的中心、扩展系数、权重。该实验动态展示了RBF分类逼近过程。你可以调节参数达到你需要的效果。
  • 许多不同的模型都需要个人资料照片 ,例如社交网络,博客评论和个人资料页面。 借助Diverse UI ,您只需单击几下即可轻松将这些照片嵌入到您的模型中 。 您可以免费下载十种线框套件 .no-js #ref-block-post-...

空空如也

空空如也

1 2 3 4 5 ... 14
收藏数 264
精华内容 105
关键字:

动态神经网络需要神经网络