精华内容
下载资源
问答
  • 深度学习是学习样本数据内在规律和表示层次,这些学习过程中获得信息对诸如文字,图像和声音等数据解释有很大帮助。因此,它在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,...

    6a530fa833a712e840d5ef4c990c62a3.png
    全文共3425字,预计学习时长10分钟

    9d70672f0c1806454b67474eb3e4f820.png
    图源:www.raincent.com

    深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。

    深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。

    因此,它在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。与其他机器学习技术相比,深度学习的主要优势在于能够自动学习输入数据的抽象表示。然而,这一点却鲜为人知。

    6078eeb870c3b1499a19d130c9e3e075.gif
    图源:Sian Molloy

    早在1969年,Minkey和Papert就出版了一本著作,证明了单层感知器,即人工神经网络的前身,不能解决异或问题。

    对于没有计算机科学背景或其他行业的人来说,异或问题就是指两个二进制输入:A和B。当且仅当A或B中有一个为真时返回真,因此得名“异或(exclusive or”)”。单层感知器不能解决这一问题的原因是它们只能解决线性可分的类。如果设置异或问题的可能输入及其输出,可以用下图说明:

    57bb9474e11528ed1770223c4f98f5c1.png
    世界上最烂的井字游戏(来源:维基共享资源)

    你能在这个图上画一条直线,把圆圈和十字分开吗?

    不,你不能,感知器也不能。幸运的是,某些富有洞察力的人将两个感知器放在一起,深度学习领域就此诞生。这样做的原因是,神经网络的每一层都可以被认为是前一层的嵌入;虽然上图中的圆圈和十字在初始形态中可能不是线性可分的,但是通过简单的编码,它们就变得线性可分了。

    记住图的左上角和右下角。然后,想象一下通过第三维度将图像对折,将右上角拖出屏幕,并将其向下压到左下角。正确的做法应该是这样的:

    997ac7624aa7d9ca8e5bd0ced0acf085.png

    仔细看的话会发现我没什么艺术细胞现在,你能在这个图上画一条直线,把圆圈和十字分开吗?应该可以了。

    神经网络擅长的主要任务是将信息提取出来,并将其编码为其他更有效的形式。

    事实上,训练神经网络不是为了其预测能力,而是为了发现学习到的表示,这一直是深度学习研究的支柱。

    9c12a80ff2332d5b4a8701a8880728d1.png

    学习观察

    卷积神经网络(CNNs)是将深度学习应用于图像数据的最流行的架构。

    简单地说,卷积神经网络学习许多滤波器,将这些滤波器应用到图像的每个像素及其层上。

    通过对图像应用这些滤波器,以及重复的下采样,神经网络学会在其第一层识别简单的、低级的特征,在其最后一层识别复杂的、高级的特征。这就是一般的解释。

    d8315c9a9b239829ce753fb245adb232.png
    图片来源:卷积深度信念网络用于分层表示的可扩展无监督式学习,Lee等著。

    如图所示,模型学习识别各种边缘,然后是面部特征,然后是整个人脸(许多中间层被移除)。如果你用谷歌搜索“卷积神经网络层可视化”,会发现很多类似的图片。

    然而,我从未见过在训练过程中可视化的卷积神经网络图层,所以我想进行一下尝试。

    在这个实验中,我使用了通用的MNIST数据集,这是一组黑白手绘数字,共有六万个,每个数字的高度和宽度都为28个像素。我使用了一个简单的卷积模型,如下所示:

    8094f4de425ee82a0662fd848660941c.png
    网络结构包括6个卷积层和3个密集层

    可视化

    对神经网络进行了五个epoch的训练,1024幅图像分为一小批,共290个训练步骤。在每一步之后,将一组预先选择的10个样本图像(每个数字中的一个)输入到模型中,且保存每个卷积层的激活。虽然最近几年它已经过时了,更容易训练的ReLU函数更受欢迎,但我还是决定使用tanh作为卷积层中的激活函数。

    这是因为tanh限制在-1和1之间,使得它易于可视化。当第一层的激活应用于红蓝颜色图时,结果如下:

    4d19d44ee9c578c0d7c0b945c2ce638e.gif
    Conv1:输入图像(顶行)和卷积层1中四个通道的激活。激活范围从+1(蓝色)到0(白色)到-1(红色)。Frame(左上)是所用的训练步骤数。

    Conv1似乎已经学会了识别第一通道和第二通道中的笔画宽度,因为每个数字的内侧是暗红色,而外侧是浅红色。在第三和第四通道中,它似乎学会了识别边缘,数字是蓝色的,背景是粉红色的,数字边缘是白色的。

    然而,这些激活是深度学习标准教程中的一小部分,即每个通道将学习一个清晰和独特的特征,如垂直和水平边缘;Conv1在很大程度上复制了原始输入,并略作了注释。

    1b0fd241d0d4b5ee485707c576b1a6fb.gif
    Conv2: 设置与Conv1相同。

    与Conv1类似,Conv2似乎也在复制原始输入。第一、第二、第四通道彼此之间几乎相同,并且与Conv1突出显示边缘几乎相同,第三通道只是对输入进行模糊复制。

    129ca700dc6eace2fef95b30cdb124c7.gif
    Conv3:设置与Conv1相同,只是采用8个通道。这一层的分辨率是原始图像的一半,因此提高了激活而没有实现可视化的插值。

    在Conv3中,我们看到了可能是第一个真正学习到的特征。

    在第六通道,接近训练结束时,可以看到数字是蓝色的,大部分背景是粉红色的,而数字的每一部分正下方的背景是红色的。这表明这个通道已经学会识别水平边缘的底部。

    同样,第七通道有红色的数字,粉红色的背景,每个数字上方有白色的水平边缘。然而,其他通道似乎只是简单复制了原始图像。

    cca45fbade7595408ac4a2377d9e841b.gif
    Conv4: 设置同Conv3。

    在Conv4中,可以看到更清晰确定的特征。

    尤其是,可以看到不同角度的边缘。第一、第二和第六通道识别水平边缘的顶部。第三、第七和第八通道识别对角线边。另外两个通道则是粗略复制原始图像。

    499de3920e29035e69b0d1d3af5b4c61.png
    Conv5:设置同Conv1,只是采用了16个通道。这一层的分辨率是原始图像的四分之一,因此提高了激活而没有实现可视化的插值。(图片过大,此处展示完成后)

    Conv5进行了大量的下采样,分辨率仅为7x7像素,但其特征提取似乎更具意义。在训练的最初阶段,每个通道都是粉红色的背景,缺乏大量信息。

    到步骤70,层已经学会产生模糊地类似于输入的斑点。

    然而,到训练结束时,这些通道已经明显地彼此区分开来,并且激活呈现出急剧的变化。

    由于“独立特征”的低分辨率和纠缠,因此不清楚这里学习到了什么特征,显然,此处的每个通道都有各自的意义。

    41517f5bde2fe25ab6655b7f2375b8bc.png
    Conv6:此图像体积过大,所以此处展示训练完成后的激活。

    不幸的是,Conv6超过了Medium的文件大小限制,所以请点击此处以观察学习。与Conv5类似,学习到的特征是清晰可见的,但几乎不能分辨出它们实际对应的是什么。

    4bd52472fd2f0a40ef1fd4d46c1549f8.png
    训练过程中的精度和损耗(categorical_crossentropy)

    9c12a80ff2332d5b4a8701a8880728d1.png

    结语

    那么本文讲了什么呢?

    有三点。

    首先,深度学习的结果很少像标准教程所说的那样清晰明了。

    许多教科书,包括《深度学习》(Goodfellow等著),将低层卷积层比作Gabor滤波器和其他手动制作的计算机视觉滤波器。

    尽管该模型在测试数据上达到了95%以上的准确率,但前四个卷积层在特征提取方面收效甚微。

    诚然,这是一个非常简单的模型,可以完成简单的任务。

    而对于更复杂的任务,更高级的模型很可能会学习到一些有用的低级特征,但深度学习的一般教授方式(以我的经验来看)表明,即使对于简单的任务,特征细化和提取也是必需的;事实显然并非如此。

    第二点是,学习到的特征不太可能是人类会选择的、直接的、独立的特征。

    Conv5和Conv6显然学到了某些特征,原始图像的编码方式使得网络的密集层可以按照数字类型对它们进行分类,但它们学到的并不会很快地观察到。

    这是深度学习中的一个常见问题,尤其是在生成建模中。在生成建模中,一个模型可能会学习将两个或更多看似不相关的特征嵌入作为单一特征。

    74494a490ca3052399c441649cdc2c01.png
    图源:百家号

    第三点是我,笔者作为一名数据科学家,每天都会提醒自己的,那就是把一切都可视化是值得的。我参加这个项目,希望能写出一篇完全不同的文章。

    我很高兴能展示网络学习和细化的特性,从低级的边缘检测到高级的循环和回旋。我还发现了一个闲置的家伙,直到最后都几乎没有进行特征细化。

    最值得注意以及令我惊讶的是,一旦层学习了输入的某种表示,它们在训练过程中几乎不会改变。

    可视化这一点加强了我对卷积神经网络训练的理解。

    希望你在阅读完这篇文章后也能学到一些东西。努力学习,祝你好运~

    83844567d5786882cb2cfca12cfd0886.png

    b85dfdf92d4e22208bf03f50e382d06c.png

    留言 点赞 关注

    我们一起分享AI学习与发展的干货

    编译组:杨月、虞双双

    相关链接:https://towardsdatascience.com/watch-this-neural-network-learn-to-see-545492272440

    如需转载,请后台留言,遵守转载规范

    展开全文
  • 深度学习是学习样本数据内在规律和表示层次,这些学习过程中获得信息对诸如文字,图像和声音等数据解释有很大帮助。因此,它在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,...

    全文共3425字,预计学习时长10分钟

    72d824a883a6c2145f1b67cb90c75a87.png

    图源:www.raincent.com

    深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。

    深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。因此,它在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。

    与其他机器学习技术相比,深度学习的主要优势在于能够自动学习输入数据的抽象表示。然而,这一点却鲜为人知。

    f4f6526bd16f9caf28687ede7ad4da6a.gif

    图源:Sian Molloy

    早在1969年,Minkey和Papert就出版了一本著作,证明了单层感知器,即人工神经网络的前身,不能解决异或问题。

    对于没有计算机科学背景或其他行业的人来说,异或问题就是指两个二进制输入:A和B。当且仅当A或B中有一个为真时返回真,因此得名“异或(exclusive or”)”。单层感知器不能解决这一问题的原因是它们只能解决线性可分的类。如果设置异或问题的可能输入及其输出,可以用下图说明:

    35b439946fe42f4c291bdd59e0a34d80.png

    世界上最烂的井字游戏(来源:维基共享资源)

    你能在这个图上画一条直线,把圆圈和十字分开吗?

    不,你不能,感知器也不能。

    幸运的是,某些富有洞察力的人将两个感知器放在一起,深度学习领域就此诞生。这样做的原因是,神经网络的每一层都可以被认为是前一层的嵌入;虽然上图中的圆圈和十字在初始形态中可能不是线性可分的,但是通过简单的编码,它们就变得线性可分了。

    记住图的左上角和右下角。然后,想象一下通过第三维度将图像对折,将右上角拖出屏幕,并将其向下压到左下角。正确的做法应该是这样的:

    d664c937594e2dc68c7fcf5e26e6eecc.png

    仔细看的话会发现我没什么艺术细胞

    现在,你能在这个图上画一条直线,把圆圈和十字分开吗?应该可以了。神经网络擅长的主要任务是将信息提取出来,并将其编码为其他更有效的形式。事实上,训练神经网络不是为了其预测能力,而是为了发现学习到的表示,这一直是深度学习研究的支柱。

    10a3edcb2af9e2549b65f549b3b6c38e.png

    学习观察

    卷积神经网络(CNNs)是将深度学习应用于图像数据的最流行的架构。简单地说,卷积神经网络学习许多滤波器,将这些滤波器应用到图像的每个像素及其层上。通过对图像应用这些滤波器,以及重复的下采样,神经网络学会在其第一层识别简单的、低级的特征,在其最后一层识别复杂的、高级的特征。这就是一般的解释。

    f73a9c8f69354393ba3a803bd6cf203a.png

    图片来源:卷积深度信念网络用于分层表示的可扩展无监督式学习,Lee等著。

    如图所示,模型学习识别各种边缘,然后是面部特征,然后是整个人脸(许多中间层被移除)。如果你用谷歌搜索“卷积神经网络层可视化”,会发现很多类似的图片。

    然而,我从未见过在训练过程中可视化的卷积神经网络图层,所以我想进行一下尝试。在这个实验中,我使用了通用的MNIST数据集,这是一组黑白手绘数字,共有六万个,每个数字的高度和宽度都为28个像素。我使用了一个简单的卷积模型,如下所示:

    c98e55d767f9558938d85c56ec041559.png

    网络结构包括6个卷积层和3个密集层

    可视化

    对神经网络进行了五个epoch的训练,1024幅图像分为一小批,共290个训练步骤。在每一步之后,将一组预先选择的10个样本图像(每个数字中的一个)输入到模型中,且保存每个卷积层的激活。虽然最近几年它已经过时了,更容易训练的ReLU函数更受欢迎,但我还是决定使用tanh作为卷积层中的激活函数。这是因为tanh限制在-1和1之间,使得它易于可视化。当第一层的激活应用于红蓝颜色图时,结果如下:

    b4c705b0c178673f06c296a6bb63ac79.gif

    Conv1:输入图像(顶行)和卷积层1中四个通道的激活。激活范围从+1(蓝色)到0(白色)到-1(红色)。Frame(左上)是所用的训练步骤数。

    Conv1似乎已经学会了识别第一通道和第二通道中的笔画宽度,因为每个数字的内侧是暗红色,而外侧是浅红色。在第三和第四通道中,它似乎学会了识别边缘,数字是蓝色的,背景是粉红色的,数字边缘是白色的。然而,这些激活是深度学习标准教程中的一小部分,即每个通道将学习一个清晰和独特的特征,如垂直和水平边缘;Conv1在很大程度上复制了原始输入,并略作了注释。

    45e1f5a0bcd637e6ceb88bdccb5bbe9b.gif

    Conv2: 设置与Conv1相同。

    与Conv1类似,Conv2似乎也在复制原始输入。第一、第二、第四通道彼此之间几乎相同,并且与Conv1突出显示边缘几乎相同,第三通道只是对输入进行模糊复制。

    e7613f2d5e92c499a793b253e4dae416.gif

    Conv3:设置与Conv1相同,只是采用8个通道。这一层的分辨率是原始图像的一半,因此提高了激活而没有实现可视化的插值。

    在Conv3中,我们看到了可能是第一个真正学习到的特征。在第六通道,接近训练结束时,可以看到数字是蓝色的,大部分背景是粉红色的,而数字的每一部分正下方的背景是红色的。这表明这个通道已经学会识别水平边缘的底部。同样,第七通道有红色的数字,粉红色的背景,每个数字上方有白色的水平边缘。然而,其他通道似乎只是简单复制了原始图像。

    f25304ed0820ea9be144b4fb6d066026.gif

    Conv4: 设置同Conv3。

    在Conv4中,可以看到更清晰确定的特征。尤其是,可以看到不同角度的边缘。第一、第二和第六通道识别水平边缘的顶部。第三、第七和第八通道识别对角线边。另外两个通道则是粗略复制原始图像。

    d1daf5dc7ddb69e5ca563e5db4f07b8e.png

    Conv5:设置同Conv1,只是采用了16个通道。这一层的分辨率是原始图像的四分之一,因此提高了激活而没有实现可视化的插值。(图片过大,此处展示完成后)

    Conv5进行了大量的下采样,分辨率仅为7x7像素,但其特征提取似乎更具意义。在训练的最初阶段,每个通道都是粉红色的背景,缺乏大量信息。到步骤70,层已经学会产生模糊地类似于输入的斑点。然而,到训练结束时,这些通道已经明显地彼此区分开来,并且激活呈现出急剧的变化。由于“独立特征”的低分辨率和纠缠,因此不清楚这里学习到了什么特征,显然,此处的每个通道都有各自的意义。

    68b5aee45f8bfc5c0c3607182b8ce9a8.png

    Conv6:此图像体积过大,所以此处展示训练完成后的激活。

    不幸的是,Conv6超过了Medium的文件大小限制,所以请点击此处以观察学习。与Conv5类似,学习到的特征是清晰可见的,但几乎不能分辨出它们实际对应的是什么。

    cb841124849053680aac55a9656acdac.png

    训练过程中的精度和损耗(categorical_crossentropy)

    10a3edcb2af9e2549b65f549b3b6c38e.png

    结语

    那么本文讲了什么呢?有三点。

    首先,深度学习的结果很少像标准教程所说的那样清晰明了。许多教科书,包括《深度学习》(Goodfellow等著),将低层卷积层比作Gabor滤波器和其他手动制作的计算机视觉滤波器。尽管该模型在测试数据上达到了95%以上的准确率,但前四个卷积层在特征提取方面收效甚微。

    诚然,这是一个非常简单的模型,可以完成简单的任务。而对于更复杂的任务,更高级的模型很可能会学习到一些有用的低级特征,但深度学习的一般教授方式(以我的经验来看)表明,即使对于简单的任务,特征细化和提取也是必需的;事实显然并非如此。

    第二点是,学习到的特征不太可能是人类会选择的、直接的、独立的特征。Conv5和Conv6显然学到了某些特征,原始图像的编码方式使得网络的密集层可以按照数字类型对它们进行分类,但它们学到的并不会很快地观察到。

    这是深度学习中的一个常见问题,尤其是在生成建模中。在生成建模中,一个模型可能会学习将两个或更多看似不相关的特征嵌入作为单一特征。

    be6ec95bae7fc969a4c84b9ea7f9ef16.png

    图源:百家号

    第三点是我,笔者作为一名数据科学家,每天都会提醒自己的,那就是把一切都可视化是值得的。我参加这个项目,希望能写出一篇完全不同的文章。我很高兴能展示网络学习和细化的特性,从低级的边缘检测到高级的循环和回旋。我还发现了一个闲置的家伙,直到最后都几乎没有进行特征细化。

    最值得注意以及令我惊讶的是,一旦层学习了输入的某种表示,它们在训练过程中几乎不会改变。

    可视化这一点加强了我对卷积神经网络训练的理解。希望你在阅读完这篇文章后也能学到一些东西。

    努力学习,祝你好运~

    a7d4b5ae934934a4607148d348db99cc.png
    c1b7f70e4919f55f89bbd73d986a81a5.png

    留言点赞关注

    我们一起分享AI学习与发展的干货

    如转载,请后台留言,遵守转载规范

    展开全文
  • 类比法、二分法、差分法、变分法、图论法、层次分析法、数据拟合法、回归分析法、数学规划(线性规划,非线性规划,整数规划,动态规划,目标规划)、机理分析、排队方法、对策方法、决策方法、模糊评判方法、时间...

    数学建模中常用的方法:
    类比法、二分法、差分法、变分法、图论法、层次分析法、数据拟合法、回归分析法、数学规划(线性规划,非线性规划,整数规划,动态规划,目标规划)、机理分析、排队方法、对策方法、决策方法、模糊评判方法、时间序列方法、灰色理论方法、现代优化算法(禁忌搜索算法,模拟退火算法,遗传算法,神经网络)。

    这些方法可以解一些模型:
    优化模型、微分方程模型、统计模型、概率模型、图论模型、决策模型。

    拟合与插值方法(给出一批数据点,确定满足特定要求的曲线或者曲面,从而反映对象整体的变化趋势): matlab可以实现一元函数,包括多项式和非线性函数的拟合以及多元函数的拟合,即回归分析,从而确定函数; 同时也可以用matlab实现分段线性、多项式、样条以及多维插值。

    在优化方法中,决策变量、目标函数(尽量简单、光滑)、约束条件、求解方法是四个关键因素。其中包括无约束规则(用fminserch、fminbnd实现)线性规则(用linprog实现)非线性规则、( 用fmincon实现)多目标规划(有目标加权、效用函数)动态规划、整数规划。

    回归分析:对具有相关关系的现象,根据其关系形态,选择一个合适的数学模型,用来近似地表示变量间的平均变化关系的一种统计方法 (一元线性回归、多元线性回归、非线性回归),回归分析在一组数据的基础上研究这样几个问题:建立因变量与自变量之间的回归模型(经验公式);对回归模型的可信度进行检验;判断每个自变量对因变量的影响是否显著;判断回归模型是否适合这组数据;利用回归模型对进行预报或控制。相对应的有 线性回归、多元二项式回归、非线性回归。

    逐步回归分析:从一个自变量开始,视自变量作用的显著程度,从大到地依次逐个引入回归方程:当引入的自变量由于后面变量的引入而变得不显著时,要将其剔除掉;引入一个自变量或从回归方程中剔除一个自变量,为逐步回归的一步;对于每一步都要进行值检验,以确保每次引入新的显著性变量前回归方程中只包含对作用显著的变量;这个过程反复进行,直至既无不显著的变量从回归方程中剔除,又无显著变量可引入回归方程时为止。(主要用SAS来实现,也可以用matlab软件来实现)。

    聚类分析:所研究的样本或者变量之间存在程度不同的相似性,要求设法找出一些能够度量它们之间相似程度的统计量作为分类的依据,再利用这些量将样本或者变量进行分类。

    系统聚类分析—将n个样本或者n个指标看成n类,一类包括一个样本或者指标,然后将性质最接近的两类合并成为一个新类,依此类推。最终可以按照需要来决定分多少类,每类有多少样本(指标)。

    系统聚类方法步骤:

    1. 计算n个样本两两之间的距离
    2. 构成n个类,每类只包含一个样品
    3. 合并距离最近的两类为一个新类
    4. 计算新类与当前各类的距离(新类与当前类的距离等于当前类与组合类中包含的类的距离最小值),若类的个数等于1,转5,否则转3
    5. 画聚类图
    6. 决定类的个数和类。

    判别分析:在已知研究对象分成若干类型,并已取得各种类型的一批已知样品的观测数据,在此基础上根据某些准则建立判别式,然后对未知类型的样品进行判别分类。

    距离判别法—首先根据已知分类的数据,分别计算各类的重心,计算新个体到每类的距离,确定最短的距离(欧氏距离、马氏距离)
    Fisher判别法—利用已知类别个体的指标构造判别式(同类差别较小、不同类差别较大),按照判别式的值判断新个体的类别
    Bayes判别法—计算新给样品属于各总体的条件概率,比较概率的大小,然后将新样品判归为来自概率最大的总体

    模糊数学:研究和处理模糊性现象的数学 (概念与其对立面之间没有一条明确的分界线)与模糊数学相关的问题:模糊分类问题—已知若干个相互之间不分明的模糊概念,需要判断某个确定事物用哪一个模糊概念来反映更合理准确;模糊相似选择 —按某种性质对一组事物或对象排序是一类常见的问题,但是用来比较的性质具有边界不分明的模糊性;模糊聚类分析—根据研究对象本身的属性构造模糊矩阵,在此基础上根据一定的隶属度来确定其分类关系 ;模糊层次分析法—两两比较指标的确定;模糊综合评判—综合评判就是对受到多个因素制约的事物或对象作出一个总的评价,如产品质量评定、科技成果鉴定、某种作物种植适应性的评价等,都属于综合评判问题。由于从多方面对事物进行评价难免带有模糊性和主观性,采用模糊数学的方法进行综合评判将使结果尽量客观从而取得更好的实际效果 。

    时间序列是按时间顺序排列的、随时间变化且相互关联的数据序列—通过对预测目标自身时间序列的处理,来研究其变化趋势(长期趋势变动、季节变动、循环变动、不规则变动)

    自回归模型:一般自回归模型AR(n)—系统在时刻t的响应X(t)仅与其以前时刻的响应X(t-1),…, X(t-n)有关,而与其以前时刻进入系统的扰动无关 ;移动平均模型MA(m)—系统在时刻t的响应X(t) ,与其以前任何时刻的响应无关,而与其以前时刻进入系统的扰动a(t-1),…,a(t-m)存在着一定的相关关系 ;自回归移动平均模型 ARMA(n,m)—系统在时刻t的响应X(t),不仅与其前n个时刻的自身值有关,而且还与其前m个时刻进入系统的扰动存在一定的依存关系 。

    时间序列建模的基本步骤

    1. 数据的预处理:数据的剔取及提取趋势项
    2. 取n=1,拟合ARMA(2n,2n-1)(即ARMA(2,1))模型
    3. n=n+1,拟合ARMA(2n,2n-1)模型
    4. 用F准则检验模型的适用性。若检验显著,则转入第2步。若检验不显著,转入第5步。
    5. 检查远端时刻的系数值的值是否很小,其置信区间是否包含零。若不是,则适用的模型就是ARMA(2n,2n-1) 。若很小,且其置信区间包含零,则拟合ARMA(2n-1,2n-2) 。
    6. 利用F准则检验模型ARMA(2n,2n-1)和ARMA(2n-1,2n-2) ,若F值不显著,转入第7步;若F值显著,转入第8步。
    7. 舍弃小的MA参数,拟合m<2n-2的模型ARMA(2n-1,m) ,并用F准则进行检验。重复这一过程,直到得出具有最小参数的适用模型为止
    8. 舍弃小的MA参数,拟合m<2n-1的模型ARMA(2n,m) ,并用F准则进行检验。重复这一过程,直到得出具有最小参数的适用模型为止。

    图论方法:
    最短路问题:两个指定顶点之间的最短路径—给出了一个连接若干个城镇的铁路网络,在这个网络的两个指定城镇间,找一条最短铁路线 (Dijkstra算法 )每对顶点之间的最短路径 (Dijkstra算法、Floyd算法 )。

    最小生成树问题:连线问题—欲修筑连接多个城市的铁路设计一个线路图,使总造价最低(prim算法、Kruskal算法 )

    图的匹配问题:人员分派问题:n个工作人员去做件n份工作,每人适合做其中一件或几件,问能否每人都有一份适合的工作?如果不能,最多几人可以有适合的工作?(匈牙利算法)。
    遍历性问题:中国邮递员问题—邮递员发送邮件时,要从邮局出发,经过他投递范围内的每条街道至少一次,然后返回邮局,但邮递员希望选择一条行程最短的路线
    最大流问题。

    运输问题:
    最小费用最大流问题:在运输问题中,人们总是希望在完成运输任务的同时,寻求一个使总的运输费用最小的运输方案

    在数学建模中常用的算法:
    1:蒙特卡罗算法;
    2:数据拟合、参数估计、插值等数据处理算法(常用matlab实现);
    3:线性规划、整数规划、多元规划、二次规划(用lingo、lingdo、matlab即可实现);
    4:图论算法(包括最短路、网络流、二分图);
    5:动态规划、回溯搜索、分治算法、分支界定;
    6:最优化理论的三大经典算法(模拟退火算法、神经网络算法、遗传算法);
    7:网格算法和穷举法;
    8:连续数据离散化;
    9:数值分析算法;
    10:图象处理算法(常用matlab来实现)。

    展开全文
  • 本文所采用模拟植物生长算法(PGSA)是以植物向光性理论为启发式准则智能算法, 该算法是利用人工植物在给定物流节点集解空间中生长过程得到城市地下物流网络的最优布局. 通过对国际公布STEINLIB实例数据计算...
  • 然后从输入图像中截取这些候选区域对应图像,将其裁剪缩放至合适尺寸,并相继送入一个CNN特征提取网络进行高层次的特征提取,提取出特征再被送入一个SVM分类器进行物体分类,以及一个线性回归器进行边界框位置...

    R-CNN

    R-CNN(Regional CNN)是第一个将卷积神经网络用于目标检测的深度学习模型。

    主要思路:首先使用无监督的选择性搜索(Selective Search,SS)方法将输入图像中具有相似颜色直方图特征的区域进行递归合并,产生约2000个候选区域。然后从输入图像中截取这些候选区域对应的图像,将其裁剪缩放至合适的尺寸,并相继送入一个CNN特征提取网络进行高层次的特征提取,提取出的特征再被送入一个SVM分类器进行物体分类,以及一个线性回归器进行边界框位置和大小的修正。最后对检测结果进行非极大值抑制(Non-Maximum Suppression,NMS)操作,得到最终检测结果。

     

    SPPNet

    SPPNet中的SPP是指金字塔池化(Spatial Pyramid Pooling)。由于R-CNN中的SVM分类器和线性回归分类器只接受固定长度的特征输入,这就要求之前由CNN提取的特征必须是固定维度的,进一步要求输入的图像也是固定尺寸的,这也是上文提到的R-CNN中要对候选区域图像进行裁剪或缩放至固定尺寸的原因。然而,这种操作会破坏截取图像的长宽比,并损失一些信息。

    SPPNet提出了空间金字塔池化层,该层被放置于CNN的末端,它可以接受任意尺寸的特征图作为输入,然后通过三个窗口大小可变但窗口个数固定的池化层,最终输出具有固定尺寸的池化特征。此外,R-CNN还存在另一个问题:它产生的大量候选区往往是互相有重叠的,这表明特征提取过程存在大量的重复计算,进而导致了R-CNN的速度瓶颈。

    为了解决该问题,SPPNet在R-CNN的基础上,只进行一次全图的特征提取,而后每个候选区域对应的特征直接从全图特征中进行截取,然后送入空间金字塔池化层进行尺寸的统一。

     

    Fast R-CNN

    Fast R-CNN 的思想与SPPNet几乎一致,主要区别在于前者使用感性趣区域池化(Region-of-Interest Pooling)而非空间金字塔池化。同时,Fast R-CNN在得到了固定长度的特征后,使用全连接网络代替了之前的SVM分类器和线性回归器来进行物体分类和检测框修正,这样可以与前面用于提取特征的CNN构成一个整体,大大增强了检测任务的一体性,提高了计算效率。

     

    Faster R-CNN

    Faster R-CNN在Fast R-CNN的基础上,将其最耗时的候选区域提取步骤(即选择性搜索)用一个区域候选网络(Region Proposal Network,RPN)进行了替代,并且这个RPN和用不检测的Fast R-CNN网络共享特征提取部分的权值。

    在Faster R-CNN中,一幅输入图像先由RPN提取候选区域,再取出各个候选区域对应的特征图,送入Fast R-CNN(独立于RPN的后半部分)进行物体分类和位置回归。Faster R-CNN第一次做到了实时的物体检测,具有里程碑意义。

     

     

     

     

     

     

     

     

    展开全文
  • 由于遗传算法具有很强的宏观搜索能力,且能以较大的概率找到全局最优解,所以用它来完成前期的搜索能较好的克服BP算法的缺点。本文将二者结合起来,形成一种混合训练算法-GA-BP算法,达到优化网络的目的。 2 ...
  • 2.4.3检索模型的概念过程 2.4.4信息检索的执行过程 2.4.5布尔逻辑表达式的逆波兰表示法 2.5 扩展布尔检索技术* 2.5.1截词检索 2.5.2邻接检索 2.5.3字段检索 2.6 世界著名检索系统介绍 2.7 传统信息检索的性质与局限*...
  • php网络开发完全手册

    热门讨论 2009-03-02 13:17:26
    7.5.6 的搜索和替换——preg_replace_ 7.5.6 callback 114 7.5.7 用正则表达式进行字符串分割 7.5.7 ——preg_split 115 7.6 字符操作的注意事项 117 7.7 小结 118 第8章 数组操作与数据结构算法 119 8.1 一维数组与...
  • 本文重点阐述了通信数据分布式存储与查询在Hadoop ...在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这在很大程度上优化了数据查询和分层扩展效率
  • 3.2.3 层次方框图 12 3.3 需求验证 12 4 系统设计(总体设计与详细设计) 13 4.1 总体设计 13 4.1.1 软件功能 13 4.1.1.1站点综合信息展示 13 4.1.1.2搜索功能 13 4.1.1.3 留言评论 13 4.1.1.4 用户物品编辑 13 ...
  • 4.3 地形建模过程一分形.............….. 52 1.2.2 向量长度...…......... . . . .. . ......… 8 1.2.3 法向量与叉积 4.4 地形WD: 三角二叉树…·· · ··· …...... … 53 . .................... ......
  • 新Java IDE 特性,包括对嵌套项目层次视图,可自定义 perspectives,并提升了文本搜索的速度。集成工具,用于建立和维护 Docker 容器,可在 Linux Tools 项目获取.Oomph 项目现在能够跨工作区记录和分享个人偏好...
  • 第3章 使用实体-联系(ER)模型的数据建模 38 3.1 使用高级概念数据模型进行数据库设计 39 3.2 一个数据库应用示例 40 3.3 实体类型、实体集、属性和码 40 3.3.1 实体和属性 41 3.3.2 实体类型、...
  • Collections是针对集合类的一个帮助类,他提供一系列静态方法实现对各种集合的搜索、排序、线程安全化等操作。 13、&和&&的区别。 &是位运算符,表示按位与运算,&&是逻辑运算符,表示逻辑与(and)。 14、...
  • 本书采用现代面向对象方法,从零开始介绍最有用层次结构,全文使用图形和交互式程序,充分激发学生学习兴趣。本书使用传记简介、引用以及哲学片段来突出计算历史和理性背景,着重强调算法和问题解决,而今天...
  • 9.7 编程练习 第10章 事件驱动程序 10.1 Java事件模型 10.2 简单事件驱动程序 10.3 响应鼠标事件 10.4 响应键盘事件 10.5 创建简单GUI 10.6 Swing 交互器层次结构 10.7 管理组件布局 10.8 使用TableLayout类 ...
  • 以改进后Hevner情感环模型为基础,借助HowNet所提供语义资源和从网络爬取歌词文本语料库,构建了一部树形层次结构音乐领域中文情感词典,并利用LRC歌词携带时间标签获取歌曲语速信息,实现了基于情感...
  • 在ASP.Net课程一开始,不是直接教学员怎么拖ASP.Net控件进行快速开发,而是通过ashx模式开发原始动态网站,让学员明白“请求—处理—响应模型”、“Http协议、Http无状态”、“c#代码渲染生成浏览器端...
  • 其中使用Struts作为系统整体基础架构,负责MVC分离,在Struts框架的模型部分,控制业务跳转,利用Hibernate框架对持久层提供支持,Spring做管理,管理Struts和Hibernate。 WebStorage HTML新增本地存储解决...
  • 语音识别技术文章.rar

    热门讨论 2011-05-12 10:31:08
    17.4 连续语音识别中的搜索策略 17.4.1 传统的帧同步算法 17.4.2 基于统计知识的帧同步搜索算法原理 17.4.3 受词法约束的词搜索树 17.4.4 连续语音识别中的双层搜索网络 17.5 语言模型 17.5.1 基于规则的方法 ...
  • 智能图像处理技术PDF

    热门讨论 2010-10-28 17:31:22
    13.5.2 基于隐马尔可夫模型的人脸识别 13.6 车牌识别技术 13.6.1 系统简介 13.6.2 车牌图像定位分割算法 13.6.3 车牌字符的识别 本章参考文献 第14章 c基于内容的图像检索 14.1 基于内容的图像检索...
  • 4 基于HMM模型的噪声补偿  12. 5 小结  参考文献  第13章 信道补偿  13. 1 概述  13. 2 稳健语音识别技术  13. 2. 1 稳健语音识别的提出  13. 2. 2 稳健语音识别的研究现状  13. 3 信道...
  • 【电子书】智能图像处理技术

    热门讨论 2008-12-05 01:14:33
    13.5.2 基于隐马尔可夫模型的人脸识别 13.6 车牌识别技术 13.6.1 系统简介 13.6.2 车牌图像定位分割算法 13.6.3 车牌字符的识别 本章参考文献 第14章 c基于内容的图像检索 14.1 基于内容的图像检索...
  • 实用语音识别基础

    热门讨论 2013-08-01 19:58:17
    4 基于HMM模型的噪声补偿  12. 5 小结  参考文献  第13章 信道补偿  13. 1 概述  13. 2 稳健语音识别技术  13. 2. 1 稳健语音识别的提出  13. 2. 2 稳健语音识别的研究现状  13. 3 信道...
  • C#微软培训教材(高清PDF)

    千次下载 热门讨论 2009-07-30 08:51:17
    9.2 对象的模型技术 .103 9.3 面向对象分析 .105 9.4 面向对象设计 .107 9.5 小 结 .110 第十章 类 .112 10.1 类 声 明 .112 10.2 类 成 员 .113 10.3 构造函数和析构函数 .119 10.4 小 ...
  • ASP EXCEL导入SQL

    2013-01-23 01:17:24
    今天微软也已经应用REST并且提出把我们现有的网络变成为一个语义网,这种网络将会使得搜索更加智能化。  REST与HTTP协议  REST软件架构是由RoyThomasFielding博士在2000年首次提出。他为我们描绘了开发基于...
  • 主要用于关键信息的搜索,类似于在空间中的二分搜索,大大提高了搜索效率,在寻找目标元素时,使用了DFS深度优先的方式和回溯进行最近点的寻找。详细介绍链接 MS-Apriori 基于多支持度的Apriori算法。是Apriori...
  • C#微软培训资料

    2014-01-22 14:10:17
    9.2 对象的模型技术 .103 9.3 面向对象分析 .105 9.4 面向对象设计 .107 9.5 小 结 .110 第十章 类 .112 10.1 类 声 明 .112 10.2 类 成 员 .113 10.3 构造函数和析构函数 .119 10.4 小 ...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 126
精华内容 50
关键字:

层次网络模型的搜索过程