精华内容
下载资源
问答
  • 复杂性方法侧重于
    千次阅读
    2020-12-19 23:20:20

    以SPSS为例,十多种方法可选,上图为英文视图,下图为中文翻译视图,请对照学习。

    简单介绍一下常用的方法它们的含义,以及如何正确恰当选择使用这些方法。

    LSD:最小显著差异法,实际上是 t 检验的改进,检验统计量为T,在变异和自由度的计算上利用了整个样本信息,而不仅仅是比较两组的信息。它的敏感度最高,在比较时仍然存在放大α水准(一类错误)的问题,换言之就是总的二类错误非常小,要是LSD法都没有检验出有差别,恐怕真的没差别了。

    检验原理与t检验相同,但比一般t检验的敏感性高,只要各组均值间存在一定程度的微小差异就有可能被检验出来。LSD法侧重于减小II类错误,但有增大I类错误的可能。

    Bonferroni:由 LSD 法修正而来,通过调整每个检验的α水准来控制总的α水准,最终保证总的α水准为0.05,该方法敏感度介于 LSD 法和 Scheffe 法之间。Bonferroni用途最广,几乎可用于任何多重比较的情形,包括组间例数相等或不等、成对两两比较或综合多重比较等。

    S-N-K:即 Student Newman Keuls 法,是应用最广泛的一种两两比较方法。它采用Student-Range 分布进行所有组均值间的配对比较。该方法保证在H0真正成立时总的α水准等于实际设定值,即控制了一类错误。

    检验后将没有显著差异的组别放在一个子集,有显著差异的组别分在不同子集,控制了犯I类错误的概率。

    TUKEY:即 Tukey

    更多相关内容
  • 然后重点提出一种基于熵的模型复杂性度量方法,使用信息熵来描述业务模型的复杂性,通过计算基本模型单元的复杂度递归得到各模型实体、依赖关系的复杂性,进而综合得到模型的复杂性。最后通过实际案例验证了此方法的...
  • 侧重于回路的调节控制,往往涉及较复杂的控制算法,主要应用于炼油等化工行业;第二种侧重于机械的运动控制,实时和同步较强,主要应用于机械包装行业,如啤酒罐装生产过程;第三种侧重于有大量独立的检测和控制...
  • 内容选择源于实际工程设计的需要,论述过程中尽可能避免烦琐复杂的数学推导,侧重于直观形象的讲解,符合工程师的学习习惯,可作为硬件设计工程师、测试工程师、系统工程师、项目负责人以及其他相关技术工作者的培训...
  • 另一方面,项目偿债支付的及时性侧重于贷方。 因此,PF 和风险建模发挥了重要作用,以确保项目管理的结构是先决条件。 尽管如此,未来基础设施项目的复杂性将变得更加复杂。 不仅利益相关者在评估项目时了解他人的...
  • 拓扑分析法可以快速显示场的全局结构,在侧重于考虑场的特殊结构时显示出了较大的优越。但是将该方法应用在复杂而信息丰富的流场中时,可视化的结果可能是成簇的、混乱的,这就需要进行多级拓扑来对拓扑图像进行简化...
  • 写在前面: 一致检验的目的在于比较不同方法得到的结果是否具有一致。...Kappa系数检验,适用两次数据(方法)之间比较一致,比如两位医生的诊断是否一致,两位裁判的评分标准是否一致等。

    写在前面:

    一致性检验的目的在于比较不同方法得到的结果是否具有一致性。

    比如采集的样本和真实样本是否一致,比如两种抽样方法得到的两个样本集是否一致,比如两种不同超参数设置下的聚类方法得到的聚类结果是否一致,等等


    检验一致性,你用哪种方法? - 知乎

    检验一致性的方法有很多比如:Kappa检验、ICC组内相关系数、Kendall W协调系数等。每种方法的功能侧重,数据要求都略有不同:

    Kappa系数检验,适用于两次数据(方法)之间比较一致性,比如两位医生的诊断是否一致,两位裁判的评分标准是否一致等。

    ICC组内相关系数检验,用于分析多次数据的一致性情况,功能上与Kappa系数基本一致。ICC分析定量或定类数据均可;但是Kappa一致性系数通常要求数据是定类数据。

    Kendall W协调系数,是分析多个数据之间关联性的方法,适用于定量数据,尤其是定序等级数据。

    (1)Kappa检验

    Kappa检验分为简单Kappa检验和加权Kappa检验,两者的区别主要在于:

    • 如果研究数据是绝对的定类数据(比如阴性、阳性),此时使用简单Kappa系数;
    • 如果数据为等级式定类数据(比如轻度,中度,重度;也或者不同意,中立,同意);此时可使用加权(线性)Kappa系数。

    应用举例

    两个医生分别对于50个病例进行MRI检查(MRI检查诊断共分三个等级,分别是轻度,中度和重度),对比两名医生检查结果诊断的一致性水平。

    (1表示轻度,2表示中度,3表示重度)

    根据上表可知,两位医生对于MRI检查诊断结论具有较强的一致性(Kappa值=0.74)。

    (2)ICC组内相关系数

    ICC组内相关系数可用于研究评价一致性,评价信度,测量复测信度(重测信度)等。相对于Kappa系数,ICC组内相关系数的适用范围更广,适用于定量或者定类数据,而且可针对双样本或者多样本进行分析一致性。但ICC的分析相对较为复杂,通常需要从三个方面进行分析并且选择最优的ICC模型;分别是模型选择,计算类型和度量标准。

    ICC六类细分

    • 模型选择上,需要考虑是否将当前结论延伸推广到其它研究中,也或者考虑是否为研究数据的绝对相等程度。
    • 计算类型上,如果不需要考虑系统误差则使用“一致性”,如果需要考虑系统误差则使用“绝对一致性”。
    • 度量标准上,如果是原始数据则使用“单一度量”,如果是计算后的数据,则使用“平均度量”。

    案例举例

    3个医生对于10个术后病人进行术后恢复评分;现在希望通过分析研究3个医生的打分一致性水平情况,使用ICC组内相关系数进行研究。录入后的ICC数据格式如下: 

    本次使用的是原始数据非计算后数据,因而使用单一度量标准结果即ICC(C,1),ICC组内相关系数=0.921,说明3位医生的评价具有高度一致性,也说明此次3名医生给出的打分有着非常高的可信性。

    (3)Kendall协调系数

    Kendall协调系数,也称作Kendall和谐系数,或Kendall一致性系数。通常用于比较多组数据的一致性程度。

    案例举例

    4个评委对于10个选手进行评分,最低为1分,最高为10分;现在希望通过分析研究4个评委的打分一致性情况。

    ​从上表可以看出:协调系数为0.853(P<0.01),大于0.8,说明4个评委的评分结果具有很强的一致性。

    其他说明

    1、ICC的适用场景最多,包括定量或定类数据,同时可针对多相关样本进行一致性分析;而Kappa一致性系数主要针对2个相关数据且针对定类数据进行一致性分析;Kendall W协调系数适用于定量数据,且更多倾重于数据关联性研究。

    2、分析前要注意数据的格式,每种方法录入的数据格式都不大一样,一定要整理成正确的数据格式再分析。

    展开全文
  • 复杂系统突现论》读后

    千次阅读 2018-08-29 07:00:00
    应石头兄弟之邀,想从复杂性的视角看一下从微服务到service mesh 的演进,没想到复杂性本身就是一个难点,于是找来了一本关于复杂性的书,希望从中能够对复杂性有一些进一步的认识。   (来自百度百科) 复杂...

    应石头兄弟之邀,想从复杂性的视角看一下从微服务到service mesh 的演进,没想到复杂性本身就是一个难点,于是找来了一本关于复杂性的书,希望从中能够对复杂性有一些进一步的认识。

     

    640?wx_fmt=jpeg

    (来自百度百科)

    复杂性是当代科学的一个前沿和热点,具有跨学科综合性的趋势。不幸的是,复杂系统理论仍在等待它的牛顿。复杂性实际上就是一门关于突现的科学,而系统思想主要有三组概念:突现与等级,通讯与控制,进化与自组织, 这可能就是所谓的动力学机理。软件领域的复杂性不应该局限在计算复杂度上,是否可以从更宽的维度和视角看待软件产品的复杂性呢?

     

    突现论可以追溯到“整体不等于部分之和”或“整体大于部分之和”。这个整体具有的一些性质是所有组成部分所不具有的,这时可以称为整体大于部分之和。合成效应可以逻辑地从部分的效应中推出,是可预测的,而异质效应是不可预测的。突现性是宏观层次所拥有的一种不可还原的根本性质。

    640?wx_fmt=jpeg

    插件化,微服务,service mesh 是否是突现的一种结果呢?

     

    一般系统理论强调和突显了四个观点:整体性、有机性、动态性和有序性。子系统的系统作用形成序参量,是决定系统特征和系统演化的主要参量,是微观子系统相互作用在临界条件下形成的,它们在微观层次上完全不能被理解。

    640?wx_fmt=jpeg

    系统向临界点方向组织其本身,在临界点,单个的事件具有了最为广泛的可能效应范围,也就是说,系统向最优地敏感于外部输入的方向调节其自身。软件系统包括整体开发流程的序参量是怎样的呢?

     

    复杂自然现象是在层级中被组织起来的,其中每一个层次都是由若干个整合系统构建起来的。软件系统不同层次的演进是怎样的呢?

    640?wx_fmt=jpeg

     

    从控制论的视角看,突现(创新)是由于高层次的行为控制了低层次的基准信息的结果,就是产生高层控制系统的“元系统跃迁”。

     

    640?wx_fmt=jpeg

    一个元系统跃迁是新控制层级的突现,常常伴随着先前存在的许多系统的磨合,是一个创造新行动者的特殊类型的活动,一个行动导致了新行动者的突现。人类认知的11个控制层级包括:

    • 强度 intensities

    • 感觉 sensation

    • 构型 configuration

    • 转换 Transitions

    • 事件 Events

    • 关系 relationship

    • 范畴 category

    • 序列 sequence

    • 程序 program

    • 原理 principle

    • 系统概念  system concepts

    无独有偶,宇宙的维度好像也是11维,是与人的认知相吻合吗?

     

    科学没有哲学是盲目的,哲学没有科学是无效的。计算机模拟是研究复杂系统突现的一种重要方法。根据复杂性对系统的分类为:

    1. 静态结构

    2. 简单动力系统或平衡有序结构系统

    3. 开放系统

    4. 控制系统

    5. 自组织系统

    6. 复杂适应系统

     

    复杂系统突现的4个特征:全局模式的整体序或宏观序,从简单生成复杂的新颖性,非迭代模拟的不可推导性和不可预测性,层次之间的不可还原性。

     

    自组织是高层次结构或功能模式的自发形成,它是通过低层次客体之间的相互作用而产生的突现,由于局域相互作用而导致的一个全局相干模式的自发创生和自发突现。自组织机理侧重于揭示系统的组分之间的内部关系,以及由此突现的动力学行为,而适应性造就了复杂性的动力学模型。

    640?wx_fmt=jpeg

    那么,软件系统的适应性呢?

     

    自组织系统主要是一种分布式系统,分布式控制的优势在于强健性、弹性和自主性。元素之间相互作用的状态,对元素起到了一种限制和约束的作用。它限制了系统的变化,限制了元素的自由度和随机性,把它们约束在一定的时间、空间和形态范围里,从而形成了某种稳定的结构模式和构型,并与其它系统或环境区分开来。

    640?wx_fmt=jpeg

    开发团队的自组织性 还是 软件系统自身的自组织性呢?

     

    突现是指在复杂系统的自组织过程中出现的、新颖的和连贯的结构、模式和性质,相对于它们所出现的微观层次的组成部分和过程,突现现象是在宏观层次上出现的现象,是一种动态的结构,一种动力学秩序(过程的结构)。

     

    突现都是正向的吗?会产生负创新么?

    软件系统演进的下一个突现会是什么呢?

    会出现在哪个层级上呢?

    ......

     

    就象波普尔知识进化图示中所描述的那样,从一个问题到另一个问题。

     

    640?wx_fmt=jpeg

     

    展开全文
  • 由于各种现实问题,例如遮挡,大的无纹理区域(例如天空,墙壁等),反射表面(例如窗户),薄结构和重复纹理,这是具有挑战的。本文主要对基于深度学习的双目匹配与视差估计方法进行调研。 2 方法 对于一对...

     

    1 现状

    从立体图像中估计深度信息对于计算机视觉的应用至关重要,包括车辆的自动驾驶,3D模型重建和物体的检测与识别。由于各种现实问题,例如遮挡,大的无纹理区域(例如天空,墙壁等),反射表面(例如窗户),薄结构和重复纹理,这是具有挑战性的。本文主要对基于深度学习的双目匹配与视差估计方法进行调研。

    2 方法

        对于一对矫正过的立体图像,深度信息估计的目标就是计算参考图像上每一个像素点的视差值d。视差值就是左右两幅图像上对应点之间在水平方向上的位置差。对于左图中的像素点(x,y),它在右图中对应点的坐标为(x-d,y),这个点的深度值可以通过fB/d来计算,其中f是摄像机的焦距,B是两个相机中心之间的距离。因此,深度精度随着视差预测的精度而提高。

        传统的立体匹配流程通常包括以下四个步骤的全部或部分,匹配代价计算,代价聚合,视差优化和后处理。 匹配代价计算为左图像块和可能的对应右图像块提供初始相似性度量,这是立体匹配的关键步骤。 一些常见的匹配代价包括绝对差值(SAD),平方差和(SSD)和归一化互相关(NCC)。 代价聚合和优化步骤结合了上下文匹配代价和正则化项,以获得更强大的视差预测。

        当前最前沿的研究聚焦于如何利用CNNs准确的计算匹配代价和如何利用半全局匹配(SGM)去优化视差图。例如利用网络学习预测图块之间的相似性,并采用经典的立体匹配流程,包括代价聚合,SGM和其他视差优化方法来提高匹配结果。还有一些研究聚焦于视差图的后处理方面。近期,用于预测整个视差图并不用后处理的端到端的网络得到极大发展。

    3.1 传统方法

        双目立体匹配可划分为四个步骤:匹配代价计算、代价聚合、视差计算和视差优化。

    Step1 匹配代价计算

        匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点,都可以通过匹配代价函数计算匹配代价,代价越小则说明相关性越大,是同名点的概率也越大。

      每个像素在搜索同名点之前,往往会指定一个视差搜索范围D(Dmin ~ Dmax),视差搜索时将范围限定在D内,用一个大小为W×H×D(W为影像宽度,H为影像高度)的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI(Disparity Space Image)。

        匹配代价计算的方法有很多,传统的摄影测量中,使用灰度绝对值差(AD,Absolute Differences)、灰度绝对值差之和(SAD,Sum of Absolute Differences)、归一化相关系数(NCC,Normalized Cross-correlation)等方法来计算两个像素的匹配代价;计算机视觉中,多使用互信息(MI,Mutual Information)法、Census变换(CT,Census Transform)法、Rank变换(RT, Rank Transform)法、BT(Birchfield and Tomasi)法等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点,对各类数据的表现也不尽相同,选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。

        下图为DSI示意图(C(x,y,d)代表像素(x,y)在视差为d时的匹配代价):

    Step2 代价聚合

       代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息,通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值,这很容易受到影像噪声的影响,而且当影像处于弱纹理或重复纹理区域,这个代价值极有可能无法准确的反映像素之间的相关性,直接表现就是真实同名点的代价值非最小。

        而代价聚合则是建立邻接像素之间的联系,以一定的准则,如相邻像素应该具有连续的视差值,来对代价矩阵进行优化,这种优化往往是全局的,每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算,得到新的DSI,用矩阵S来表示。

        实际上代价聚合类似于一种视差传播步骤,信噪比高的区域匹配效果好,初始代价能够很好的反映相关性,可以更准确的得到最优视差值,通过代价聚合传播至信噪比低、匹配效果不好的区域,最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、SGM算法中的路径聚合法等。

        下图为代价聚合前后视差图示意图:

    Step3 视差计算

        视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值,通常使用赢家通吃算法(WTA,Winner-Takes-All)来计算,如下图所示,即某个像素的所有视差下的代价值中,选择最小代价值所对应的视差作为最优视差。这一步非常简单,这意味着聚合代价矩阵S的值必须能够准确的反映像素之间的相关性,也表明上一步代价聚合步骤是立体匹配中极为关键的步骤,直接决定了算法的准确性。

    Step4 视差优化

        视差优化的目的是对上一步得到的视差图进行进一步优化,改善视差图的质量,包括剔除错误视差、适当平滑以及子像素精度优化等步骤,一般采用左右一致性检查(Left-Right Check)算法剔除因为遮挡和噪声而导致的错误视差;采用剔除小连通区域算法来剔除孤立异常点;采用中值滤波(Median Filter)、双边滤波(Bilateral Filter)等平滑算法对视差图进行平滑;另外还有一些有效提高视差图质量的方法如鲁棒平面拟合(Robust Plane Fitting)、亮度一致性约束(Intensity Consistent)、局部一致性约束(Locally Consistent)等也常被使用。

        由于WTA算法所得到的视差值是整像素精度,为了获得更高的子像素精度,需要对视差值进行进一步的子像素细化,常用的子像素细化方法是一元二次曲线拟合法,通过最优视差下的代价值以及左右两个视差下的代价值拟合一条一元二次曲线,取二次曲线的极小值点所代表的视差值为子像素视差值。如下图所示。

        局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤,全局算法则包括匹配代价计算,视差计算与视差优化三个步骤,半全局算法SGM则四个步骤都有。

    3.2 深度学习方法

    1. GC-Net(iccv2017)

        本文使用了3D卷积的概念去获得更多的上下文信息,并采用回归的方法去预测视差值,不再使用传统的成本聚合,视差计算,视差优化的方法,利用一个端到端的网络直接生成最终的视差图。这一思路无疑比传统的图块匹配的方法更加先进,而且不用再给图块设置标签,直接将预测结果与真实视差图进行比对,再将误差反向传播即可,后来的许多网络都采用了这一思路。

        下图是定义的GC-Net网络框图,上下文在3D卷积中体现,而几何特性在左右图像合并在成本容积(cost volume)时候引入。

    匹配代价卷(Cost Volume)

        对于每一幅立体图像,我们都构建了一个四维的匹配代价卷(高度、宽度、最大视差+1(0~maxdisp)、特征图数目)。我们将左图的每一个一元特征和右图每一个视差下的特征图级联起来,并封装成一个四维的代价卷。(对于某一个特征,匹配代价卷就是一个三维的方块,第一层是视差为0时的特征图,第二层是视差为1时的特征图,以此类推共有最大视差+1层,长和宽分别是特征图的尺寸,假设一共提取了10个特征,则有10个这样的三维方块)。

    可微分的Argmin

        我们定义了一种柔性Argmin方法,它既是完全可微的,又能回归得到一个光滑的视差估计值。首先,我们通过将匹配代价值Cd(对于每个视差d)取负数,把匹配代价卷转换为可能性卷(匹配代价越高,可能性越低),我们利用softmax操作σ(⋅)对可能性卷在视差维度上进行正则化。然后对每个视差值d进行加权求和,权重就是他对应的可能性。数学定义如下: 

    实验结果

    Kitti2015 test results

    代码链接:https://github.com/LinHungShi/GCNetworktensorflow

    1. PSM-Net(cvpr2018)

        本文提出了PSMNet,一个金字塔立体匹配网络,它主要由两个模块组成:金字塔池化和3D卷积神经网络。金字塔池化模块通过聚合不同尺度和不同位置的环境信息构建匹配代价卷(cost volume)来充分利用全局环境信息。3D CNN通过将多个堆叠的沙漏网络(hourglass network)与中间监督(intermediate supervision)结合起来,去调整匹配代价卷。模型框架如图所示。

    估算视差图的方式同GC-Net的可微分的Argmin

    实验结果

    代码链接:https://github.com/JiaRenChang/PSMNetpytorch

    1. SegStereo(eccv2018)

       本文将语义特征嵌入特征图中,并将规则化的语义信息作为损失项来改善视差学习效果。

    SegStereo架构如下图:我们从输入的立体图像中提取中间特征Fl和Fr。通过correlation算子计算匹配代价卷Fc。左分割特征图Fls整合到视差分支中作为嵌入的语义特征。右分割特征图warp到左图视角,以实现每个像素的语义预测。所有的步骤都是为了结合语义信息来改善视差估计效果。

        SegStereo网络能够实现无监督或有监督学习,通过光度损失Lp或视差回归损失Lr。

        目标函数分为无监督模式和有监督模式两种。无监督系统的整体损失函数Lunsup包括光度损失Lp,平滑损失Ls和语义信息损失Lseg。其中平滑损失是对视差图的梯度采用L1惩罚项。要说明的是在损失计算中没有用到真实的视差值因此视差估计被认为是无监督学习过程(语义损失计算需要真实标签值);有监督系统的整体损失函数Lsup包括视差图回归损失Lr,平滑损失Ls和语义信息损失Lseg。

    实验结果

        SegStereo模型可以获得更加可靠的结果,尤其是在模糊的区域。

    代码链接:https://github.com/yangguorun/SegStereo  (only tested with caffe)

    1. DeepPruner(iccv2019)

        本文的目标是大大加快当前最先进的立体匹配算法的运行速度,以实现实时推理。文章提出可区分的Patch Match模块,该模块能够丢弃大部分disparity,而无需进行全面的成本量评估。然后,利用此表示,来了解每个像素的修剪范围。通过逐步减少搜索空间并有效地传播此类信息,能够针对高可能性假设有效地计算成本量,并节省内存和计算量。最后,利用图像引导的优化模块来进一步提高性能。实验表明,此方法在KITTI和SceneFlow数据集上以62ms的速度实时运行时取得了竞争性结果。其网络结构如图所示:

    概述:给定一对立体图像,首先提取深度多尺度特征。 然后,利用可微的Patch Match估计每个像素的一小部分视差,并利用置信度范围预测因子进一步修剪解决方案空间。

    Differentiable PatchMatch

    1.粒子采样层:对于每个像素i,我们根据预测/预定义搜索空间上的均匀分布,随机生成k个视差值;

    2.传播层:来自相邻像素的粒子,通过卷积与预定义的,单热滤镜模式一起传播(见图3),该模式编码了一个事实,即我们允许每个像素将粒子传播到其4邻域。

    3.评估层:对于每个像素i,通过获取左特征和右特征之间的内积来计算匹配分数:Si,j=(f0(i),f1(i+di,j)),对于所有候选项j。每个像素的最佳k视差值将进行下一次迭代。

    图2描绘了一个递归步骤的计算图,该步骤结合了传播和评估:

    实验结果

       本文方法可以快速地为每个像素修剪成本体积的一部分,而不需要充分评估其匹配分数。实验表明,我们的模型在实时方法中取得了最好的性能,并与性能最好的方法进行了比较,同时保持了几倍的速度。

    代码链接:https://github.com/uber-research/DeepPruner/tree/master/deeppruner(pytorch)

    1. GwcNet(cvpr2019)(值得一读)

        立体匹配估计矫正过的图像对之间的视差,这对深度感测,自动驾驶和其他相关任务非常重要。先前的工作建立了在所有视差水平上具有交叉相关或串联左右特征的代价量,然后利用2D或3D卷积神经网络来回归视差图。在本文中,我们建议通过分组相关来构建代价量。左边特征和右边特征沿着通道维度被分成组,并且在每个组之间计算相关图以获得多个匹配代价提议,然后将其打包到代价量中。分组相关为测量特征相似性提供了有效的表示,并且不会丢失过多的信息(如完全相关)。与以前的方法相比,它在减少参数时也能保持更好的性能。在先前的工作中提出的3D堆叠沙漏网络被改进以提高性能并降低推理计算成本。

        GwcNet扩展了PSMNet,具有分组相关代价量和改进的3D堆叠沙漏网络。在PSMNet中,必须通过3D聚合网络从头开始学习级联特征的匹配代价,这通常需要更多的参数和计算成本。 相比之下,完全相关(DispNetC)提供了一种通过点积测量特征相似性的有效方法,但它丢失了很多信息。我们提出的分组相关性克服了这两个缺点,并为相似性度量提供了良好的特征。

    实验结果

    代码链接:https://github.com/xy-guo/GwcNet(pytorch)

    1. GA-Net(cvpr2019)

        传统的半全局匹配(SGM)和代价过滤都是强大而有效的代价聚合方法,但是它们不是可微的,不能以端到端的方式轻松训练。本文提出了两种新的神经网络层:第一种是半全局聚合层,它是半全局匹配的可微近似(在整个图像上聚合不同方向的匹配代价,这使得能够在遮挡区域或大的无纹理/反射区域中进行精确估计);第二种是局部引导聚合层(处理薄结构和对象边缘,以便恢复由下采样和上采样层引起的细节损失),它遵循传统的成本过滤策略来精炼细结构。这两个层可用于代替广泛使用的3D卷积层(其具有立方计算/存储器复杂性,因此计算成本高并且消耗存储器)。实验表明,具有双层引导聚合块的网络容易胜过具有19个3D卷积层的最先进的GC-Net。

    实验结果

    代码链接:https://github.com/feihuzhang/GANet(pytorch

     

    小结:

    速度+精度-:DeepPruner(0.182s)

    速度-精度+:GwcNet(0.32s)

    4 数据集

    SceneFlow:是合成立体数据集的数据集集合,由Flyingthings3D,Driving和Monkaa组成。包含35454个训练和4370个测试立体对的ground truth视差图(H=540,W=960)。通常使用端点误差(EPE)作为SceneFlow数据集的评估指标。

    FlyingThings3D:是用于场景匹配的虚拟数据集,包括光流估计和视差预测。该数据集由具有背景对象和3D模型的计算机图形技术提供。它提供22,390张用于训练的图像,4,370张用于测试的图像。

    KITTI 2012包括从测试车辆收集的具有挑战性且变化多样的道路场景图像,为训练图像提供稀疏的LIDAR ground truth视差图。包括194个训练图像对和195个测试图像对。

    KITTI 2015包括200个训练图像对和200个测试图像对(H=376,W=1240)。ground truth视差图是通过使用Velodyne HDL-64E激光扫描仪收集的激光雷达点获得的。与KITTI 2012不同,动态场景存在密集的真实视差。

    CityScapes城市场景图,它提供了校正后的立体图像对和由SGM算法预先计算的相应视差图。它包含用于左视图的5,000个高质量像素级精细map注释。包括2975、500和1525的数量进行训练,验证和测试。 此外,该数据集在额外的训练集中提供了19997个立体图像及其SGM标签。

    Middlebury具有多个手工布局的室内场景。与KITTI数据集相比,视差图由结构光捕获,具有更高密度和精度。

    附:

    相关代价量的计算

    1.在DispNetC之后,有很多工作直接从相关代价量中回归差异图。 给定左和右特征图fl和fr,计算每个视差水平d的相关代价量,

    是两个特征向量的内积,Nc表示通道数。

    2.最近的工作采用了基于串联的特征量和3D聚合网络,以实现更好的上下文聚合。 肯德尔等人提出了GC-Net并且是第一个使用3D卷积网络来汇总代价量的人。 左侧和右侧特征fl,fr不是直接给出代价量,而是连接在一起形成4D特征量,

    度量标准

    EPE终点误差,即以像素为单位的平均视差误差。

    D1:异常值被定义为其视差误差大于max(3px,0.05d*)的像素,其中d*表示ground truth。

    损失函数

    一般采用平滑的L1损失函数来训练模型。 与L2损失相比,平滑L1在视差不连续处是鲁棒的并且对异常值或噪声具有低灵敏度。

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    无监督/自监督:

        有监督方法基于大量精准的ground truth disparity和stereo image pairs。这些数据难以获取,所以这些方法一般用合成数据。虽然合成数据越来越真实,但是需要为每个应用人工创建新内容。接下来介绍不需要用到真实视差图的无监督/自监督的深度学习方法。

     

    (单目)

    1. Unsupervised Monocular Depth Estimation with Left-Right Consistency(cvpr2017)

        网络通过推测视差将左图warp来匹配右图。可以只用左图同时预测两个视差,用左右一致性来增强它。通过采用双线性采样(Spatial Transform Networks)来生成图像,整个网络完全可微

        如下图所示:

     

    Naïve:从左图采样,生成与目标右图对齐的视差图。

    NO LR:从右图采样输出与左图对齐的视差图。这么做的话,被推断出来的视差图表现出“纹理拷贝”人工合成和深度图连续性上面误差。

    Ours: 单个左图作为卷积神经网络的输入,同时推断出左图视差和右图视差,右图只在训练时候使用。用左右图一致性损失增强左右视差图的一致性可以让结果更准确。

    Loss

        由外观匹配loss,视差平滑loss以及左右一致性loss组成.

        Appearance Matching Loss:

    这里作者用了简化的SSIM,3*3块作为滤波器,而不是用高斯,设置

        Disparity Smoothness Loss:

        Left-Right Disparity Consistency Loss:

    最后的训练损失:

    其中每一项都包换左右视图,但是只有左图会喂到卷积层中。s代表尺度,本文选取4个尺度,组成总体损失:

        在测试的时候,网络在最好的尺度层预测左图视差图,它的分辨率和输入图像一样。

    后处理

        为了减少立体遮挡的影响(立体遮挡会在图像的左侧和遮挡物的左侧产生视差斜坡),作者做了个后处理。对于测试时候的输入图片I,计算它镜面翻转之后的图I’的视差图dl’, 通过把这个视差图翻转回去,得到一个视差图dl’’,接着将这个视差图对齐dl,而此时视差坡是在图像的右侧和遮挡物的右侧,结合两个视差图组成最后的结果(用dl’’的左边5%和dl的右边5%),中间部分是两个视差图之间的平均。这一步后处理提升了准确度并且减少了人工合成的感觉。但是代价是测试时间加倍了。

    注:单目深度估计,实验与双目视差估计有出入,实验结果不再贴出。

    代码链接:https://github.com/mrharicot/monodepth(tensorflow)

    1. Dual CNN(cvpr2018)

        文章提出多loss网络结构,包括6个loss(DNM6)和扩展的12个loss(DNM12)。

    DNM6

    Loss

        由外观匹配loss,视差平滑loss以及左右一致性loss组成,每个loss包括左和右网络,所以可细分为6个loss。

        Appearance Matching loss:

             Disparity Smoothness Loss:

        Left Right Consistency Loss:

        为了使损失函数更具鲁棒性,文中采用了左右两个网络的四个输出尺度:

     

     

    DNM12

        DNM6的左右视差图由左右网络分为独立生成,而DNM12提出了左右交叉视差图:

    Loss

        外观匹配loss,视差平滑loss以及左右一致性loss分别扩展为4个loss,所以可细分为12个loss。

        Appearance Matching loss:

        Disparity Smoothness Loss:

        Left Right Consistency Loss:

    代码链接:https://github.com/ishmav16/Dual-CNN-Models-for-Unsupervised-Monocular-Depth-Estimation (tensorflow with only tested

     

    (被动双目)

    1. SsSMnet(cvpr2017)

        网络以自我学习的方式端到端训练,只需一对立体图像对作为输入,无需ground truth视差图或其他标签。网络可以以两种不同的模式应用:一种是传统模式,其中训练阶段和测试阶段明显分开,并且在测试阶段,网络的所有参数都被固定。 另一种模式是我们所谓的“自我改进”模式,该模式允许网络在新的立体声图像上进行测试时,不断调整其参数。后一种模式有效地使我们的网络能够适应新的前所未有的场景图。

    对于给定的左图以及右图视差,warp的右图为:

     

    Loss:

        其中Lm对处理无纹理区域提供了强大的正则化。各项具体定义见paper。

    实验结果

        小结:精度比传统方法有很大的提升,并且与先进的监督学习方法比较接近。

     

    (主动双目)

    1. ActiveStereoNet(eccv2018)

        本文首次提出了第一个主动双目视觉系统的深度学习解决方案 ActiveStereoNet。由于缺乏 ground truth,本文采用了完全自监督的方法,即使如此,本方法克服了过度平滑的问题,保留了边缘,并且能有效处理遮挡。

    深度传感器

     

    TOF系统受运动伪影和多路径干扰的影响。

    结构光容易受到环境光和多设备干扰的影响。

    在需要昂贵的全局优化技术的无纹理区域,尤其是在传统的基于非学习的方法中,被动式立体斗争尤为突出。

    还有一种深度传感器类型提供了潜在的解决方案,那就是主动立体系统。使用红外立体摄像机对,伪随机模式通过模式化的IR光源将场景投射到纹理上。 通过适当选择波长感应,摄像机对可捕获主动照明和被动光的组合,从而改善结构光的质量,可同时在室内和室外场景中提供强大的解决方案。

    网络结构

        ActiveStereoNet的输入是具有主动照明的经过校正的同步图像对,输出是原始分辨率下的一对视差图。

        算法采用两阶段模型, 首先建立一个低分辨率的成本项并进行的第一次视差估计。然后进行双线性采样,其后跟一个残差网络来预测最终的误差。 还对“失效网络”(底部)进行了端到端培训,以预测置信度图。

        最后的残差细化检索高频细节(即边缘)。 ActiveStereoNet还可以同时估算一个失效掩码,以去除最终结果中的不确定区域。

    Loss

        作者声称,尽管loss的一个可行选择是光度误差,但由于强度和视差之间的相关性很高(明亮的像素比暗点的像素更容易产生较大的残差),因此它不适用于active的情况。 

        提出了一种局部对比度归一化(LCN)方案,该方案不仅消除了强度和视差之间的依赖性,而且在被遮挡区域中提供了更好的残差:

    计算围绕每个像素的9×9小块中的局部均值µ和标准偏差σ,其中η是一个小常数,防止除零

     

    现在将左图像I上原始像素与重建的左图像I^之间的光度损失重新计算如下:

    重新对光度损失进行加权,以使标准偏差σ接近零的低纹理区域不会放大任何残差以及两个匹配像素之间的噪声。

    窗口优化

       传统的立体匹配使用自适应的支持窗口(ASW),进行成本聚合,这虽然有效但是却非常慢,本文提议在训练过程中使用 ASW 方案,因此他不影响运行时的成本。使用一个2Kx2K窗口大小的聚合成本:

    失效网络

        到目前为止,提出的loss还没有解决被遮挡的区域和错误的匹配(即无纹理的区域)的问题。 遮挡区域并不能在成本项中提供任何有效的信息。

        为了解决遮挡问题,ActiveStereoNet使用了传统立体声匹配方法(称为左右一致性检查)的改进版本。 从左和右视点(分别为d_1和d_r)计算出的视差用于定义像素p(i,j)的mask:

    m_ij = 0的那些像素在loss计算中被忽略,作为失效网络的副产品,ActiveStereoNet获得深度估计的置信度图。

    展开全文
  • 侧重于Pajak在复杂网络仿真方面的应用。 复杂网络的概念已经在计算机、生物、物理以及社会科学等各个领域中得到广泛的应用。 Pajek以网络图的模型为基础,以六种数据类型为形式,以其快速有效和人性化的特点,为...
  • 本文是11月17日大数据杂谈群分享的内容。...大家好,我来自天云大数据公司,我叫马敬涛,主要从事数据科学应用方面的工作。今天我给大家分享的主题是...复杂网络概念及价值在开始之前,我先澄清一个概念,那就是“复杂网络
  • 产品读书《用户故事与敏捷方法

    千次阅读 2018-12-12 11:10:11
     前段时间连着看了许多有关提高工作效率的书籍(我管它叫工具书),比如说《金字塔原理》《刻意练习》《番茄工作法图解》《麦肯锡方法》《麦肯锡工作法:麦肯锡精英的39个工作习惯》《麦肯锡工作法:个人竞争力提升...
  • Transformers 在计算机视觉方面吸引了越来越多的兴趣,但它们仍然落后最先进的卷积网络。在这项工作中,我们表明虽然 Transformer 往往具有更大的模型容量,但由于缺乏正确的归纳偏差,它们的泛化可能比卷积网络更...
  • 流式数据分析处理的常规方法

    万次阅读 2018-04-16 20:56:43
    此书是分布式系统架构必读书,出版2017年,中文版目前还没有面世。我找了其中比较吸引我的那几章,阅读的同时,顺手翻译并记录了下来。这边是其中一章。当然前面也有几篇翻译加整理的文章,比如流量那几篇。 流式...
  • 无线信道模型分类和建模方法介绍--附思维导图

    千次阅读 多人点赞 2020-11-16 16:32:18
    目录1 统计模型(经验模型)1.1 模型分类(1)按衰落分类(2)按路径损耗和延迟拓展分类1.2 建模方法(1)方法一分类(2)方法二分类2 确定模型2.1 建模方法3 半确定模型3.1 建模方法4 思维导图PDF、xmind格式下载...
  • 进入公司到现在工作将近一年的时间了,在这一年的前端开发摸索道路中自己也在不断的成长,一路跌跌撞撞,下面将分享一些自己在工作中的一些工作方法与经验见解。 1.明确需求 开发前,一般都会召开项目评审会,产品...
  •  1、DCS侧重于整体控制系统,而PLC侧重于局部逻辑控制这是为啥呢?这是谁规定的?为啥这么划分呢?这是因为DCS是从模拟量仪表发展起来的,以模拟量为主。DCS偏重过程控制可实现PID、前馈、串级、多级、选择控制...
  • 关于深度学习主要介绍以下几点:激活函数、防止过拟合方法、加速训练的方法 激活函数 深度学习中的激活函数主要有sigmoid、tanh、ReLu、Maxout函数等。 Sigmoid Tanh ReLu Maxout 防止过拟合 防止过拟合...
  • 综合评价方法

    千次阅读 2021-07-12 11:24:16
    问题与方法2. 综合评价模型2.1. 术语2.2. 综合评价方法分类2.3. 综合评价基本概念2.4. 评价指标2.4.1. 评价指标的选取2.4.2. 确定各评价指标的权值2.4.3. 综合评价模型2.5. 指标预处理2.5.1. 指标一致化处理2.5.2. ...
  • 关于举办“分子动力学模拟及第一原理计算方法与应用”系列培训班的通知 各有关单位: 分子动力学模拟、第一原理计算被广泛用于生命科学、化学工程、物理、医药、材料科学、电子学等领域。由于传统实验需要大量...
  • 用于特征点描述符判别学习的 DeepDesc【19】:Simo-Serra 等人提出,该方法采用 Siamese 网络侧重训练难以区分 类别的样本,输入图像块对,将 CNN 输出的非线性 映射作为描述符,采用欧氏距离计算相似并最小 ...
  • 针对当前服务器应用的海量增加,能源的不断紧缺,而传统的IT服务管理低效、单一、资源浪费以及在复杂的组合优化类问题上的不足,提出了一...该研究则侧重从绿色环保节能这一方面来研究该方法的节能与市场需求必要
  • 在学位论文写作的过程中,我们经常要运用各种方法,对于写作方法的掌握和运用程度,很大程度上决定了内容写作的质量。 一般来说,常用的学术论文研究方法主要有观察法、调查法、实验法、经验总结法、个案法、比较法...
  • 软件工程中的结构化分析方法

    千次阅读 2019-02-26 08:47:42
    软件需求分析--结构化分析(SA)方法 结构化开发方法(Structured Developing Method)是现有的软件开发方法中最成熟,应用最广泛的方法,主要特点是快速、自然和方便。结构化开发方法由结构化分析方法(SA...
  • 传统的分析算法处理点云,主要侧重于对点的局部几何特征进行编码。深度学习在图像数据处理领域取得了巨大的成功,这使得研究相应的点云神经网络结构有极其现实的迫切需求。当前的研究热点主要涉及发展用于各种点云...
  • 行为主义侧重从试验来验证理论猜想,而符号主义则侧重于建立完整的公理系统。联接主义的代表是以神经网络模型为代表的神经计算,这可以认为于心理学关系最小。因此心理学,及其衍生的心智哲学等可以认为是人工智能的...
  • 结构化开发方法(Structured Developing Method)是现有的软件开发方法中最成熟,应用最广泛的方法,主要特点是快速、自然和方便。结构化开发方法由结构化分析方法(SA法)、结构化设计方法(SD 法)及结构化程序设计方法...
  • 1.2 功能角度讲解 接口测试的功能角度划分,依据侧重的角度不同,可以有多种划分方法,目前我实际测试工作中主要使用的测试场景可以划分为五类:基础检查、正常多角度、异常多角度、必录项检查、边界值检查。...
  • 模型选择的一些基本思想和方法

    千次阅读 2020-02-14 19:41:05
    0. 引言 有监督学习是日常使用最多的建模范式,它有许多更具体的名字,比如预测模型、回归模型、分类...关于统计学习与机器学习的区别已经有不少讨论,不少人认为机器学习侧重于目标预测,而统计学习侧重于机制理...
  • 工厂方法模式的应用相当广泛。工厂方法模式在 Java API 中的应用比比皆是:java.util.Collection 接口的 iterator 方法就是一个很著名的抽象工厂方法的示例;java.net.URLStreamHandlerFactory 的 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 47,340
精华内容 18,936
关键字:

复杂性方法侧重于