精华内容
下载资源
问答
  • 通信中的流量识别工作将直接影响网络管理整体效率....明,提出的卷积神经网络模型在复杂网络环境中,加密流量的服务识别与应用识别都有较高准确率. 关键词:流量识别;复杂网络;加密;卷积神经网络;预处理;特征提取
  • 概括了小波神经网络的主要理论,将小波神经网络和混沌系统相结合,建立了一种混沌序列的生成模型,给出基于小波神经网络的混沌加密算法,最后算法进行计算机仿真实验。结果表明小波神经网络具有更快的收敛速度和更...
  • 加密数据上进行神经网络的训练 前言 本文介绍一下目前如何使用加密数据进行神经网络的训练,并简要介绍各种应用场景、已有工具框架等内容。 介绍 当前,基于云的神经网络服务部署逐渐成为主流,在这种情况下,数据...

    在加密数据上进行神经网络的训练

    前言

    本文介绍一下目前如何使用加密数据进行神经网络的训练,并简要介绍各种应用场景、已有工具框架等内容。

    介绍

    当前,基于云的神经网络服务部署逐渐成为主流,在这种情况下,数据和模型由不同方拥有。但是,MLaaS的场景下会产生许多数据隐私问题。举个简单例子来讲,第三方开发了一个深度学习预测模型,对患者的医学数据进行某种疾病的检测。由于法律法规和个人隐私需求的限制,医院无法直接传输明文医学数据给第三方用于模型输入,也不应将检测结果暴露给患者以外的第三方。通过同态加密(HE),医院可以发送加密数据,使得第三方在加密数据上运行模型,而无需透露任何基础信息。

    在这里插入图片描述

    在过去一段时间,这种基于HE的机器学习方法逐渐成为研究重点,另一种技术书安全多方计算(MPC)。HE非常适合使用深度神经网络进行预测的任务。

    一些应用场景

    数据拥有者(DO)和云模型提供者(Cloud)

    1. 加密的数据,加密的模型:DO将HE加密的数据发送到Cloud。然后,Cloud根据加密数据计算模型以产生加密输出,将输出发送给DO,DO使用私钥对其进行解密。
    2. 未加密的数据,加密的模型:Cloud将已加密的模型发送给DO,然后DO在不现实任何数据的情况下在本地运行模型,以生成加密的输出。DO不会获得任何有关模型的任何信息,并且可以由密钥的所有者(如模型的所有者)解密输出。
    3. 加密数据,加密模型:一个DO或多个DO将数据联合起来输入加密网络进行预测,Cloud返回加密预测结果,需要多个密钥才能解密。类似于联邦学习。

    https://medium.com/swlh/faster-neural-networks-on-encrypted-data-with-intel-he-transformer-and-tensorflow-9fdc9eb1a888
    第一个应用场景是最具有代表性的,因为它是MLaaS在同态加密下的直接应用。与MPC相比,HE的优势在于不需要维持通信来进行计算,但是缺点也同样明显,那就是计算量的代价、可计算函数的局限性、同态乘法的误差增长。总体而言,HE方案的主要瓶颈是计算能力,而MPC则是通信。

    什么是同态加密

    同态加密(HE,homomorphic encryption)是密码学里一种特殊的加密模式,同态加密使我们可以将加密后的密文发给任意的第三方进行计算,并且在计算前不需要解密,即:在密文上进行计算。 虽然同态加密的概念最早出现于30年前,但是第一个支持在密文上进行任意运算的全同态加密框架出现较晚,在2009年由Craig Gentry提出。

    同态加密的分类

    1. 部分同态加密(PHE)指同态加密算法只对加法或乘法(其中一种)有同态的性质。PHE的优点是原理简单、易实现,缺点是仅支持一种运算(加法或乘法)。可以应用在联邦学习中服务器的聚合操作。
    2. 层次同态加密算法(LHE)一般支持有限次数的加法和乘法运算。LHE的优点是同时支持加法和乘法,并且因为出现时间比PHE晚,所以技术更加成熟、一般效率比FHE要高很多、和PHE效率接近或高于PHE,缺点是支持的计算次数有限。
    3. 全同态加密算法(FHE)支持在密文上进行无限次数的、任意类型的计算。FHE的优点是支持的算子多并且运算次数没有限制,缺点是效率很低,目前还无法支撑大规模的计算。
    4. 基于格的同态加密算法(RLWE)支持有限次数的加法和乘法运算。RLWE的有点是密文结果较短,效率较与传统方法要好,缺点是该问题在密文中添加了噪声项,在加法特别是乘法期间,噪声项迅速增长,会导致最终无法再解密。

    USENIX-18 GAZELLE: A Low Latency Framework for SecureNeural Network Inference
    Efficient Multi-Key Homomorphic Encryption with Packed Ciphertexts with Application to Oblivious Neural Network Inference

    同态加密在机器学习中的应用

    1.联邦学习(PHE)

    在联邦学习中,多方联合训练模型一般需要交换中间结果,如果直接发送明文的结果可能会有隐私泄露风险。在这种场景下,同态加密就可以发挥很重要的作用。多方直接将中间结果用同态加密算法进行加密,然后发送给第三方进行聚合,再将聚合的结果返回给所有参与者,不仅保证了中间结果没有泄露,还完成了训练任务(第三方可以通过优化系统设计去除)。

    在联邦学习中,因为只需要对中间结果或模型进行聚合,一般使用的同态加密算法为PHE(多见为加法同态加密算法),例如在FATE中使用的Paillier即为加法同态加密算法。为了更好地展示同态加密在联邦学习中的应用,我们在此展示一个同态加密在联邦学习推荐系统中的应用。在这里插入图片描述
    在传统的推荐系统中,用户需要上传浏览记录、评价信息来实现个性化推荐,但是这些信息均属于个人的隐私数据,直接上传会带来很大的安全隐患。在联邦推荐系统中,每个用户将数据保存在本地,只上传特定的模型梯度。这样虽然避免了隐私数据的直接泄露,但是还是透露了梯度信息给云服务器。同时我们发现,从数学上可以证明,使用连续两次更新的梯度即可反推出用户的评分信息。这种情况下,就必须使用同态加密对用户上传的梯度进行保护,即用户在上传梯度前使用加法同态加密算法对梯度信息进行加密,然后云服务器将所有用户的密文梯度进行聚合(相加),再将更新后的模型返还给各个用户解密,完成训练更新。

    这个框架目前使用的公私钥加密方案是存在问题的,当server和其中一个client进行共谋时,私钥会泄露。因此后续可以采用私钥秘密分享的方法进行设计。

    2. 密态机器学习(LHE和FHE)

    密态计算中使用的同态加密算法多为LHE和FHE。其实全同态加密研究的初衷,就是为了实现安全的云计算,即对云算力有需求的用户可以将本地的数据全部加密,然后上传到云端,然后云端的服务器即可按照用户指令完成计算,整个过程用户的数据不会泄露给云端,从而完成“绝对安全”的云计算服务。

    但是由于目前FHE效率比较低,所以使用全同态加密进行云计算远远没有达到应用的级别。机器学习在云计算中有着广阔的市场,而机器学习有训练和推理两种需求,训练过程一般数据较多、计算量很大,而推理则数据量相对较小、计算量也小,所以目前研究主要集中在密态下的机器学习推理,并且目前已经有速度比较快的方案 (USENIX-18 GAZELLE);而密态下的机器学习训练研究稀少,是一个比较难解决的问题。

    一些开源的密态机器学习方案实现

    1. IntelAI/he-transformer
      对加密数据进行本地机器学习,支持多种加密模式,如Microsoft的SEAL-CKKS的同态方案和ABY的MPC方案。并有开源实现和论文支持。
    2. Facebook/CrypTen
      主要是采用了安全多方计算来实现数据隐私保护下的机器学习任务。目前还在原型阶段。
    展开全文
  • 它是nGraph,英特尔神经网络编译器的后端,基于简单加密算法库(SEAL),这是一个加密库,微软研究院开源软件。 HE允许对加密数据进行计算,允许用户获得有价值的见解,而不会有暴露底层数据的风险。使用HE,数据...

          在加拿大蒙特利尔召开的NeurIPS 2018会议上,英特尔宣布推出开源HE-Transformer,这是一种允许AI系统对敏感数据进行操作的工具。它是nGraph,英特尔神经网络编译器的后端,基于简单加密算法库(SEAL),这是一个加密库,微软研究院开源软件。

           HE允许对加密数据进行计算,允许用户获得有价值的见解,而不会有暴露底层数据的风险。使用HE,数据由用户控制,并且永远不需要信任第三方。HE变换器使用户能够在受过流行的开源框架(如Tensorflow)训练的神经网络上对加密输入进行推断。

    HE-Transformer来由

            对隐私的日益关注使得HE成为解决看似不一致的需求的有吸引力的解决方案:机器学习需要数据; 隐私排除了它的使用。该领域的最新进展首次使HE成为深度学习的可行者。然而,目前,设计深度学习HE模型需要同时具备深度学习,加密和软件工程方面的专业知识。HE变换器提供抽象层,允许用户从每个领域的独立进步中受益。利用HE变换器,数据科学家可以直接部署TensorFlow,MXNet和PyTorch等流行框架的训练模型,而无需担心HE方面。研究人员可以利用Tensorflow快速开发新的HE友好深度学习拓扑。同时,nGraph编译器的进步自动集成,

    HE-Transformer目前功能

    • 目前直接与英特尔®nGraph™编译器和TensorFlow运行时集成,允许用户在Tensorflow中训练神经网络,并对加密数据进行推断。我们还计划与PyTorch集成。对于其他流行的深度学习框架,如MXNet,用户必须简单地以nGraph序列化格式导出训练好的MXNet模型,HE变压器可以从中加载和性能推断。
    • HE变压器提供了许多HE友好的优化,因此用户可以在可能的情况下自动获益。这些优化包括明文值旁路,SIMD打包,OpenMP并行化和明文操作。
    • HE变压器兼容nGraph深度学习模型,并支持多种操作,包括add, broadcast, constant, convolution, dot, multiply, negate, pad, reshape, result, slice, subtract。由于HE的限制,支持的操作目前仅限于仅需要加法和乘法的操作。

    HE-Transformer目前表现效果

            HE变压器融合了HE,CKKS加密方案的最新突破。这可以在Cryptonets神经网络上实现最先进的性能。到目前为止,在CPU上的32位精度浮点模型中,我们在MNIST手写数字数据集上达到了99%的准确率。

             用户现在可以在24秒内对4096 MNIST数据点进行推断,每个图像的传输速率为6ms。

    开源项目

    https://github.com/NervanaSystems/he-transformer

    参考

    https://github.com/NervanaSystems/he-transformer/wiki/Blog-Post

    https://venturebeat.com/2018/12/03/intel-open-sources-he-transformer-a-tool-that-allows-ai-models-to-operate-on-encrypted-data/

    展开全文
  • 其次,通过密钥选择在小波系数中嵌入水印的起始位置,并该小波系数进行量化处理作为RBF神经网络模型的输入值;最后,用混沌加密技术和纠错编码技术对待嵌入的水印信息进行预处理以增强水印系统的安全性和鲁棒性,...
  • 我们将使用深度学习递归神经网络来建模比特币收盘价。 一个模型将使用FNG指标来预测收盘价,而第二个模型将使用收盘窗口来预测第n个收盘价。 方法: 准备数据以进行培训和测试 我们将使用n天窗口的时间窗口数据...
  • 基于细胞神经网络(CNN)和耦合映像格子模型(CML),提出了一种密钥长度为128 bit的对称图像加密算法。该算法用具有复杂动力学行为的CNN网络和分段线性混沌映射去驱动CML模型,以快速产生时空混沌序列,并与原始图像...
  • 以此建立了以法向载荷、载流和滑动速度为输入量,以滑板磨耗率、载流稳定系数为输出量的BP神经网络非线性模型,进而利用遗传算法优化了相关参数,并在特定的载流和滑动速度条件下,采用基于粒子群算法的多目标优化...
  • -深度神经网络框架 -具有Python和经典机器学习算法 您会在里面找到什么: 如何清理和准备文本数据并将其特征化以使其对于机器学习场景有价值 如何从任何敏感信息中剥离数据并其进行匿名化/加密 如何使用Python...
  • SHOT假设:相同的深度神经网络模型包括一个域之间的特征加密模块和一个分类器模块(假设)。旨在学习一个目标特定的特征加密模块来生成与源数据表示对齐良好的目标数据表示,而不用接触源数据和目标数据的标签。SHOT...

    SHOT框架:学习域不变特征加码模块,让输出目标特征可匹配源特征分布,被源假设分类准确,

    1. 引言
    一个简单但通用的方法:源假设转移(SHOT).
    SHOT假设:相同的深度神经网络模型包括一个域之间的特征加密模块和一个分类器模块(假设)。旨在学习一个目标特定的特征加密模块来生成与源数据表示对齐良好的目标数据表示,而不用接触源数据和目标数据的标签。SHOT基于以下进行设计:如果我们已经学习了目标数据的类源表示,源分类器(假设)对目标数据的分类输出应与源数据的类似,即与one-hot编码接近。因此,SHOT冻结了源假设,并通过最大化中间特征表示和分类器输出之间的互信息微调了源加密模块,因为信息最大化鼓励网络分配完全不同的one-hot编码给目标特征表示。

    即使信息最大化迫使特征表示很好地适应假设,可能仍将目标特征表示对齐到错误的源假设。为避免,提出一个自监督伪标签方法来增强目标表示学习。考虑到源分类器生成的伪标签可能对目标数据不准确有噪,我们提出对目标域本身保留中间class-wise原型,并进一步从这些原型中通过监督得到更干净的伪标签,来指导映射模块学习。这种自监督标签充分利用了目标域的全局架构,并将学习正确适应源假设的特征表示。而且,还调查了标签平滑,权重正则化,批归一化,在源模型的网络架构内,来增强适应性能。

    2. 相关工作
    假设迁移学习(HTL)
    HTL可看作参数适应的正则化,假设最优目标假设与源假设紧密相关。与著名的微调策略相似,HTL大多获得每个类至少一个带标记的目标例子的小集合,限制了z在半监督DA情景的可用性。
    伪标签(PL)
    伪标签最初为半监督学习提出,在其他传感学习上很受欢迎,主要思想:标记伪标签的数据用最大预测改了,并与标记数据一起进行微调,很有效。在没有标记数据下,DeepCluster,最好的自监督学习方法之一,通过k-means聚类生成伪标签,并利用他们来重新训练当前模型。考虑到数据集偏移,我们框架结合了两者的优势,发展了一个自建度的伪标签策略来减轻有噪伪标签的伤害。
    Federated Learning (FL)
    FL是一种分布机器学习方法,训练一个多个去中心化边缘设备之间的模型,而不交换他们的数据样本。FL的通常用法消耗一个简单的来自多个局部使用者的更新集合用于服务器端的学习算法,提供了一个隐私保留的机制。最近:知识从去中心化节点转移到一个新的节点,不需任何监督本身并提出一个基于对抗的解决方案。特别的,它在每个源节点训练一个模型,并用源梯度的集合更新目标模型来减少域偏移。但它可能不能解决普通的DA设定,仅有一个源域可用。

    3. 方法
    仅用一个预训练模型,不使用源数据来解决无监督DA任务。特别的,考虑KwayK-way分类。对普通的无监督DA任务,给我们nsn_s个来自源域DsD_s的带标签样本{xsi,ysi}i=1ns\{{x_s^i,y_s^i\}}_{i=1}^{n_s},其中xsiXs,ysiYsx_s^i\in \mathcal{X}_s,y_s^i\in \mathcal{Y}_s,以及ntn_t个来自目标域DtD_t的无标签样本{xti}i=1nt\{{x_t^i\}}_{i=1}^{n_t},其中xtiXtx_t^i\in \mathcal{X}_t。DA的目标是预测目标域中的标签{yti}i=1nt\{{y_t^i}\}_{i=1}^{n_t},其中ytiYty_t^i \in \mathcal{Y}_t,源任务XsYs\mathcal{X}_s{\rightarrow}\mathcal{Y}_s假定与目标任务XtYt\mathcal{X}_t\rightarrow \mathcal{Y}_t相同。这里SHOT旨在学习一个目标方程ft:XtYtf_t:\mathcal{X}_t\rightarrow \mathcal{Y}_t,然后仅用{xti}i=1nt\{{x_t^i}\}_{i=1}^{n_t}和源方程fs:XsYsf_s:\mathcal{X}_s\rightarrow \mathcal{Y}_s来推断{yti}i=1nt\{{y_t^i}\}_{i=1}^{n_t}

    我们通过三个步骤解决UDA的源模型转移任务。首先,从源数据生成源模型。其次,丢弃源数据并转移模型(包括源假设)到目标域而不接触源数据。第三,进一步研究如何为两个模型都设计更好的网络架构来提升适应性能。

    3.1 源模型生成
    考虑构建一个深度神经网络然后学习源模型fs:XsYsf_s:\mathcal{X}_s\rightarrow \mathcal{Y}_s通过最小化下面的标准交叉熵损失:
    Lsrc(fs;Xs,Ys)=E(xs,ys)Xs×Ysk=1Kqklogδk(fs(xs))\mathcal{L}_{src}(f_s;\mathcal{X}_s,\mathcal{Y}_s)=-\mathbb{E}_{(x_s,y_s)\in\mathcal{X}_s\times \mathcal{Y}_s\sum_{k=1}^Kq_klog\delta_k(f_s(x_s))}
    其中δk(a)=exp(ak)iexp(ai)\delta_k(a)=\frac{exp(a_k)}{\sum_iexp(a_i)}表示一个K维向量a的softmax输出的第k个元素,q是ysy_s加密的K中之一,其中qkq_k对正确类是1,其余是0.为了进一步增加源模型的判别性并帮助下面的目标数据对齐,提出采用标签平滑(LS)方法因为它鼓励样本至于紧密均匀分布的簇中。有了LS,目标方程变为公式1:
    Lsrcls(fs;Xs,Ys)=E(xs,ys)Xs×Ysk=1Kqklslogδk(fs(xs))L_{src}^{l_s}(f_s;\mathcal{X}_s,\mathcal{Y}_s)=-\mathbb{E}_{(x_s,y_s)\in \mathcal{X}_s\times \mathcal{Y}_s}\sum_{k=1}^Kq_k^{l_s}log\delta_k(f_s(x_s))
    这里qkls=(1α)qk+α/Kq_k^{l_s}=(1-\alpha)q_k+\alpha/K是平滑的标签,α\alpha是平滑参数经验上设为0.1.

    3.2 信息最大化的源假设转移(SHOT-IM)
    源模型通过图2中的DNN进行参数化,包括两个模块:特征编码模块gs:XsRdg_s:\mathcal{X}_s\rightarrow \mathbb{R}^d,和分类器模块RdRKfs(x)=hs(gs(x))\mathbb{R}^d\rightarrow \mathbb{R}^K,即f_s(x)=h_s(g_s(x))。这里的d是输入特征的维数。之前DA方法通过匹配特征空间Rd\mathbb{R}^d的数据分布来对齐不同域(使用最大平均差异MMD或域对抗对齐)。然而,这两种策略都假设源和目标域共享同样的特征编码器,并需要在适应中接触源于数据。这在提出的DA设定下不可行。相反,ADDA放松了参数共享限制,提出一个新的对抗框架给DA,对每个域学习不同的映射方程。而且,DIRT-T首先学习一个参数共享的DA框架来初始化,然后通过最小化簇假设violation来微调整个网络。这两个方法意味着学习一个域特定特征加码模块是可行的,甚至比参数共享机制效果更好。
    我们遵循这个策略并提出一个源假设转移SHOT框架,通过学习域特定特征加码模块但固定源分类器模块(假设),因为源假设加密了未见源数据的分布信息。具体的,SHOT对不同域特定特征学习模块使用相同分类器模块,即ht=hsh_t=h_s。旨在学习最优目标特征学习模块gt:XtRdg_t:\mathcal{X}_t\rightarrow \mathbb{R}^d,以使输出目标特征可以很好地匹配源特征分布,并且可通过源假设直接被准确分类。值得注意的是SHOT很少使用源数据,只用一次来生成源假设,而ADDA和DIRT-T需要同时用源和目标数据当学习模型时。

    重要的,我们希望学习最优目标编码器gtg_t以至于目标数据分布p(gt(xt))p(g_t(x_t))好好匹配源数据分布p(gs(xs))p(g_s(x_s))。然而,特征级别的对齐不能好好工作,因为不可能估计p(gs(xs))p(g_s(x_s))的分布,在不接触源数据的情况下。我们从另一个角度看这一问题:如果域差异被减小,无标签的目标数据应该会有什么样的输出?我们主张理想的目标输出应该域one-hot编码类似,但彼此不同。为此,我们采用信息最大化IM损失,来让目标输出单独确定并且全局不同。实际上,我们最小化下面的LentLdivL_{ent}和L_{div}一起构成IM损失:
    Lent(ft;Xt)=ExtXtk=1Kδk(ft(xt))logδk(ft(xt)),L_{ent}(f_t;\mathcal{X}_t)=-\mathbb{E}_{x_t\in \mathcal{X}_t}\sum_{k=1}^K\delta_k(f_t(x_t))log\delta_k(f_t(x_t)),
    Ldiv(ft;Xt)=k=1Kp^klogp^k=DKL(p^,1K1K)logKL_{div}(f_t;\mathcal{X}_t)=\sum_{k=1}^K\hat p_klog\hat p_k=D_{KL}(\hat p,\frac{1}{K}\mathbb{1}_K)-logK
    这里ft(x)=ht(gt(x))f_t(x)=h_t(g_t(x))是每个目标样本的K维输出,1K1_K是一个K维向量(都是1),p^=ExtXt[δ(ft(k)(xt))]\hat p=\mathbb{E}_{x_t\in \mathcal{X}_t}[\delta(f_t^{(k)}(x_t))]是整个目标域的平均输出嵌入。IM将比之前DA工作中广泛应用的条件熵最小化更好,因为IM可以避免琐碎的解决方案(其中所有未标记数据通过公平的多样性提升目标LdivL_{div}有着相同的one-hot编码。

    3.3 使用自监督伪标签的源假设转移加强
    如图1,我们展示了仅通过SHOT-IM和源模型学习到的特征t-SNE可视化。直观上,目标特征表示仅在源模型分布混乱,并且使用IM损失可以帮助对齐目标数据(使用未见源数据)。然而,目标数据可能以一定程度匹配到错误的源假设在图1b中。

    我们认为:有害的影响源自于不准确的网络输出。比如,来自次类(输出[0.4,0.3,0.1,0.1,0.1]的归一网络)的一个目标样本可能会被迫使有一个期望输出[1.0,0.0,0.0,0.0,0.0]。为减轻这个影响,进一步对未标记数据应用伪标签来更好的监督目标数据编码训练。然而,一般由源假设生成的伪标签由于域偏移是有噪的。受DeepCluster启发,我们提出了一个新颖的自监督伪标签策略。首先,我们对目标域的每个类得到质心,类似于带权重的k-means簇:
    ck(0)=xtXtδk(f^t(xt))g^t(xt)xtXtδk(f^k(xt))c_k^{(0)}=\frac{\sum_{x_t\in \mathcal{X}_t}\delta_k(\hat f_t(x_t))\hat g_t(x_t)}{\sum_{x_t\in \mathcal{X}_t}\delta_k(\hat f_k(x_t))}
    其中f^t=g^tht\hat f_t=\hat g_t\circ h_t表示之前学到的目标假设。这些质心可以鲁棒地更可靠的区分目标域内不同类别的分布。然后,我们通过最近质心分类器得到伪标签:
    y^t=argminkDf(g^t(xt),ck(0))\hat y_t=arg min_kD_f(\hat g_t(x_t),c_k^{(0)})
    其中Df(a,b)D_f(a,b)衡量a和b直接的cos距离。最后,我们基于新的伪标签计算目标质心(公式6)
    ck(1)=xtXt1(y^k=k)g^t(xt)xtXt1(y^t=k)c_k^{(1)}=\frac{\sum_{x_t\in\mathcal{X}_t}\mathbb{1}(\hat y_k=k)\hat g_t(x_t)}{\sum_{x_t\in \mathcal{X}_t}1(\hat y_t=k)}
    我们将y^t\hat y_t记作自监督伪标签因为他们是以一种自建度方式得到的质心生成的。实际上,在多轮中我们用公式6更新质心和标签。然而,实验验证更新一次会给出足够好的伪标签。
    总结:给定源模型fs=gshsf_s=g_s\circ h_s和上面生成的伪标签,SHOT冻结来自源ht=hsh_t=h_s的假设,并学习特征编码器gtg_t,完整目标为:
    L(gt)=Lent(htgt;Xt)+Ldiv(htgt;Xt)βE(xt,y^t)Xt×Y^tk=1K1[k=y^t]logδk(ht(gt(xt)))\mathcal{L}(g_t)=\mathcal{L}_{ent}(h_t\circ g_t;\mathcal{X}_t)+\mathcal{L}_{div}(h_t\circ g_t;\mathcal{X}_t)-\beta\mathbb{E}_{(x_t,\hat y_t)\in \mathcal{X}_t\times \hat \mathcal{Y}_t}\sum_{k=1}^K1_{[k=\hat y_t]}log\delta_k(h_t(g_t(x_t)))
    其中β>0\beta>0是一个平衡超参数。

    3.4 源模型的网络架构
    研究如何为我们的问题训练一个更好的源假设。我们讨论对神经网络模型的一些结构选择来参数化特征编码模块和假设。首先,我们需要回看公式1中交叉熵损失的期望网络输出。如果ys=ky_s=k,那么最大化fs(k)(xs)=exp(wkTgs(xs))iexp(wiTgs(xs))f_s^{(k)}(x_s)=\frac{exp(w_k^Tg_s(x_s))}{\sum_iexp(w_i^Tg_s(x_s))}意味着最小化gs(xs)wkg_s(x_s)和w_k直接的距离,其中wkw_k是最后FC层的第k个权重向量。理想地,所有来自第k类的样本将有一个和wkw_k相近的特征嵌入。如果无标签目标样本给定正确的伪标签,很容易理解源特征嵌入域目标的是相似度通过伪标签项,其动机与之前研究相似,一个简化的MMD被利用来进行判别域混淆。
    由于权重归一导致了在softmax输出内的内部距离问题,我们采用权重归一化WN来保持每个权重向量wiw_i的准则与FC分类层中的相同。而且,批归一化BN可以减小内部数据集偏移因为不同域共享相同的平均(0)和方差,可悲认为是一阶和二阶矩。基于这些,形成SHOT的完整框架如图2。在实验中,充分研究每个之前架构的影响。

    四、实验
    4.2 实施细节
    网络超参数
    训练整个网络通过后向传播,新加的层用预训练层的10倍学习率训练。准确的,采用mini-batchSGD以0.9的momentum和1e-3的权重衰减,学习率η0=1e2\eta_0=1e^{-2}对锌层,从头学习的层对所有使用除了VisDA-C。进一步采用相同的学习率规划η=η0(1+10p)0.75\eta=\eta_0\cdot(1+10\cdot p)^{-0.75},其中p是训练过程从0变为1、而且,将批尺寸设为64对所有任务。使用β=0.3\beta=0.3对所有使用除了Digits.

    4.4目标识别的结果(普通闭集)
    在各种目标识别基准上评估SHOT。表格3,SHOT对D->A和W->A表现最好。可能因为SHOT需要相对大的目标域来学习假设ftf_t而D和W和目标域一样小。通常,SHOT得到很好性能,甚至在没有直接接触源域数据的情况下。
    消融研究
    我们研究了自建度伪标签策略的优势,很明显PL策略效果很好,我们呢自建度的PL总是比单纯的好。很惊讶,仅使用LentL_{ent}和自建度PL甚至产生更差的结果。但使用LentLdivL_{ent}和L_{div}结果变得比自建度PL基准更好,意味着多样性提升目标LdivL_{div}的重要性。

    展开全文
  • :卷积神经网络,它使用通过合并来自MNIST的图像而生成的数据来学习识别数字序列(基于图像识别数字)。 :从社交网络广告购买了SUV的客户使用K-NN。 :使用关于加密货币的概率模型来找到数值问题的近似解决方案...
  • 智能图像抓取器-源码

    2021-02-09 16:46:03
    为了清理图像,还包括另一个脚本,该脚本使用Google训练的深度卷积神经网络来应用Google Vision API图像标签服务。 该脚本将附加评分参数,该参数显示深度学习模型如何图片中搜索词的可用性充满信心。 稍后,用户...
  • 有学习的高阶DPA攻击

    2021-01-14 05:02:50
    针对目前这些攻击方式的不足与局限性,有学习的高阶 DPA 采用神经网络建立能耗无掩中间组合值的拟合模型,基于拟合无掩中间组合值与猜测无掩中间组合值的相关系数进行攻击。这种方法消除了在学习阶段必须了解掩码...
  • 凯撒加密解密程序 1个目标文件 1、程序结构化,用函数分别实现 2、文件的加密,解密输出到文件 利用随机函数抽取幸运数字 简单 EJB的真实世界模型(源代码) 15个目标文件 摘要:Java源码,初学实例,基于EJB的真实...
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
     Java生成密钥、保存密钥的实例源码,通过本源码可以了解到Java如何产生单钥加密的密钥(myKey)、产生双钥的密钥(keyPair)、如何保存公钥的字节数组、保存私钥到文件privateKey.dat、如何用Java对象序列化保存私钥...
  • vc++ 应用源码包_1

    热门讨论 2012-09-15 14:22:12
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • vc++ 应用源码包_2

    热门讨论 2012-09-15 14:27:40
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • CruiseYoung提供的带有详细书签的电子书籍目录 ... 数据库系统基础:高级篇(第5版)... 12.5.4 神经网络 249 12.5.5 遗传算法 249 12.6 数据挖掘的应用 250 12.7 商业化数据挖掘工具 250 12.7.1 用户界面...
  • vc++ 应用源码包_6

    热门讨论 2012-09-15 14:59:46
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • vc++ 应用源码包_5

    热门讨论 2012-09-15 14:45:16
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • vc++ 应用源码包_4

    热门讨论 2012-09-15 14:38:35
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • vc++ 应用源码包_3

    热门讨论 2012-09-15 14:33:15
    该实例可进行局域网的聊天、一多、多一、和多多的传送和续传,理论上这是我本人的实现目的,而且目前经测试已基本实现了上述功能,而且网速一般有几M/S。另外有只打开一个应用程序、CRichEdit的使用、最小到...
  • PyTorch:具有强大CPU加速功能,包含张量和动态神经网络的Python库。 Recast/Detour:(3D)导航网格生成器和路径查找,主要用于游戏。 TensorFlow:使用数据流图进行数值计算的开源软件库。 CNTK:Microsoft ...
  • pyarmor:一个用于加密 python 脚本的工具,也可以将加密后的脚本绑定到固件上,或设置已加密脚本的有效期。 shiv:一个命令行工具,可用于构建完全独立的 zip 应用(PEP 441 所描述的那种),同时包含了所有的依赖...
  • java开源包1

    千次下载 热门讨论 2013-06-28 09:14:34
    1. 完全透明的缓存支持,业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时,支持list类型的高级数据结构,更适合论坛帖子列表这种类型的数据 5. ...
  • java开源包12

    热门讨论 2013-06-28 10:14:45
    1. 完全透明的缓存支持,业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时,支持list类型的高级数据结构,更适合论坛帖子列表这种类型的数据 5. ...
  • Java资源包01

    2016-08-31 09:16:25
    1. 完全透明的缓存支持,业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时,支持list类型的高级数据结构,更适合论坛帖子列表这种类型的数据 5. ...
  • java开源包101

    2016-07-13 10:11:08
    1. 完全透明的缓存支持,业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时,支持list类型的高级数据结构,更适合论坛帖子列表这种类型的数据 5. ...
  • java开源包11

    热门讨论 2013-06-28 10:10:38
    1. 完全透明的缓存支持,业务代码零侵入 2. 支持使用Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用redis作缓存时,支持list类型的高级数据结构,更适合论坛帖子列表这种类型的数据 5. ...

空空如也

空空如也

1 2
收藏数 40
精华内容 16
关键字:

对神经网络模型加密