精华内容
下载资源
问答
  • 主要介绍了将keras的h5模型转换为tensorflow的pb模型操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 深度学习模型转换器:针对不同深度学习框架软件的深度学习模型的转换器转换
  • stk的模型转换软件 将lwo格式的模型转换成mdl *.lwo向*.mdl转换是利用STK软件自带模型转换小软件LwConvert.exe完成的,根据转换模型类型的不同,还要进行转换前的设置。该处模型类型包括空间飞行器、地面固定设施...
  • pytorch2keras - PyTorch到Keras模型转换工具
  • tensorflow模型转换caffe模型 各种模型文件和转化预测代码和caffe网络详解
  • PyTorch到Caffe的模型转换工具
  • 从研究CAD/CAE的集成出发,简要介绍了几何模型转换的几种方法,并分析了其不足,提出采用有限元模型转换代替几何模型转换。详细阐述了有限元模型转换相对于几何模型转换的优势,以及其实现方法和途径。通过自行编制...
  • 火龙果软件工程技术中心本文内容包括:1内容简介2模型转换3RSA模型转换框架4基于RSA模型转换框架的开发5扩展模型转换6总结参考资料本文首先介绍模型转换的基本概念,然后介绍RSA模型转换框架,之后本文以两个具体的...
  • mdx模型转换器导入MAX任意版本插件 适合大部分3DMAX使用·
  • gltf转换流程、COLLADAMax.dle插件和collada2gltf_windows_v1.0-draft_x64工具,包括3dmax安装下载和破解方式
  • 深度学习模型转换

    千次阅读 多人点赞 2019-05-24 20:44:24
    当用户基于各种原因学习并使用了一种框架的时候,常常会发现应用或者再训练的场景改变了,比如用户用 Caffe 训练好了一个图像识别的模型,但是生产环境是使用 TensorFlow 做预测。再比如某机构主要以TensorFlow作为...

    前言

    当用户基于各种原因学习并使用了一种框架的时候,常常会发现应用或者再训练的场景改变了,比如用户用 Caffe 训练好了一个图像识别的模型,但是生产环境是使用 TensorFlow 做预测。再比如某机构主要以TensorFlow作为基础的深度学习开发框架,现在有一个深度算法项目,需要将其部署在移动设备上,并希望使用速度较优的ncnn前向框架,以观测变现等等。传统地我们可能需要用tf重写Caffe,或用Caffe2重写tf,然后再训练参数,试想这将是一个多么耗时耗力的过程。

    因此,深度学习模型转换技术在AI工程化中将变得越来越重要。本人花了将近半个月的时间完成现有模型转换的技术调研,并将模型转换技术涉及到知识点以及实际转换时容易遇到的问题梳理成多个章节进行粗劣地讲解。具体分为深度学习模型简介、深度学习模型转换技术和模型转换之实战这三部分内容,并在文章的最后作了简单的总结。

     

    深度学习模型简介

    深度学习模型是指一种包含深度神经网络结构的机器学习模型。算法工程师使用某种深度学习框架构建好模型,经调参和训练优化后,将最终生成的网络参数和模型结构一并保存,得到的文件即为可用于前向推理的模型文件。不同深度学习框架训练得到的模型文件的格式不尽相同,但完整的模型文件一般都包含了张量数据、运算单元和计算图等信息。

     

    1.1 张量(Tensor)

    张量(Tensor)是深度学习系统的数据容器,它可以理解为矩阵向任意维度的扩展。仅包含一个数字的张量叫作标量(Scalar,也叫标量张量、零维张量、0D张量);数字组成的数组叫作向量(Vector)或一维张量(1D张量),而向量组成的数组叫作矩阵(Matrix)或二维张量(2D张量);将多个矩阵组合成一个新的数组,可以得到一个 3D 张量,你可以将其直观地理解为数字组成的立方体;将多个3D张量组合成一个数组,可以创建一个4D张量,以此类推。深度学习处理的一般是0D到4D 的张量,但处理视频数据时可能会遇到5D张量。

    1.2 运算单元(Operation/Operator)

    运算单元(Operation/Operator,常见的翻译还有计算单元、操作符、算子等)表示一种符号化的运算过程,是主流深度学习框架的基本单元,即图中的节点。它的输入和输出都是张量(Tensor)。所有计算机程序最终都可以简化为二进制输入上的一些二进制运算(AND、OR、NOR等),类似地,深度神经网络学到的所有变换也都可以简化为数值数据张量上的一些张量运算(Tensor operation),如图1的tf.add函数为TensorFlow一个简单的加法运算单元。

    图1 TensorFlow的add运算单元

        常见的运算单元有Add、BatchNormalization 、Conv、GRU、LRN、LSTM、MaxPool、Relu、RNN、Softmax等。

    1.3 计算图(Graph)

    1.3.1 基本概念

    计算图(Graph,又称数据流图)被定义为有向无环图( directed acyclic graph),张量和运算单元都是图中的对象,运算单元是图的节点,张量是图的边上流动的数据。无环( acyclic)这个限定词很重要,即这些图不能有循环。张量 x 不能成为生成 x 的某一层的输入。唯一允许的处理循环(即循环连接)是循环层的内部循环。

    深度学习框架使用计算图将计算表示为独立的指令之间的依赖关系,我们可以通俗地将计算图理解为表达和评估数学表达式的一种方式。例如,这里有个简单的数学公式:

    g = ( x + y ) ∗ z

    我们可以绘制上述方程的计算图如下:

    图2 简单的计算图示例

    上述示例图虽然简单,但它包含了前向推理模型所需的基本要素。所谓前向传播,可简单理解为模型将张量(x、y、z)从左侧输入向前传递(即有序接受运算单元的处理)到右侧输出,最终得到推理值(g)。

    常见的深度神经网络模型(Inception、ResNet等)包含了一些较为复杂的运算单元,比如残差卷积单元、池化、非线性激活、Bottleneck等节点(PS:通常这些节点也可能归属于网络的某一层layer,一个layer可能包含1个或多个基本运算单元)。此外,涉及训练的模型需包含损失函数、梯度计算等反向传播所必须的运算单元。所谓反向传播,指的是计算神经网络参数梯度的方法。总的来说,反向传播根据微积分中的链式法则,沿着从输出层到输入层的顺序,依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。反向传播的数学原理较为复杂,有兴趣的同学可参考这篇博文: https://blog.csdn.net/u013527419/article/details/70184690

    1.3.2 命名空间

    一些深度学习框架的计算对象会定义一个命名空间(为其包含的 Operation 对象)。这里以TensorFlow为例,它会自动为您的图中的每个指令选择一个唯一名称,但您也可以指定描述性名称,使您的程序阅读和调试起来更轻松。TensorFlow API 提供两种方法来覆盖操作名称:

    如果 API 函数会创建新的 tf.Operation 或返回新的 tf.Tensor,则会接受可选 name 参数。例如,tf.constant(42.0, name="answer") 会创建一个新的 tf.Operation(名为 "answer")并返回一个 tf.Tensor(名为 "answer:0")。如果默认图已包含名为 "answer" 的操作,则 TensorFlow 会在名称上附加 "_1"、"_2" 等字符,以便让名称具有唯一性。

    借助 tf.name_scope 函数,您可以向在特定上下文中创建的所有操作添加名称作用域前缀。当前名称作用域前缀是一个用 "/" 分隔的名称列表,其中包含所有活跃 tf.name_scope 上下文管理器的名称。如果某个名称作用域已在当前上下文中被占用,TensorFlow 将在该作用域上附加 "_1"、"_2" 等字符。例如:

    图3 使用TensorFlow框架构建运算单元示例

     

    1.4 经典的深度神经网络模型

    这里简单介绍一些经典的深度神经网络模型其中CV领域的模型之间的关系可参考图4。

    图4 常用的计算机视觉模型

    1.4.1 AlexNet模型

    2012年,Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet,夺得了2012年ImageNet LSVRC的冠军。AlexNet可以说是具有历史意义的一个网络结构,在此之前,深度学习已经沉寂了很长时间,自2012年AlexNet诞生之后,后面的ImageNet冠军都是用卷积神经网络(CNN)来做的,并且层次越来越深,使得CNN成为在图像识别分类的核心算法模型,带来了深度学习的大爆发。

    1.4.2 VGG模型

    VGG又分为VGG16和VGG19,分别在AlexNet的基础上将层数增加到16和19层,它除了在识别方面很优秀之外,对图像的目标检测也有很好的识别效果,是目标检测领域的较早期模型。

    1.4.3 GoogLeNet模型

    GoogLeNet除了层数加深到22层以外,主要的创新在于它的Inception,这是一种网中网(Network In Network) 的结构,即原来的节点也是一个网络。用了Inception之后整个网络结构的宽度和深度都可扩大,能够带来2到3倍的性能提升。

    1.4.4 ResNet模型

    ResNet直接将深度拉到了152层, 其主要的创新在于残差网络, 其实这个网络的提出本质上是要解决层次比较深时无法训练的问题。 这种借鉴了Highway Network思想的网络, 相当于旁边专门开个通道使得输入可以直达输出, 而优化的目标由原来的拟合输出H(x) 变成输出和输入的差H(x)-x, 其中H(x) 是某一层原始的期望映射输出, x是输入。

    1.4.5 MobileNet模型

    2017年,Google提出的适用于手机端的神经网络模型——MobileNet。MobileNet的精华在于卷积方式——Depthwise separable convolution;采用深度可分离卷积会涉及到两个超参数来减少参数量和计算量:

    1. 宽度乘数(width multiplier):[减少输入和输出的channels]
    2. 分辨率乘数(resolution multiplier):[减少输入和输出的feature map大小]

    Mobilenet可以应用于多个领域:目标检测,分类,跟踪等诸多领域。用于移动和嵌入式视觉应用。

    1.4.6 BERT模型

    2018年年底,谷歌AI团队新发布的BERT模型,在NLP业内引起巨大反响,认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7%(绝对改进率5.6%)等。BERT模型是以Transformer编码器来表示的NLP词向量模型。相信2019年会有越来越多的NLP模型潜入BERT技术,并刷新各子领域的state-of-the-art!

     

    1.5 主流的深度学习框架

    目前PC端主流的深度学习框架有TensorFlow、Keras、Pytorch、Caffe、CNTK等(如图5所示)。

    图5 主流的深度学习框架

    根据各框架在2018年度的热度排序(如图6所示),在这简单介绍流行度排前四的深度学习框架:

    图6 各深度学习框架2018年热度比较

    1.5.1 TensorFlow框架

    TensorFlow 是一个开放源代码软件库,是很多主流框架的基础或者依赖。TensorFlow背后因站着Google,一经推出就获得了极大的关注,并迅速成为如今用户最多的深度学习框架。该框架几乎能满足所有机器学习开发的功能, 但是也有由于其功能代码过于底层,学习成本高,代码冗繁,编程逻辑与常规不同等缺点。

    1.5.2 Keras框架

    Keras是一个高层神经网络API,由纯Python编写而成并使用TensorFlow、Theano及CNTK作为后端。Keras为支持快速实验而生,能够把想法迅速转换为结果。Keras应该是深度学习框架之中最容易上手的一个,它提供了一致而简洁的API, 能够极大地减少一般应用下用户的工作量,避免用户重复造轮子。

    1.5.3 Pytorch框架

    2017年1月,Facebook人工智能研究院(FAIR)团队在GitHub上开源了Pytorch,并迅速占领GitHub热度榜榜首。Pytorch是由Lua Torch发展而来,但它不是简单地对封装Lua Torch提供Python接口,而是对Tensor之上的所有模块进行了重构,并新增了最先进的自动求导系统。虽然相比tf要年轻很多,但其流行度的增速十分迅猛,目前已成为当下最流行的动态图框架。它支持TensorFlow尚不支持的一些机制。

    Pytorch的设计追求最少的封装,尽量避免重复造轮子。不像TensorFlow中充斥着session、graph、operation、name_scope、variable、tensor、layer等全新的概念,Pytorch的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次,分别代表高维数组(张量)、自动求导(变量)和神经网络(层/模块),而且这三个抽象之间联系紧密,可以同时进行修改和操作。简洁的设计带来的另外一个好处就是代码易于理解。Pytorch的源码只有TensorFlow的十分之一左右,更少的抽象、更直观的设计使得Pytorch的源码十分易于阅读。

    1.5.4 Caffe框架

    Caffe全称为Convolutional Architecture for Fast Feature Embedding,是一个被广泛使用的开源深度学习框架。Caffe的核心概念是Layer,每一个神经网络的模块都是一个Layer。Layer接收输入数据,同时经过内部计算产生输出数据。设计网络结构时,只需要把各个Layer拼接在一起构成完整的网络(通过写protobuf配置文件定义)。Caffe最开始设计时的目标只针对于图像,没有考虑文本、语音或者时间序列的数据,因此Caffe对卷积神经网络的支持非常好,但对时间序列RNN、LSTM等支持得不是特别充分。Caffe的一大优势是拥有大量的训练好的经典模型(AlexNet、VGG、Inception)乃至其他state-of-the-art (ResNet等)的模型,收藏在它的Model Zoo(github.com/BVLC/Caffe/wiki/Model-Zoo)。

    1.5.5 移动端框架

    在这顺便简单介绍一下目前移动端流行的深度学习框架。目前的移动框架一般都是前向推理框架,即只含推理(inference)功能,使用的模型文件需要通过离线的方式训练得到。

    Caffe2: Facebook新的开源深度学习框架。与之前的Pytorch不同,Caffe2专门用于将深度学习移植到移动应用程序。Caffe2官方教程以Python语言为主,是一个轻量化的深度学习算法框架,为移动端实时计算做了很多优化,方便机器学习算法和模型大规模部署在移动设备。

    腾讯的FeatherCNN和ncnn:这两个框架都是腾讯出的,FeatherCNN来自腾讯AI平台部,ncnn来自腾讯优图。ncnn开源早点,文档、相关代码丰富一些,目前流行度很高。ncnn的官网宣称ncnn目前已支持Caffe2和Pytorch的模型转换。

    小米的 MACE:它有几个特点:异构加速、汇编级优化、支持各种框架的模型转换,该框架还支持GPU运算,且不限于高通,这点很通用,很好,比如瑞芯微的RK3299就可以同时发挥出cpu和GPU的好处。

    TFLite:无缝支持通过TensorFlow训练好的神经网络模型。只需要几个简单的步骤就可以完成桌面模型到移动端模型的转换。但通常情况下TFLite框架的运行效率要比上述的一些框架低。

     

    深度学习模型转换技术

    目前的转换技术在设计思路上主要存在两种差异,一种是直接将模型从现有框架转换为适合目标框架使用的格式,我们在这称此技术为直接转换技术;另外一种是针对深度学习设计一种开放式的文件规范,而主流深度学习框架最终都能实现对这种规范标准的支持,这种技术的代表是开放式神经网络切换框架——ONNX技术。

    2.1 直接转换技术

    转换器实现模型文件转换的基本原理涉及一下几步:

    1. 读取载入A框架生成的模型文件,读取并识别模型网络中的张量数据的类型/格式、运算单元的类型和参数、计算图的结构和命名规范,以及它们之间的其他关联信息。
    2. 将第一步识别得到的模型结构和模型参数信息翻译成B框架支持的代码格式,比如B框架指Pytorch时,relu激活层(运算单元)这一信息可翻译为torch.nn.ReLu()。当然,运算单元较为复杂时(特别是带较多参数的情况),可在转换器中封装一个对应的运算单元转换函数来实现B框架的运算单元骨架。
    3. 在B框架下保存模型,即可得到B框架支持的模型文件。

    转换器如能将现有模型文件直接转换为生产环境支持的格式,这在操作上会给使用者带来很大的便利。但因市面上存在的深度学习框架众多(超过10种),目前还没有一种转换器能够实现所有模型文件之间的转换。我在这列出部分可实现不同框架迁移的模型转换器,如图7所示。更完整的列表请参考:https://github.com/jasonaidm/deep-learning-model-convertor

    可以看出,目前既有机构,也有个人开发一些特定场景的模型转换器。其中最有名的模型转换器当属微软于2018年开源的MMdnn框架。下面我将多花点篇幅来介绍这个框架。

    图7 不同模型文件的转换器

     

    MMdnn实质上是一套用于转换、可视化深度神经网络模型的综合性解决方案。MMdnn中的「MM」代表模型管理,「dnn」的意思是深度神经网络,它能够通过中间表征格式让训练模型在Caffe、Keras、MXNet、TensorFlow、CNTK、Pytorch和CoreML等深度学习框架之间转换(如图8所示),帮助开发者实现模型在不同框架之间的交互。MMdnn主要有以下特征:

    1. 模型文件转换器,不同的框架间转换DNN模型
    2. 模型代码片段生成器,生成适合不同框架的代码
    3. 模型可视化,DNN网络结构和框架参数可视化
    4. 模型兼容性测试(正在进行中)

    图8 MMdnn系统目前支持的深度学习框架

     

    需要强调的是,强如背靠微软的MMdnn转换器,也仅支持部分模型的转换,具体原因我们在3.3节有作较为详细阐述。MMdnn在一些ImageNet模型上有做测试(如图9所示),但官方没有提及NLP项目上的测试情况。阅读一些模型转换器文档列出的运算单元支持表发现, MMdnn尚不支持一些较新的运算单元,比如PReLu、Bottleneck、BatchNormalization等,而诸如BiLSTM、Mask等自然语言常用的operators更是缺乏,可以推断,仅仅依靠MMdnn的原始骨架,只能完成小部分的模型转换。

    图9 MMdnn在一些ImageNet模型上测试的结果

     

    2.2 ONNX技术

    2.2.1简介

    ONNX是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型。它使得不同的人工智能框架(如Pytorch, MXNet)可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软,亚马逊 ,Facebook 和 IBM 等公司共同开发,形成强大的深度学习开源联盟,并将源代码托管在Github上(地址: https://github.com/ONNX),谷歌一直在围绕TensorFlow和谷歌云的深度学习开发自己的独立生态,所以暂时不太会加入到这个联盟中来。目前官方支持加载ONNX模型并进行推理的深度学习框架有: Caffe2, Pytorch, MXNet,ML.NET,TensorRT 和 Microsoft CNTK, TensorFlow 也有非官方的支持ONNX,目前处于实验阶段。

    ONNX 定义了一种可扩展的计算图模型、一系列内置的运算单元(OP)和标准数据类型。每一个计算流图都定义为由节点组成的列表,并构建有向无环图。其中每一个节点都有一个或多个输入与输出,每一个节点称之为一个 OP。这相当于一种通用的计算图,不同深度学习框架构建的计算图都能转化为它。事实上,上节介绍的一些模型文件转换器其内部实现机制也借用了ONNX技术。目前ONNX支持的框架和基于ONNX的转换器如下图10所示。具体可参考此链接:http://ONNX.ai/supported-tools

    图10 ONNX支持的框架和转换器

    2.2.2 ONNX结构规范

    (此部分内容大部分直译官方文档:https://github.com/onnx/onnx/blob/master/docs/IR.md)

    模型结构的主要目的是将元数据(meta data)与图形(graph)相关联,图形包含所有可执行元素。首先,读取模型文件时需使用元数据,实现提供所需的信息,以确定它是否能够执行模型、生成日志消息、错误报告等功能。此外元数据对工具很有用,例如IDE和模型库,它需要它来告知用户给定模型的目的和特征。

    每个model具有以下组件:

    2.2.2.1 ONNX运算单元集

    每个模型必须明确命名运算单元,命名方式依赖于运算单元的功能。运算单元集定义可用的操作符、版本和状态。所有模型都隐式导入默认的ONNX运算单元集。

    运算单元集的属性:

    2.2.2.2 ONNX运算单元

    运算单元定义的属性:

    2.2.2.3 ONNX序列化图(Graph)

    序列化图由一组元数据字段(metadata),模型参数列表(a list of model parameters,)和计算节点列表组成(a list of computation nodes)。每个计算数据流图被构造为拓扑排序的节点列表,这些节点形成图形,其必须是无循环的。 每个节点代表对运算单元的调用。 每个节点具有零个或多个输入以及一个或多个输出。

    图表具有以下属性:

    每个图形必须定义其输入和输出的名称和类型,它们被指定为“值信息”结构,具有以下属性:

    2.2.2.4 图的命名规范

    所有名称必须遵守C标识符语法规则。节点,输入,输出,初始化器和属性的名称被组织到多个命名空间中。在命名空间内,每个给定图形的每个名称必须是唯一的。

    2.2.2.5 标准化数据类型

    数据类型存在两种官方的ONNX变体,两者在支持的数据类型和支持的运算单元中存在区别。对于支持的数据类型,ONNX定义只识别张量作为输入和输出类型。而经典的机器学习扩展——ONNX-ML,还可识别序列和maps。对于计算图graph和节点node的输入和输出、计算图的初始化,ONNX支持 原始数字、字符串和布尔类型,但必须用作张量的元素。

    张量元素类型:

    其他规范如Input / Output Data Types、Attribute Types等都在官网上有申明,这里就不再罗列了。

    2.2.3 ONNX支持的运算单元(Operator)

    ONNX拥有非常明确的、严格的神经网络框架标准,并且拥有非常详细的官方文档。此外,它还支持非常多的运算单元,而且还在高频地增加新的operators。目前官网列出的operators已达134种,具体名单请参考:https://github.com/onnx/onnx/blob/master/docs/Operators.md

    2.2.4 新增operator

    ONNX支持用户新增operator,以解决特殊场景特殊模型的转换,并给出新增operator的规范步骤:https://github.com/onnx/onnx/blob/master/docs/AddNewOp.md 

     

    模型转换之实践

    后续更新...

    展开全文
  • 空间数据库技术应用概念模型向逻辑模型转换主讲人马娟昆明冶金高等专科学校01概念模型向逻辑模型转换02实例目录CONTENTS01概念模型向逻辑模型转换 概念模型向逻辑模型转换实质上是将概念模型阶段设计的E-R图转换成...
  • Atlas 200 DK 系列 --高级篇--模型转换

    千次阅读 2020-03-20 09:34:01
    一、模型转换工具的介绍与操作演示–模型转换OMG介绍 Atlas200DK平台中提供了模型转换工具(OMG)。可以将caffe、Tensorflow等开源框架模型转换成Atlas200DK支持的模型,从而能够更方便快捷地把其他平台地模型放到...

    一、模型转换工具的介绍与操作演示–模型转换OMG介绍
    Atlas200DK平台中提供了模型转换工具(OMG)。可以将caffe、Tensorflow等开源框架模型转换成Atlas200DK支持的模型,从而能够更方便快捷地把其他平台地模型放到Atlas200DK平台进行调试并拓展相关业务
    1)OMG的功能介绍
    2)OMG命令使用及命令参数解析
    3)Mind Studio模型转换实际操作
    4)OMG与整体结构关系、OMG转换流程以及整体业务流程
    5)模型转换报错定位思想

    1.OMG常用功能介绍
    在这里插入图片描述
    OME,离线模型执行,支持主流NN框架能够在Atlas200DK上进行推理,即用于离线模型转换完的管理和推理。主要功能如上图的右边所列。
    OMG,离线模型生成,主要功能把训练好的模型脱离训练框架直接在昇腾处理器上进行执行。
    omg使用:主要在Host测,一般我们的主机Linux Ubuntu上单独离线执行, 以omg可执行程序的方式提供给IDE,命令行方式调用;也可以在MindStudio上进行模型转换,实际上MindStudio也是调用的DDK中的omg可执行程序,使用命令行方式调用的。
    2. 模型转换-OMG
    在这里插入图片描述
    OMG当前主要支持caffe和TF,也许后期升级会对更多的开源框架的进行支持。
    主流开源框架的模型存储格式是protobuf,omg集成了protobuf的解析。对不同的框架所需要的东西也是不一样的,一般来说,都包括网络模型文件和权值文件。对caffe来说,它就包括网络结构文件和权值文件。TF来说,只需要一个,pb文件(网络和权值都在这个文件里)。
    转成离线模型,看右边,也就是下图所示,先对模型和权重进行解析,后续经过graph,经过图处理之后,调用modelBuilder会生成模型,接着会对这个模型进行调验,最终才会生成我们的一个.om离线模型。
    在这里插入图片描述
    上面详细说明了OMG和OME的功能,以及omg的简易流程,下面看一下omg的运行环境及其命令的使用
    3. 运行依赖库
    先看一下当前运行环境所需要的依赖库情况。因为我们在使用的时候,会报缺少库这种情况。第一种情况,我们忘记配置环境变量,可以使用export LD_LIBARY_PATH环境变量配上。第二种情况,被其他软件做了升级,导致跟我们版本的库不匹配,我们可以把DDK中的so拿过来替换,那么这种问题就可以相对而言可以排除。
    看一下库都做了哪些事,如下图所示:
    在这里插入图片描述
    还有一点需要注意的是,我们不需要去管库版本升级的问题,不需要做手动升级,因为omg所需依赖库都会根据版本做统一升级,已确保so库一致性
    4. OMG命令使用及命令参数解析
    在这里插入图片描述
    示例1:alexnet转换,将caffemodel转换为昇腾处理器支持的离线模型了。
    在这里插入图片描述
    示例2:resNet18模型转换
    在这里插入图片描述
    input_shape在TF中使用的是比较多的,因为TF的网络有很多动态shape的模型,比如某一个网络,它的输入是[1,?,?,3],像这种动态shape,当前升腾处理器其实是不支持的,但我们在转模型的时候,需要把它转成固定的shape,比如说[1, ??,3] -->> [1, 224, 224,3],然后再去做离线转换。
    aipp使用的好处:一般来说,它可以提高我们的性能,通常输入是图片的,并且数据是U8的,(比如说yuv数据,rgb数据,它相对来说,可以去开启),并且aipp本身也只支持U8的数据输入。
    那么它的性能是怎么会提升呢?因为我们在做这个aipp的时候,我们很多处理会放到aicore里去做,比如,减均值以及相对应的格式转换的处理,还有omg模型在输入数据的时候,它会去做一个4D转5D的一个操作。而这一块东西,如果在cpu做,是比较耗时的,但我们aicore里面也是可以做的,放在aicore里去做,就可以大大提升推理时的性能。

    通过上面两个命令,
    在这里插入图片描述
    –weight,caffe有,但tf是没有的,对于tf,weight是不需要设置的。
    –plugin_path 自定义算子插件路径:我们做自定义算子的自定义文件路径指定。当我们可以把自己实现的算子加入到整网中,然后转成om离线模型,就需要用到pligin_path这个参数。
    –insert_op_conf,输入预处理数据的配置文件路径,这个文件就是我们所说的aipp的配置路径。
    –fp16_high_prec,是否生成高精度/高性能模型,默认是高精度FP16模型。’
    –model,是一个可选项,默认0,即生成模型。
    在这里插入图片描述
    比如说,量化场景,我们就需要用的cal_conf这个量化配置。量化时所需要设置的一个参数。
    其他的参数,其余不常见的参数可根据具体查看Atlas200DK模型转换指导。
    还有相对来说,有些网络都是带后处理的,带后处理,我们需要一个op_name_map去设置后处理对应的名称。在caffe里面,比如说会有ssd detection output或者fastrcnn detection output这几类。
    –out_nodes,我们在调试的时候,用的比较多,它可以downp指定层的数据。用于我们做精度分析,或者是其他的一些分析。
    还有很多不常用的。
    omg参数介绍的差不多
    那我们如何能把各个模型高性能地运行起来,想必就是aipp这一块一些参数需要做一些了解。
    5. 模型转换AIPP介绍
    在这里插入图片描述
    下面来看一下aipp配置文件。
    在这里插入图片描述
    上图,我在mindstudio转换模型时,通过cafmodel.node里面提取出的aipp配置,主要参数如下图所示。
    在这里插入图片描述
    aipp_mode,必选项,一般使用静态配置,动态的可以根据场景需要去配置。
    related_input_rank:可选项。
    src_image_size_w/h,进入aipp实际图片的宽高配置,如果在我们的流程代码里有dvpp的预处理,这里我们就需要考虑dvpp对齐,在dvpp课程里就会学到。比如:其实,我这个数据输入的是608X608,但,是经过dvpp处理后的。实际输入640X608,dvpp对齐导致产生的滤边,aipp会把相应的滤边裁去,最后,实际进入一个模型的是608X608的一个大小,然后去做推理。如果不设置或者设置为0,它是直接读取到模型里面的。所以我们就会碰到一种情况,经过了dvpp处理,并且对齐后有滤边的,放进模型去推理,导致推理出错,原因就是输入的数据大小和模型要求的数据的大小不匹配。
    crop,aipp处理图片时是否支持抠图,也就是把滤边裁剪掉。
    csc_switch:色域转换开关,静态aipp配置。它可以把yuv数据转换为模型所需的rgb/bgr的数据。
    rbuv_swap_switch:色域转换钱,R通道与B通道交换开关/U通道与V通道交换开关。
    rbuv_swap_switch:色域转换钱,R通道与B通道交换开关/U通道与V通道交换开关。再回过去看input_format,其实我们并不仅支持YUV420SP_U8/XRGB8888_U8/RGB888_U8/YUV400_U8,还可以支持BGR、NV11等等。
    在这里插入图片描述
    这些数据,通过mindstudio不需要修改的,实际修改的机率也不大。
    在使用mindstudio的时候,aipp设置会根据开关状态回去自动生成。
    还有没有提到的参数,比如说减均值、归一化的参数配置,其余的参数可以根据具体场景使用,去查看《atlas200dk的模型转换指导》文档。
    atlas200DK还提供了更快捷的模型转换工具,那就是我们的mindstudio,下一章节,我们就去看看模型在mindstudio上时如何转换的。
    6. Mind Studio模型转换实际操作
    1)首先打开谷歌,登入mindstudio
    在这里插入图片描述
    然后去看模型转换的入口(tools–>Convert Model)
    在这里插入图片描述
    2)file–new–new project创建一个工程,创建界面如下:
    在这里插入图片描述
    在界面左边,双击resnet_50.mind,打开工程看一下,中间其实就是拖拽的界面,右边也是控件。如下图所示:
    在这里插入图片描述
    下图就是模型转换的入口,如下图所示,此时就不再是灰的了,点击进入就可以。
    在这里插入图片描述
    其实在我们工程也是可以进入模型转换的入口的,如下图所示:
    在这里插入图片描述
    在界面的右边,也就是控件部分model–>my model[+],也是可以进入模型转换的入口的,如下图所示:
    在这里插入图片描述
    进入模型转换界面之后,
    在这里插入图片描述
    offlinemodel,其实就是说,通过命令行方式,或者其他地方转过的模型,可以加载到当前的mindstudio中来,
    在这里插入图片描述
    量化模型,是需要输入图片校准级的,放在image_file。最后会生成一个量化模型。
    Optional Optional是一个比较通用的。
    在这里插入图片描述
    在这里插入图片描述
    operator plugin path,是自定义算子的一个插件。
    很多图片的预处理,都是可以放到aicore去做。
    input preprocessmodel是aipp的一个功能,可以不用,如果想要模型是fp32输入,那么就直接关掉。也是ok的,也是可以转的。但,如果我们能用这些aipp,我们还是尽可能去用。因为像aipp里面,你把它生了之后,我们很多一些图片数据的预处理。都可以放到aicore的去做,这样就可以大大加大我们的效率,就是在做推理的时候,那我们推理的性能肯定会比我们fp32速度快很多。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    实际输入图片大小和模型所需模型大小不一样,原因在于受dvpp影响,dvpp的yuv数据输出做了padding,也就是会把我们的数据做对齐,这是自动的,我们不需要管。在运行的时候,aipp也会相应的把多出来的滤边裁剪掉。所以对我们是相对无感的。
    model image format,作用就是上面(input image format)输入图片yuv420转换到BGR。如下图:
    在这里插入图片描述
    crop start loc:抠图
    mean less:减均值
    multipulying factor是做归一化的
    encryption是加密功能,也很少去用。
    在这里插入图片描述
    生成之后界面,如下图所示:
    在这里插入图片描述
    点击close,出现如下界面,此时转换好的模型就放到了右边,mymodel里面了,此时左边也多出一个convertmodel.log
    在这里插入图片描述
    双击convertmodel.log打开看看,在中间部分可以看到,它给我们生成了一个aipp的配置说明以及模型转换的命令,其实它会做每个算子的遍历和处理,也可以看到一些报错。
    在这里插入图片描述
    以上是mindstudio转换,下面是在命令行的模型
    先找到mindstudio中omg的工具,这个工具在~/tools/che/ddk/bin.x86_64-linux-gcc5.4
    在这里插入图片描述

    在这里插入图片描述
    由于每次使用都需要指定路径,这样做比较费事,可以做一个软链接。这样在任何终端都可以使用,就不需要指定路径了。
    在终端输入命令:ln -s omg /usr/bin/omg
    在这里插入图片描述
    在这里插入图片描述
    输出模型为fp32的命令:
    omg --model=resnet50.prototxt --weigth=resnet50.caffemodel --framwork=0 --output=resnet_noaipp
    在这里插入图片描述
    下图为fp32的输出模型:
    在这里插入图片描述
    下图带aipp的模型,也就是int8的模型。命令方式,如下图:
    omg --model=resnet50.prototxt --weigth=resnet50.caffemodel --framwork=0 --insert_op_conf=aipp.cfg --output=resnet_aipp
    在这里插入图片描述

    展开全文
  • 模型转换是MDA的关键技术, 也是 MDA 的研究热点。目前, 不同的MDA开发平台都有一套相对独立的开发技术和转换框架, 这使平台之间缺乏兼容性, 模型转换代码重用困难。究其原因是缺少一种与具体转换语言相对应, 且与...
  • onnx 模型转换及推理

    千次阅读 2020-09-24 14:01:15
    最近在部署模型在安卓端时发现ncnn模型不及原来的pytorch精度高,误差挺大的,分类误差超过了0.1,怀疑是模型转换,这里就验证一下是不是pytorch -> onnx 模型中产生的误差。 1.模型转换 先来看一下pyotrch ...

    最近在部署模型在安卓端时发现ncnn模型不及原来的pytorch精度高,误差挺大的,分类误差超过了0.1,怀疑是模型转换造成的精度损失,这里就验证一下是不是pytorch -> onnx 模型中产生的误差。

    1.模型转换

    先来看一下pyotrch 到 onnx 模型转换,这个网上已经很多资料了,这里再贴一下代码:

    import torch
    
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
    def model_converter():
        model = torch.load('test.pth').to(device)  # 这里保存的是完整模型
        model.eval()
    
        dummy_input = torch.randn(1, 3, 96, 96, device=device)
        input_names = ['data']
        output_names = ['fc']
        torch.onnx.export(model, dummy_input, 'test.onnx', 
                          export_params=True, 
                          verbose=True, 
                          input_names=input_names, 
                          output_names=output_names)

    会输出test.onnx模型。

     

    2.onnx 模型 onnx_runtime 推理

    import cv2
    import numpy as np
    import onnxruntime as rt
    
    def image_process(image_path):
        mean = np.array([[[0.485, 0.456, 0.406]]])      # 训练的时候用来mean和std
        std = np.array([[[0.229, 0.224, 0.225]]])
    
        img = cv2.imread(image_path)
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img = cv2.resize(img, (96, 96))                 # (96, 96, 3)
    
        image = img.astype(np.float32)/255.0
        image = (image - mean)/ std
    
        image = image.transpose((2, 0, 1))              # (3, 96, 96)
        image = image[np.newaxis,:,:,:]                 # (1, 3, 96, 96)
    
        image = np.array(image, dtype=np.float32)
        
        return image
    
    def onnx_runtime():
        imgdata = image_process('test.jpg')
        
        sess = rt.InferenceSession('test.onnx')
        input_name = sess.get_inputs()[0].name  
        output_name = sess.get_outputs()[0].name
    
        pred_onnx = sess.run([output_name], {input_name: imgdata})
    
        print("outputs:")
        print(np.array(pred_onnx))
    
    onnx_runtime()
    

    onnx模型预测结果:

    [1.7607212e-04 3.5554171e-05 2.4718046e-04 9.9977958e-01 1.0728532e-01
       3.8951635e-05 4.4435263e-05]

    pytorch模型预测结果:

    [1.7604830e-04 3.5546487e-05 2.4715674e-04 9.9977964e-01 1.0728550e-01
      3.8929291e-05 4.4419667e-05]

    可以看到onnx输出的分类概率和pytorch模型预测的概率几乎完全一样,可见一开始我遇到问题不是pytorch->onnx 模型转换造成的,可能是在移动端图片预处理没弄好造成的。

     

    展开全文
  • MMdnn:微软模型转换工具

    千次阅读 2019-06-03 17:13:25
    简介 深度学习火了,一同热的还有深度学习框架。当然经过了几年的淘汰(比如theano),目前最火的大概有Tensorflow、PyTorch以及Caffe了。他们各有所长,开发时...MMdnn就是这样的一个模型转换工具,而且是微软出品...

    简介

    深度学习火了,一同热的还有深度学习框架。当然经过了几年的淘汰(比如theano),目前最火的大概有Tensorflow、PyTorch以及Caffe了。他们各有所长,开发时可能会选定一个单独的平台,但是在应用时就需要考虑其他的因素。重新在其他框架上改代码就变得比较麻烦,如果能把模型直接转换好,更重要的是不同平台效果相同,那就会节省很多时间。MMdnn就是这样的一个模型转换工具,而且是微软出品,质量有保障。

    下图是它转换的过程,左边是输入的模型框架,会被统一转换成IR文件,然后再输出成目标框架模型。
    supported


    安装

    pip install mmdnn
    

    安装实际上很简单,但有一点注意的是它所支持的各平台版本,在提供的环境文件中(MMdnn/requirements/linux-py3.txt):

    six==1.10.0
    numpy==1.15.4
    protobuf==3.6.1
    pillow == 5.2.0
    setuptools==39.1.0
    tensorflow==1.13.1
    keras==2.2.4
    coremltools==2.1.0
    mxnet==1.2.0
    cntk==2.6
    http://download.pytorch.org/whl/cpu/torch-0.4.0-cp35-cp35m-linux_x86_64.whl
    https://raw.githubusercontent.com/PaulaQin/pycaffe_packages/master/caffe-1.0-py3-none-any.whl
    torchvision==0.2.1
    onnx==1.4.1
    onnx-tf==1.2.1
    

    可以看到,很多都不是最新框架的版本,所以对于很新的模型可能还会有一些问题。


    使用

    我的目标是将PyTorch模型转换为Caffe和Tensorflow模型。首先注意的一点是原始模型是用torch.save(model, filename)直接保存的,而不是只保存了'state_dict'。否则可能会出现:"AttributeError: 'collections.OrderedDict' object has no attribute 'state_dict'"这样的错误。

    Caffe

    我们使用官方提供的resnet18模型,通过mmdownload可以直接下载:

    mmdownload -f pytorch -n resnet101 -o ./
    

    然后进行转换:

    mmconvert -sf pytorch -iw imagenet_resnet18.pth -df caffe -om caffe_resnet18_official --inputShape 3,224,224
    

    这里注意的是要输入--inputShape
    然后会输出caffe_resnet18_official.caffemodel参数文件和caffe_resnet18_official.prototxt模型文件。如果直接使用Caffe推荐的LMDB格式作为输入运行,就会得到很惨的结果(大概是0%)。这是转换出问题了吗?如果读取模型文件,会发现对应层的参数并没有什么问题。困扰了两天左右,终于发现了原因:想要得到相同的结果,要有和原模型一样的输入。
    这是什么意思呢?模型转换只能保证运算参数相同,但测试时的数据输入与原模型训练时所经过的预处理函数不同,就会出现输入不一致的情况,这时输出肯定也不一致了。
    PyTorch官方训练代码中给出了预处理过程:

    normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                         std=[0.229, 0.224, 0.225])
    
    
    data_loader = torch.utils.data.DataLoader(
            datasets.ImageFolder(args.data, transforms.Compose([
                transforms.Resize(256),
                transforms.CenterCrop(224),
                transforms.ToTensor(),
                normalize,
            ])),
            batch_size=args.batch_size, shuffle=False,
            num_workers=2, pin_memory=True)
    

    因此输入时也要按照这样的形式。由于命令行接口难以加入预处理函数,因此需要python实现:

    model_converted = caffe.Net(args.ModelPath, args.WeightPath, caffe.TEST)
    for i, (data, target) in enumerate(data_loader):
        input_data = data.numpy()
        target = target.numpy()
        model_converted.blobs[model_converted.inputs[0]].data[...] = input_data
        predict = model_converted.forward()[model_converted.outputs[-1]]
        converted_predict = np.squeeze(predict)
        ...
    

    这是加入到caffe的预处理部分。再次运行,准确率和原来是一致的。


    Tensorflow

    mmconvert -sf pytorch -iw imagenet_resnet18.pth -df tensorflow -om tf_resnet18_official --inputShape 3,224,224
    

    转换命令基本上没有区别,运行后输出一个目录。然后就是怎么用的问题了,官网上给出的是:

    export_dir = "./tf_resnet152"
    with tf.Session(graph=tf.Graph()) as sess:
        tf.saved_model.loader.load(sess, [tf.saved_model.tag_constants.TRAINING], export_dir)
    
        x = sess.graph.get_tensor_by_name('input:0')
        y = sess.graph.get_tensor_by_name('xxxxxx:0')
        ......
        _y = sess.run(y, feed_dict={x: _x})
    

    有两点需要注意:

    1. tf.saved_model.tag_constants这一项,是与--dump_tag {SERVING,TRAINING}所对应的;
    2. 模型的输出是什么?这个东西不去看Graph是不清楚的,但这样就会需要读出来模型,再通过summary保存图,最后用tensorboard显示出来。一般来说,最后一层是全连接,如resnet18,输出就是dense/BiasAdd:0。还有一个方法可以手动改名,但就不能一步转换了,只能改IR模型文件最后一层的name(默认是空)。
      同样给出代码:
    load = tf.saved_model.loader.load(sess, [tf.saved_model.tag_constants.SERVING], args.model)
    input_tf = sess.graph.get_tensor_by_name('input:0')
    model_tf = sess.graph.get_tensor_by_name(args.tf_output_node)
    init = tf.global_variables_initializer()
    sess.run(init)
    
    for i, (data, target) in enumerate(val_loader):
        input_data = data.numpy()
        input_data = np.transpose(input_data, (0, 2, 3, 1))
        target = target.numpy()
        predict = sess.run(model_tf, feed_dict = {input_tf : input_data})
        converted_predict = np.squeeze(predict)
        ...
    

    这和上面caffe还有一点不同,就是多了一次np.transpose维度变换,是一个小坑。
    这样一来,tensorflow也成功转换啦~


    总结

    上面的坑都是自己踩的,网上似乎没有找到类似的教程,当时真的有点无语。。记录一下,希望能帮到别人吧。

    展开全文
  • 目的:将paddlepaddleocr的字符识别模型转换为pytorch的模型 过程:mobilenetv3_small的小模型在转换过程中成功转换了backbone的参数,但是head(两个双向LSTM)转换失败,因为类别数不同,而LSTM中涉及到两个fc层...
  • PyTorch到Tensorflow的模型转换

    千次阅读 2020-10-30 17:29:43
    文章目录1 结果相同,使用ONNX的不同框架2 PyTorch模型转换pipeline3 转移模型结果 在本文中,我们将学习如何将PyTorch模型转换为TensorFlow。 如果您是深度学习的新手,那么使用哪种框架可能会让您不知所措。我们...
  • pytorch模型转换

    千次阅读 2019-10-24 18:28:56
    240, 320) example1 = torch.rand(1, 1, 30, 40) traced_script_module = torch.jit.trace(model, (example, example1)) traced_script_module.save("model.pt") 保存网络模型参数方法1: save_net=net if hasattr...
  • matlab颜色模型转换

    千次阅读 2020-03-20 16:34:31
    颜色模型转换 将RGB图像转换成HSV图像 % rgb2hsv() RGB=imread('E:\a_matlab_file\picture\sky.jpeg'); HSV=rgb2hsv(RGB); subplot(1,2,1); imshow(RGB); title('原始图像'); subplot(1,2,2); imshow(HSV); title...
  • 将powerDesigner的概念模型转换成物理模型,生成sql文件导入数据库.
  • ATL模型转换技术详解

    千次阅读 2016-07-20 09:10:57
    ATL是ATLAS Transformation Language的简称,它是ATLAS研究组开发出来的一种符合OMG的一个QVT提案的模型转换语言。本文根据ATL的官方资料及个人使用经验理解并整理,详细讲解ATL语言的语法、特性及若干使用建议,为...
  • RGB HSV 颜色模型转换matlab实现
  • 将PyTorch模型转换为 PaddlePaddle模型 将PyTorch模型转换为PaddlePaddle模型需要先把PyTorch转换为onnx模型,然后转换为PaddlePaddle模型。 1. 安装依赖库: 在实践下述代码前,你需要确保本地环境已安装以下依赖库...
  • 一文掌握Pytorch-onnx-tensorrt模型转换

    千次阅读 2021-03-07 10:42:28
    一文掌握Pytorch-onnx-tensorrt模型转换pytorch转onnx pytorch转onnx 对于实际部署的需求,很多时候pytorch是不满足的,所以需要转成其他模型格式来加快推理。常用的就是onnx,onnx天然支持很多框架模型的转换, 如...
  • 为实现模型的自动转换,通过定义一个清晰的基于规则的模型转换框架,提出了一种基于有限状态机的模型转换方法,用有限状态机技术解决转换规则的实现问题,并定义了适合规则实现机制的形式表示法,然后结合UML模型到...
  • PyTorch模型转换为ONNX格式模型

    千次阅读 2020-10-03 21:00:19
    测试PyTorch版本:1.2.0 ...dummy_input = torch.randn(1, 3, 224, 224) # 模型输入维度为(1, 3, 224, 224) input_names = ["input"] output_names = ["output"] torch.onnx.export(model, dummy_input, "m
  • tensorflow模型转换成tensorflow lite模型

    千次阅读 2018-06-14 23:23:33
    1.把graph和网络模型打包在一个文件中 bazel build tensorflow/python/tools:freeze_graph && \ bazel-bin/tensorflow/python/tools/freeze_graph \ --input_graph=eval_graph_def.pb \ --...
  • 写在最前 文中的ER图均由PowerDesigner创建。 PowerDesigner的使用方法可以参考MySQL系列(九...关系模型: 例2 ER图: 关系模型: 例3 ER图: 关系模型: 例4 ER图: 关系模型: 例5 ER图: 关系模型: ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 714,457
精华内容 285,782
关键字:

模型转换