-
模型压缩
2021-02-13 06:12:27模型压缩 PaddleSlim是一个模型压缩工具库,包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略。 对于业务用户,PaddleSlim提供完整的模型压缩解决方案,可用于图像分类、检测、分割等...模型压缩
PaddleSlim是一个模型压缩工具库,包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略。
对于业务用户,PaddleSlim提供完整的模型压缩解决方案,可用于图像分类、检测、分割等各种类型的视觉场景。 同时也在持续探索NLP领域模型的压缩方案。另外,PaddleSlim提供且在不断完善各种压缩策略在经典开源任务的benchmark, 以便业务用户参考。
对于模型压缩算法研究者或开发者,PaddleSlim提供各种压缩策略的底层辅助接口,方便用户复现、调研和使用最新论文方法。 PaddleSlim会从底层能力、技术咨询合作和业务场景等角度支持开发者进行模型压缩策略相关的创新工作。
功能
• 模型剪裁
o 卷积通道均匀剪裁
o 基于敏感度的卷积通道剪裁
o 基于进化算法的自动剪裁
• 定点量化
o 在线量化训练(training aware)
o 离线量化(post training)
• 知识蒸馏
o 支持单进程知识蒸馏
o 支持多进程分布式知识蒸馏
• 神经网络结构自动搜索(NAS)
o 支持基于进化算法的轻量神经网络结构自动搜索
o 支持One-Shot网络结构自动搜索
o 支持 FLOPS / 硬件延时约束
o 支持多平台模型延时评估
o 支持用户自定义搜索算法和搜索空间
安装
依赖:
Paddle >= 1.7.0
pip install paddleslim -i https://pypi.org/simple
使用
• 快速开始:通过简单示例介绍如何快速使用PaddleSlim。
• 进阶教程:PaddleSlim高阶教程。
• 模型库:各个压缩策略在图像分类、目标检测和图像语义分割模型上的实验结论,包括模型精度、预测速度和可供下载的预训练模型。
• API文档
• Paddle检测库:介绍如何在检测库中使用PaddleSlim。
• Paddle分割库:介绍如何在分割库中使用PaddleSlim。
• PaddleLite:介绍如何使用预测库PaddleLite部署PaddleSlim产出的模型。
部分压缩策略效果
分类模型
数据: ImageNet2012; 模型: MobileNetV1;
数据:Pascal VOC;模型:MobileNet-V1-YOLOv3
数据:COCO;模型:MobileNet-V1-YOLOv3
搜索
数据:ImageNet2012; 模型:MobileNetV2
-
keras模型压缩
2020-08-17 15:23:34模型压缩运行 cityscapes
python3 cityscapes.py --command=train --dataset=../../datasets/cityscapes/ --weights=coco
评估 cityscapes(需要evaluation,原始Coco.py里有,但ballonn没有)
-
模型压缩系列文章
2021-04-07 11:43:53 -
模型压缩SSL
2018-09-27 16:15:43模型压缩SSL方法,大家看看是否有用,这个领域还有很多其它方法 -
模型压缩究竟在做什么?我们真的需要模型压缩么?.zip
2020-01-17 02:11:01在这篇文章中,我们将探索从零开始训练小模型所涉及的障碍。我们将讨论为什么模型压缩有效,以及两种提高内存效率的训练方法:超参数化界限和一种能够减少或消除对事后模型压缩的需求的优化算法。 -
网络模型压缩
2020-08-22 17:42:37 -
模型转换、模型压缩、模型加速工具汇总
2019-08-18 11:20:06目录一、场景需求解读二、模型转化工具汇总1、模型转换工具的作用2、模型转换工具简介三、模型压缩和加速工具汇总1、模型压缩加速工具的作用2、模型压缩加速工具简介参考资料注意事项 一、场景需求解读 在现实... -
模型压缩总结
2020-05-06 17:37:10模型压缩总结 SqueezeNet:深度压缩(Deep compression) 从LeNet5到DenseNet,反应卷积网络的一个发展方向:提高精度。 SqueezeNet的工作为以下几个方面: 1、提出了新的网络架构Fire Module,通过减少参数来进行... -
【深度学习 模型压缩】10分钟了解下模型压缩的常用方法
2020-03-17 11:12:13一、什么是模型压缩? 模型压缩的目标是保证模型预测效果的前提下,尽可能地降低模型的大小 二、为什么要进行模型压缩? 1. 模型压缩后,模型很小,进行推断的运算量小,利于在移动端部署。 2. 诸如Bert等深度学习... -
tensorflow 模型压缩
2019-09-27 11:28:47模型压缩 为了将tensorflow深度学习模型部署到移动/嵌入式设备上,我们应该致力于减少模型的内存占用,缩短推断时间,减少耗电。有几种方法可以实现这些要求,如量化、权重剪枝或将大模型提炼成小模型。 在这个... -
浅谈模型压缩
2020-03-13 13:16:24有一个做深度学习模型部署的同学曾经提到过他目前的方向主要是模型压缩,就是对于部署在app上的模型在不影响性能的前提下如何减小模型的体量,我也会经常用Bert等transformer架构的模型,体量过大也是缺点,所以才有... -
PaddleSlim模型压缩实践.pdf
2020-04-05 20:20:53百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解文档。 百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解文档。 百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解... -
模型压缩资料整理
2021-03-03 19:58:23模型压缩工作总结 深度学习模型压缩与加速综述 剪枝: 【AI不惑境】模型剪枝技术原理及其发展现状和展望 模型剪枝之pytorch prune 模型加速与压缩 | 剪枝乱炖 蒸馏: 知识蒸馏(Knowledge Distillation) 知识蒸馏是... -
基于预测的逼真的3D模型压缩
2021-03-16 02:43:36基于预测的逼真的3D模型压缩 -
深度学习模型压缩与优化加速(Model Compression and Acceleration Overview)
2018-07-17 17:49:48深度学习(Deep Learning)因其计算复杂度或参数冗余,在一些场景和设备上限制了相应的模型部署,需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。 模型压缩算法能够有效降低参数冗余,从而减少存储占用、... -
深度学习模型压缩
2020-09-18 21:14:55最近正好在关注有关深度学习模型压缩的方法,发现目前已有越来越多关于模型压缩方法的研究,从理论研究到平台实现,取得了非常大的进展。 2015年,Han发表的Deep Compression是一篇对于模型压缩方法的 -
模型压缩常用方法
2020-09-13 11:25:28常见的模型压缩方法有以下几种: 模型蒸馏 Distillation,使用大模型的学到的知识训练小模型,从而让小模型具有大模型的泛化能力 量化 Quantization,降低大模型的精度,减小模型 剪枝 Pruning,去掉模型中作用比较... -
深度学习: 模型压缩
2018-01-31 17:03:30为此,对模型进行 时间 和 空间 上的压缩,便谓之曰“模型压缩” 。 模型压缩技术包括 前端压缩 和 后端压缩 这两部分。 对比 前端压缩 后端压缩 实现难度 较简单 较难 可逆否 可逆 不可逆 ... -
深度学习模型压缩和加速
2018-05-23 19:22:29详细介绍了目前深度学校模型压缩和加速方面的研究现状,并详细探索了深度压缩及其硬件实现 -
Unity 模型压缩
2018-01-24 17:31:02模型压缩 using UnityEngine; using UnityEditor; using System.IO; using System.Collections.Generic; //using Babybus.Framework.Serialization; using System.Text; public class MoodelCheck { [MenuItem...