模型优化工具 opt

Paddle-Lite 提供了多种策略来自动优化原始的训练模型，其中包括量化、子图融合、混合调度、Kernel优选等等方法。为了使优化过程更加方便易用，我们提供了opt 工具来自动完成优化步骤，输出一个轻量的、最优的可执行模型。

具体使用方法介绍如下：

注意：v2.2.0 之前的模型转化工具名称为model_optimize_tool，从 v2.3 开始模型转化工具名称修改为 opt，从v2.6.0开始支持python调用opt转化模型（Windows/Ubuntu/Mac）

准备opt

当前获得opt工具的方法有三种：

  • 方法一: 安装opt的python版本

安装paddlelite python库，安装成功后调用opt转化模型（支持windows\Mac\Ubuntu）

  1. pip install paddlelite
  • 方法二: 下载opt可执行文件 从release界面，选择当前预测库对应版本的opt转化工具

本文提供release/v2.6.1和release/v2.2.0版本的优化工具下载

版本LinuxMacOS
release/v2.6.1optopt_mac
release/v2.2.0model_optimize_toolmodel_optimize_tool_mac
  • 方法三: 源码编译opt 源码编译 opt 可执行文件
  1. cd Paddle-Lite && ./lite/tools/build.sh build_optimize_tool

编译结果位于build.opt/lite/api/下的可执行文件opt

使用opt

当前使用opt工具转化模型的方法有以下三种：

可以通过以下命令安装paddlelite的python库(支持windows/Mac/Ubuntu)：

  1. pip install paddlelite

合并x2paddle和opt的一键脚本

背景：如果想用Paddle-Lite运行第三方来源（tensorflow、caffe、onnx）模型，一般需要经过两次转化。即使用x2paddle工具将第三方模型转化为PaddlePaddle格式，再使用opt将PaddlePaddle模型转化为Padde-Lite可支持格式。 为了简化这一过程，我们提供了：

合并x2paddle和opt的一键脚本