预测引擎

常见问题

Q: 模型保存成功,但加载失败

  • 问题描述

VGG模型,训练时候使用fluid.io.save_inference_model保存模型,预测的时候使用fluid.io.load_inference_model加载模型文件。保存的是我自己训练的 VGG 模型。保存没问题,加载的时候报错paddle.fluid.core.EnforceNotMet: Cannot read more from file

  • 问题解答

错误提示可能的原因如下,请检查。

1、 模型文件有损坏或缺失。

2、 模型参数和模型结构不匹配。

同时多模型问题

Q: 加载两个模型失败

  • 问题描述

infer时,当先后加载检测和分类两个网络时,分类网络的参数为什么未被load进去?

  • 问题解答

尝试两个模型在不同的scope里面infer,使用with fluid.scope_guard(new_scope),另外定义模型前加上with fluid.unique_name.guard()解决。

Q: 同时使用两个模型报错

  • 问题描述

两个模型都load之后,用第一个模型的时候会报错?

  • 问题解答

由于用load_inference_model的时候会修改一些用户不可见的环境变量,所以执行后一个load_inference_model的时候会把前一个模型的环境变量覆盖,导致前一个模型不能用,或者说再用的时候就需要再加载一次。此时需要用如下代码保护一下,参考详情

  1. xxx_scope = fluid.core.Scope()
  2. with fluid.scope_guard(xxx_scope):
  3. [...] = fluid.load_inference_model(...)

Q: 多线程预测失败

  • 问题描述

c++调用paddlepaddle多线程预测出core?

  • 问题解答

Paddle predict 库里没有多线程的实现,当上游服务并发时,需要用户起多个预测服务,参考示例