单机训练

准备工作

要进行PaddlePaddle Fluid单机训练,需要先 准备数据配置简单的网络 。当配置简单的网络 完毕后,可以得到两个fluid.Programstartup_programmain_program。默认情况下,可以使用 fluid.default_startup_program()fluid.default_main_program() 获得全局的 fluid.Program

例如:

  1. import paddle.fluid as fluid
  2.  
  3. image = fluid.layers.data(name="image", shape=[784])
  4. label = fluid.layers.data(name="label", shape=[1])
  5. hidden = fluid.layers.fc(input=image, size=100, act='relu')
  6. prediction = fluid.layers.fc(input=hidden, size=10, act='softmax')
  7. loss = fluid.layers.mean(
  8. fluid.layers.cross_entropy(
  9. input=prediction,
  10. label=label
  11. )
  12. )
  13.  
  14. sgd = fluid.optimizer.SGD(learning_rate=0.001)
  15. sgd.minimize(loss)
  16.  
  17. # Here the fluid.default_startup_program() and fluid.default_main_program()
  18. # has been constructed.

在上述模型配置执行完毕后, fluid.default_startup_program()fluid.default_main_program() 配置完毕了。

初始化参数

参数随机初始化

用户配置完模型后,参数初始化操作会被写入到fluid.default_startup_program() 中。使用 fluid.Executor() 运行这一程序,即可在全局 fluid.global_scope() 中随机初始化参数。例如:

  1. exe = fluid.Executor(fluid.CUDAPlace(0))
  2. exe.run(program=fluid.default_startup_program())

值得注意的是: 如果使用多GPU训练,参数需要先在GPU0上初始化,再经由fluid.ParallelExecutor 分发到多张显卡上。

载入预定义参数

在神经网络训练过程中,经常会需要载入预定义模型,进而继续进行训练。如何载入预定义参数,请参考 模型/变量的保存、载入与增量训练

单卡训练

执行单卡训练可以使用 fluid.Executor() 中的 run() 方法,运行训练fluid.Program 即可。在运行的时候,用户可以通过 run(feed=…)参数传入数据;用户可以通过 run(fetch=…) 获取持久的数据。例如:

  1. ...
  2. loss = fluid.layers.mean(...)

多卡训练

在多卡训练中,你可以使用 fluid.compiler.CompiledProgram 来编译 fluid.Program ,然后调用 with_data_parallel 。例如:

  1. exe = fluid.Executor(...)
  2.  
  3. compiled_prog = fluid.compiler.CompiledProgram(
  4. fluid.default_main_program()).with_data_parallel(
  5. loss_name=loss.name)
  6.  
  7. result = exe.run(program=compiled_prog,
  8. fetch_list=[loss.name],
  9. feed={"image": ..., "label": ...})

注释:

  • CompiledProgram 的构造函数需要经过 fluid.Program 设置后运行,这在运行时内无法被修改。
  • 如果 exe 是用CUDAPlace来初始化的,模型会在GPU中运行。在显卡训练模式中,所有的显卡都将被占用。用户可以配置 CUDA_VISIBLE_DEVICES 以更改被占用的显卡。
  • 如果 exe 是用CPUPlace来初始化的,模型会在CPU中运行。在这种情况下,多线程用于运行模型,同时线程的数目和逻辑核的数目相等。用户可以配置 CPU_NUM 以更改使用中的线程数目。

进阶使用