单机训练

准备工作

要进行PaddlePaddle Fluid单机训练,需要先 声明式编程模式(静态图)配置简单的网络 。当配置简单的网络 完毕后,可以得到两个fluid.Programstartup_programmain_program。 默认情况下,可以使用 fluid.default_startup_program()fluid.default_main_program() 获得全局的 fluid.Program

例如:

  1. import paddle.fluid as fluid
  2. image = fluid.data(name="image", shape=[None, 784], dtype='float32')
  3. label = fluid.data(name="label", shape=[None, 1], dtype='int64')
  4. hidden = fluid.layers.fc(input=image, size=100, act='relu')
  5. prediction = fluid.layers.fc(input=hidden, size=10, act='softmax')
  6. loss = fluid.layers.cross_entropy(input=prediction, label=label)
  7. loss = fluid.layers.mean(loss)
  8. sgd = fluid.optimizer.SGD(learning_rate=0.001)
  9. sgd.minimize(loss)
  10. # Here the fluid.default_startup_program() and fluid.default_main_program()
  11. # has been constructed.

在上述模型配置执行完毕后, fluid.default_startup_program()fluid.default_main_program() 配置完毕了。

初始化参数

参数随机初始化

用户配置完模型后,参数初始化操作会被写入到fluid.default_startup_program() 中。使用 fluid.Executor() 运行 这一程序,初始化之后的参数默认被放在全局scope中,即 fluid.global_scope() 。例如:

  1. exe = fluid.Executor(fluid.CUDAPlace(0))
  2. exe.run(program=fluid.default_startup_program())

载入预定义参数

在神经网络训练过程中,经常会需要载入预定义模型,进而继续进行训练。如何载入预定义参数,请参考 模型/变量的保存、载入与增量训练

单卡训练

执行单卡训练可以使用 fluid.Executor() 中的 run() 方法,运行训练fluid.Program 即可。在运行的时候,用户可以通过 run(feed=...)参数传入数据;用户可以通过 run(fetch=...) 获取输出数据。例如:

  1. import paddle.fluid as fluid
  2. import numpy
  3. train_program = fluid.Program()
  4. startup_program = fluid.Program()
  5. with fluid.program_guard(train_program, startup_program):
  6. data = fluid.data(name='X', shape=[None, 1], dtype='float32')
  7. hidden = fluid.layers.fc(input=data, size=10)
  8. loss = fluid.layers.mean(hidden)
  9. sgd = fluid.optimizer.SGD(learning_rate=0.001)
  10. sgd.minimize(loss)
  11. use_cuda = True
  12. place = fluid.CUDAPlace(0) if use_cuda else fluid.CPUPlace()
  13. exe = fluid.Executor(place)
  14. # Run the startup program once and only once.
  15. # Not need to optimize/compile the startup program.
  16. startup_program.random_seed=1
  17. exe.run(startup_program)
  18. # Run the main program directly without compile.
  19. x = numpy.random.random(size=(10, 1)).astype('float32')
  20. loss_data, = exe.run(train_program,
  21. feed={"X": x},
  22. fetch_list=[loss.name])
  23. # Or use CompiledProgram:
  24. compiled_prog = fluid.CompiledProgram(train_program)
  25. loss_data, = exe.run(compiled_prog,
  26. feed={"X": x},
  27. fetch_list=[loss.name])

多卡训练

在多卡训练中,你可以使用 fluid.CompiledProgram 来编译 fluid.Program ,然后调用 with_data_parallel 。例如:

  1. # NOTE: If you use CPU to run the program, you need
  2. # to specify the CPU_NUM, otherwise, fluid will use
  3. # all the number of the logic cores as the CPU_NUM,
  4. # in that case, the batch size of the input should be
  5. # greater than CPU_NUM, if not, the process will be
  6. # failed by an exception.
  7. if not use_cuda:
  8. os.environ['CPU_NUM'] = str(2)
  9. compiled_prog = fluid.CompiledProgram(
  10. train_program).with_data_parallel(
  11. loss_name=loss.name)
  12. loss_data, = exe.run(compiled_prog,
  13. feed={"X": x},
  14. fetch_list=[loss.name])

注释:

  1. CompiledProgram 会将传入的 fluid.Program 转为计算图,即Graph,因为 compiled_prog 与传入的 train_program 是完全不同的对象,目前还不能够对 compiled_prog 进行保存。
  2. 多卡训练也可以使用 ParallelExecutor ,但是现在推荐使用 CompiledProgram .
  3. 如果 exe 是用CUDAPlace来初始化的,模型会在GPU中运行。在显卡训练模式中,所有的显卡都将被占用。用户可以配置 `CUDA_VISIBLE_DEVICES以更改被占用的显卡。
  4. 如果 exe 是用CPUPlace来初始化的,模型会在CPU中运行。在这种情况下,多线程用于运行模型,同时线程的数目和逻辑核的数目相等。用户可以配置 CPU_NUM 以更改使用中的线程数目。

进阶使用