分布式训练快速开始

使用Fleet API进行分布式训练

从Paddle Fluid Release 1.5.1 开始，官方推荐使用Fleet API进行分布式训练，关于Fleet API的介绍可以参考 Fleet Design Doc

准备条件

  • 成功安装Paddle Fluid，如果尚未安装，请参考 快速开始
  • 学会最基本的单机训练方法，请参考 单机训练 中描述的单卡训练，进行学习

点击率预估任务

本文使用一个简单的示例，点击率预估任务，来说明如何使用Fleet API进行分布式训练的配置方法，并利用单机环境模拟分布式环境给出运行示例。示例的源码来自 CTR with Fleet

为了方便学习，这里给出的示例是单机与多机混合的代码，用户可以通过不同的启动命令进行单机或多机任务的启动。获取数据的部分，以及对数据预处理的逻辑可以参考 CTR with Fleet 的源码和说明，这里不做过多描述。

  1. from __future__ import print_function
  2. from args import parse_args
  3. import os
  4. import paddle.fluid as fluid
  5. import sys
  6. from network_conf import ctr_dnn_model_dataset
  7. import paddle.fluid.incubate.fleet.base.role_maker as role_maker
  9. from paddle.fluid.incubate.fleet.parameter_server.distribute_transpiler import fleet
  10. from paddle.fluid.transpiler.distribute_transpiler import DistributeTranspilerConfig
  12. dense_feature_dim = 13
  13. sparse_feature_dim = 10000001
  14. batch_size = 100
  15. thread_num = 10
  16. embedding_size = 10
  17. args = parse_args()
  19. def main_function(is_local):
  20.   # common code for local training and distributed training
  21.   dense_input = fluid.layers.data(
  22.     name="dense_input", shape=[dense_feature_dim], dtype='float32')
  24.   sparse_input_ids = [
  25.         fluid.layers.data(name="C" + str(i), shape=[1], lod_level=1,
  26.                           dtype="int64") for i in range(1, 27)]
  28.     label = fluid.layers.data(name="label", shape=[1], dtype="int64")
  29.     dataset = fluid.DatasetFactory().create_dataset()
  30.     dataset.set_use_var([dense_input] + sparse_input_ids + [label])
  31.     pipe_command = "python criteo_reader.py %d" % sparse_feature_dim
  32.     dataset.set_pipe_command(pipe_command)
  33.     dataset.set_batch_size(batch_size)
  34.     dataset.set_thread(thread_num)
  36.     whole_filelist = ["raw_data/part-%d" % x
  37.                        for x in range(len(os.listdir("raw_data")))]
  39.     dataset.set_filelist(whole_filelist)
  40.     loss, auc_var, batch_auc_var = ctr_dnn_model_dataset(
  41.         dense_input, sparse_input_ids, label, embedding_size,
  42.         sparse_feature_dim)
  44.     exe = fluid.Executor(fluid.CPUPlace())
  45.     def train_loop(epoch=20):
  46.         for i in range(epoch):
  47.             exe.train_from_dataset(program=fluid.default_main_program(),
  48.                                    dataset=dataset,
  49.                                    fetch_list=[auc_var],
  50.                                    fetch_info=["auc"],
  51.                                    debug=False)
  52.     # local training
  53.     def local_train():
  54.         optimizer = fluid.optimizer.SGD(learning_rate=1e-4)
  55.         optimizer.minimize(loss)
  56.         exe.run(fluid.default_startup_program())
  57.         train_loop()
  59.   # distributed training
  60.     def dist_train():
  61.         role = role_maker.PaddleCloudRoleMaker()
  62.         fleet.init(role)
  63.         strategy = DistributeTranspilerConfig()
  64.         strategy.sync_mode = False
  65.         optimizer = fluid.optimizer.SGD(learning_rate=1e-4)
  66.         optimizer = fleet.distributed_optimizer(optimizer, strategy)
  67.         optimizer.minimize(loss)
  69.         if fleet.is_server():
  70.             fleet.init_server()
  71.             fleet.run_server()
  72.         elif fleet.is_worker():
  73.             fleet.init_worker()
  74.             exe.run(fluid.default_startup_program())
  75.             train_loop()
  76.     if is_local:
  77.         local_train()
  78.     else:
  79.         dist_train()
  81. if __name__ == '__main__':
  82.     main_function(args.is_local)
  • 说明：示例中使用的IO方法是dataset，想了解具体的文档和用法请参考 Dataset API 。示例中使用的 train_from_dataset 接口，想了解具体的文档和使用方法请参考 Executor API 。示例中的 from paddle.fluid.incubate.fleet.parameter_server.distribute_transpiler import fleet 表示引入参数服务器架构进行分布式训练，如果想更进一步了解Fleet API的更多选项和示例，请参考 Fleet API

单机训练启动命令

  1. python train.py --is_local 1

单机模拟分布式训练的启动命令

在单机模拟多机训练的启动命令，这里我们用到了paddle内置的一个启动器launch_ps，用户可以指定worker和server的数量进行参数服务器任务的启动

  1. python -m paddle.distributed.launch_ps --worker_num 2 --server_num 2 train.py

任务运行的日志在工作目录的logs目录下可以查看，当您能够使用单机模拟分布式训练，可以进行真正的多机分布式训练。我们建议用户直接参考 百度云运行分布式任务的示例