GradientClipByGlobalNorm

class paddle.fluid.clip.GradientClipByGlobalNorm(clip_norm, group_name=’default_group’, need_clip=None)[源代码]

将一个 Tensor列表

GradientClipByGlobalNorm - 图1

中所有Tensor的L2范数之和，限定在 clip_norm 范围内。

  • 如果范数之和大于 clip_norm ，则所有 Tensor 会乘以一个系数进行压缩
  • 如果范数之和小于或等于 clip_norm ，则不会进行任何操作。

输入的 Tensor列表 不是从该类里传入， 而是默认会选择 Program 中全部的梯度，如果 need_clip 不为None，则可以只选择部分参数进行梯度裁剪。

该类需要在初始化 optimizer 时进行设置后才能生效，可参看 optimizer 文档(例如： SGDOptimizer )。

裁剪公式如下：

GradientClipByGlobalNorm - 图2

其中：

GradientClipByGlobalNorm - 图3

参数

  • clip_norm (float) - 所允许的范数最大值
  • group_name (str, optional) - 剪切的组名
  • need_clip (function, optional) - 类型: 函数。用于指定需要梯度裁剪的参数，该函数接收一个 Parameter ，返回一个 bool (True表示需要裁剪，False不需要裁剪)。默认为None，此时会裁剪网络中全部参数。

代码示例 1：静态图

  1. import paddle
  2. import paddle.fluid as fluid
  3. import numpy as np
  5. main_prog = fluid.Program()
  6. startup_prog = fluid.Program()
  7. with fluid.program_guard(
  8.         main_program=main_prog, startup_program=startup_prog):
  9.     image = fluid.data(
  10.         name='x', shape=[-1, 2], dtype='float32')
  11.     predict = fluid.layers.fc(input=image, size=3, act='relu') #Trainable parameters: fc_0.w.0, fc_0.b.0
  12.     loss = fluid.layers.mean(predict)
  14.     # 裁剪网络中全部参数：
  15.     clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0)
  17.     # 仅裁剪参数fc_0.w_0时：
  18.     # 为need_clip参数传入一个函数fileter_func，fileter_func接收参数的类型为Parameter，返回类型为bool
  19.     # def fileter_func(Parameter):
  20.     # # 可以较为方便的通过Parameter.name判断（name可以在fluid.ParamAttr中设置，默认为fc_0.w_0、fc_0.b_0）
  21.     #   return Parameter.name=="fc_0.w_0"
  22.     # clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func)
  24.     sgd_optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.1)
  25.     sgd_optimizer.minimize(loss, grad_clip=clip)
  27. place = fluid.CPUPlace()
  28. exe = fluid.Executor(place)
  29. x = np.random.uniform(-100, 100, (10, 2)).astype('float32')
  30. exe.run(startup_prog)
  31. out = exe.run(main_prog, feed={'x': x}, fetch_list=loss)

代码示例 2：动态图

  1. import paddle
  2. import paddle.fluid as fluid
  4. with fluid.dygraph.guard():
  5.     linear = fluid.dygraph.Linear(10, 10)  #可训练参数: linear_0.w.0, linear_0.b.0
  6.     inputs = fluid.layers.uniform_random([32, 10]).astype('float32')
  7.     out = linear(fluid.dygraph.to_variable(inputs))
  8.     loss = fluid.layers.reduce_mean(out)
  9.     loss.backward()
  11.     # 裁剪网络中全部参数：
  12.     clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0)
  14.     # 仅裁剪参数linear_0.w_0时：
  15.     # 为need_clip参数传入一个函数fileter_func，fileter_func接收参数的类型为ParamBase，返回类型为bool
  16.     # def fileter_func(ParamBase):
  17.     # # 可以通过ParamBase.name判断（name可以在fluid.ParamAttr中设置，默认为linear_0.w_0、linear_0.b_0）
  18.     #   return ParamBase.name == "linear_0.w_0"
  19.     # # 注：linear.weight、linear.bias能分别返回dygraph.Linear层的权重与偏差，也可以此来判断
  20.     #   return ParamBase.name == linear.weight.name
  21.     # clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func)
  23.     sgd_optimizer = fluid.optimizer.SGD(
  24.     learning_rate=0.1, parameter_list=linear.parameters())
  25.     sgd_optimizer.minimize(loss, grad_clip=clip)