GradientClipByValue

class paddle.fluid.clip.GradientClipByValue(max, min=None, need_clip=None)[源代码]

将输入的多维Tensor

GradientClipByValue - 图1

的值限制在 [min, max] 范围。

输入的 Tensor 不是从该类里传入， 而是默认会选择 Program 中全部的梯度，如果 need_clip 不为None，则可以只选择部分参数进行梯度裁剪。

该类需要在初始化 optimizer 时进行设置后才能生效，可参看 optimizer 文档(例如： SGDOptimizer )。

给定一个 Tensor t ，该操作将它的值压缩到 min 和 max 之间

  • 任何小于 min 的值都被设置为 min
  • 任何大于 max 的值都被设置为 max

参数

  • max (foat) - 要修剪的最大值。
  • min (float，optional) - 要修剪的最小值。如果用户没有设置，将被自动设置为 -max （此时 max 必须大于0）。
  • need_clip (function, optional) - 类型: 函数。用于指定需要梯度裁剪的参数，该函数接收一个 Parameter ，返回一个 bool (True表示需要裁剪，False不需要裁剪)。默认为None，此时会裁剪网络中全部参数。

代码示例 1：静态图

  1. import paddle
  2. import paddle.fluid as fluid
  3. import numpy as np
  5. main_prog = fluid.Program()
  6. startup_prog = fluid.Program()
  7. with fluid.program_guard(
  8.         main_program=main_prog, startup_program=startup_prog):
  9.     image = fluid.data(
  10.         name='x', shape=[-1, 2], dtype='float32')
  11.     predict = fluid.layers.fc(input=image, size=3, act='relu') #可训练参数: fc_0.w.0, fc_0.b.0
  12.     loss = fluid.layers.mean(predict)
  14.     # 裁剪网络中全部参数：
  15.     clip = fluid.clip.GradientClipByValue(min=-1, max=1)
  17.     # 仅裁剪参数fc_0.w_0时：
  18.     # 为need_clip参数传入一个函数fileter_func，fileter_func接收参数的类型为Parameter，返回类型为bool
  19.     # def fileter_func(Parameter):
  20.     # # 可以较为方便的通过Parameter.name判断（name可以在fluid.ParamAttr中设置，默认为fc_0.w_0、fc_0.b_0）
  21.     #   return Parameter.name=="fc_0.w_0"
  22.     # clip = fluid.clip.GradientClipByValue(min=-1, max=1, need_clip=fileter_func)
  24.     sgd_optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.1, grad_clip=clip)
  25.     sgd_optimizer.minimize(loss)
  27. place = fluid.CPUPlace()
  28. exe = fluid.Executor(place)
  29. x = np.random.uniform(-100, 100, (10, 2)).astype('float32')
  30. exe.run(startup_prog)
  31. out = exe.run(main_prog, feed={'x': x}, fetch_list=loss)

代码示例 2：动态图

  1. import paddle
  2. import paddle.fluid as fluid
  4. with fluid.dygraph.guard():
  5.     linear = fluid.dygraph.Linear(10, 10)  #可训练参数: linear_0.w.0, linear_0.b.0
  6.     inputs = fluid.layers.uniform_random([32, 10]).astype('float32')
  7.     out = linear(fluid.dygraph.to_variable(inputs))
  8.     loss = fluid.layers.reduce_mean(out)
  9.     loss.backward()
  11.     # 裁剪网络中全部参数：
  12.     clip = fluid.clip.GradientClipByValue(min=-1, max=1)
  14.     # 仅裁剪参数linear_0.w_0时：
  15.     # 为need_clip参数传入一个函数fileter_func，fileter_func接收参数的类型为ParamBase，返回类型为bool
  16.     # def fileter_func(ParamBase):
  17.     # # 可以通过ParamBase.name判断（name可以在fluid.ParamAttr中设置，默认为linear_0.w_0、linear_0.b_0）
  18.     #   return ParamBase.name == "linear_0.w_0"
  19.     # # 注：linear.weight、linear.bias能分别返回dygraph.Linear层的权重与偏差，可以此来判断
  20.     #   return ParamBase.name == linear.weight.name
  21.     # clip = fluid.clip.GradientClipByValue(min=-1, max=1, need_clip=fileter_func)
  23.     sgd_optimizer = fluid.optimizer.SGD(
  24.         learning_rate=0.1, parameter_list=linear.parameters(), grad_clip=clip)
  25.     sgd_optimizer.minimize(loss)