L1Decay

paddle.regularizer. L1Decay ( coeff=0.0 ) [源代码]

L1Decay实现L1权重衰减正则化，用于模型训练，使得权重矩阵稀疏。

该类生成的实例对象，需要设置在 cn_api_paddle_ParamAttr 或者 optimizer (例如 Momentum )中，在 ParamAttr 中设置时，只对该 网络层中的可训练参数生效；在 optimizer 中设置时，会对所有的可训练参数生效；如果同时设置，在 ParamAttr 中设置的优先级会高于在 optimizer 中的设置，即，对于一个可训练的参数，如果在 ParamAttr 中定义了正则化，那么会忽略 optimizer 中的正则化；否则会使用 optimizer中的 正则化。

具体实现中，L1权重衰减正则化的损失函数计算如下：

L1Decay - 图1

参数：

  • coeff (float) – L1正则化系数，默认值为0.0。

代码示例1

  1. # Example1: set Regularizer in optimizer
  2. import paddle
  3. from paddle.regularizer import L1Decay
  4. import numpy as np
  5. linear = paddle.nn.Linear(10, 10)
  6. inp = paddle.rand(shape=[10, 10], dtype="float32")
  7. out = linear(inp)
  8. loss = paddle.mean(out)
  9. beta1 = paddle.to_tensor([0.9], dtype="float32")
  10. beta2 = paddle.to_tensor([0.99], dtype="float32")
  11. momentum = paddle.optimizer.Momentum(
  12.     learning_rate=0.1,
  13.     parameters=linear.parameters(),
  14.     weight_decay=L1Decay(0.0001))
  15. back = out.backward()
  16. momentum.step()
  17. momentum.clear_grad()

代码示例2

  1. # Example2: set Regularizer in parameters
  2. # Set L1 regularization in parameters.
  3. # Global regularizer does not take effect on my_conv2d for this case.
  4. from paddle.nn import Conv2D
  5. from paddle import ParamAttr
  6. from paddle.regularizer import L2Decay
  8. my_conv2d = Conv2D(
  9.                 in_channels=10,
  10.                 out_channels=10,
  11.                 kernel_size=1,
  12.                 stride=1,
  13.                 padding=0,
  14.                 weight_attr=ParamAttr(regularizer=L2Decay(coeff=0.01)),
  15.                 bias_attr=False)