fluid.optimizer

SourceEnglish

Adadelta

SourceEnglish

• paddle.fluid.optimizer.Adadelta
• AdadeltaOptimizer 的别名

Adagrad

SourceEnglish

• paddle.fluid.optimizer.Adagrad
• AdagradOptimizer 的别名

AdagradOptimizer

SourceEnglish

• class paddle.fluid.optimizer.AdagradOptimizer(learning_rate, epsilon=1e-06, regularization=None, name=None, initial_accumulator_value=0.0)
• Adaptive Gradient Algorithm(Adagrad)

更新如下：

原始论文（http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf）没有epsilon属性。在我们的实现中也作了如下更新：http://cs231n.github.io/neural-networks-3/#ada 用于维持数值稳定性，避免除数为0的错误发生。

• 参数：
• • learning_rate (float|Variable)-学习率，用于更新参数。作为数据参数，可以是一个浮点类型值或者有一个浮点类型值的变量
  • epsilon (float) - 维持数值稳定性的短浮点型值
  • regularization - 规则化函数，例如fluid.regularizer.L2DecayRegularizer
  • name - 名称前缀（可选）
  • initial_accumulator_value (float) - moment累加器的初始值。代码示例：

optimizer = fluid.optimizer.Adagrad(learning_rate=0.2)
optimizer.minimize(cost)

Adam

SourceEnglish

• paddle.fluid.optimizer.Adam
• AdamOptimizer 的别名

Adamax

SourceEnglish

• paddle.fluid.optimizer.Adamax
• AdamaxOptimizer 的别名

AdamaxOptimizer

SourceEnglish

• class paddle.fluid.optimizer.AdamaxOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, regularization=None, name=None)
• 我们参考Adam论文第7节中的Adamax优化: https://arxiv.org/abs/1412.6980 ， Adamax是基于无穷大范数的Adam算法的一个变种。

Adamax 更新规则:

论文中没有 epsilon 参数。但是，为了数值稳定性， 防止除0错误， 增加了这个参数

• 参数:
• • learning_rate (float|Variable) - 用于更新参数的学习率。可以是浮点值，也可以是具有一个浮点值作为数据元素的变量。
  • beta1 (float) - 第1阶段估计的指数衰减率
  • beta2 (float) - 第2阶段估计的指数衰减率。
  • epsilon (float) -非常小的浮点值，为了数值的稳定性质
  • regularization - 正则化器，例如 fluid.regularizer.L2DecayRegularizer
  • name - 可选的名称前缀。代码示例

optimizer = fluid.optimizer.Adamax(learning_rate=0.2)
optimizer.minimize(cost)

注解

目前 AdamaxOptimizer 不支持 sparse parameter optimization.

AdamOptimizer

SourceEnglish

• class paddle.fluid.optimizer.AdamOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, regularization=None, name=None, lazy_mode=False)
• 该函数实现了自适应矩估计优化器，介绍自 Adam论文 的第二节。Adam是一阶基于梯度下降的算法，基于自适应低阶矩估计。Adam更新如下：

• 参数:
• • learning_rate (float|Variable)-学习率，用于更新参数。作为数据参数，可以是一个浮点类型值或有一个浮点类型值的变量
  • beta1 (float)-一阶矩估计的指数衰减率
  • beta2 (float)-二阶矩估计的指数衰减率
  • epsilon (float)-保持数值稳定性的短浮点类型值
  • regularization - 规则化函数，例如’‘fluid.regularizer.L2DecayRegularizer
  • name - 可选名称前缀
  • lazy_mode （bool: false） - 官方Adam算法有两个移动平均累加器（moving-average accumulators）。累加器在每一步都会更新。在密集模式和稀疏模式下，两条移动平均线的每个元素都会更新。如果参数非常大，那么更新可能很慢。 lazy mode仅更新当前具有梯度的元素，所以它会更快。但是这种模式与原始的算法有不同的描述，可能会导致不同的结果。代码示例：

optimizer = fluid.optimizer.Adam(learning_rate=0.2)
optimizer.minimize(cost)

DecayedAdagrad

SourceEnglish

• paddle.fluid.optimizer.DecayedAdagrad
• DecayedAdagradOptimizer 的别名

DecayedAdagradOptimizer

SourceEnglish

• class paddle.fluid.optimizer.DecayedAdagradOptimizer(learning_rate, decay=0.95, epsilon=1e-06, regularization=None, name=None)
• Decayed Adagrad Optimizer

原始论文

原始论文： http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf 中没有 epsilon 参数。但是，为了数值稳定性， 防止除0错误， 增加了这个参数

• 参数:
• • learning_rate (float|Variable) - 用于更新参数的学习率。可以是浮点值，也可以是具有一个浮点值作为数据元素的变量。
  • decay (float) – 衰减率
  • regularization - 一个正则化器，例如 fluid.regularizer.L2DecayRegularizer
  • epsilon (float) - 非常小的浮点值，为了数值稳定性
  • name — 可选的名称前缀。代码示例

optimizer = fluid.optimizer.DecayedAdagrad(learning_rate=0.2)
optimizer.minimize(cost)

注解

DecayedAdagradOptimizer 不支持 sparse parameter optimization

DGCMomentumOptimizer

SourceEnglish

• class paddle.fluid.optimizer.DGCMomentumOptimizer(learning_rate, momentum, rampup_begin_step, rampup_step=1, sparsity=[0.999], use_nesterov=False, local_grad_clip_norm=None, num_trainers=None, regularization=None, name=None)
• 原始论文: https://arxiv.org/abs/1712.01887

DGC通过仅发送重要梯度（稀疏更新）来减少通信带宽：仅发送大于给定阈值的梯度。

为避免丢失信息，DGC在本地累积其余梯度。最终，这些梯度会积累到足够大，从而可以传输。

因此，DGC即时发送相对较大的梯度，但最终随时间积累而发送所有梯度。

此外，为了确保不损失精度，DGC在梯度稀疏化之上采用动量修正和局部梯度修剪(clip)来维持模型性能。

DGC还使用动量因子掩藏(momentum factor masking)和预训练(warm-up)来克服由于reduced通讯而导致的数据陈旧性(staleness)问题。

这个优化器会执行如下操作：

• 通过从张量获取前TopK个导入值来压缩梯度，并将其用于allreduce以减少网络带宽。
• 调用momentum来降低cost。
• 参数:
• • learning_rate （float | Variable） - 用于更新参数的学习率。可以是浮点值或由一个浮点型数据组成的Variable。
  • momentum （float） - 动量因子。
  • rampup_begin_step （int） - 进行梯度压缩的起步点。
  • rampup_step （int） - 使用稀疏期的时间。默认值为1.例如：如果稀疏度为[0.75,0.9375,0.984375,0.996,0.999]，并且rampup_step为5，则在0步时使用0.75，在1步时使用0.9375，依此类推。当达到sparsity数组末尾时，它此后延续使用0.999。
  • sparsity （list [float]） - 从梯度张量中获取较为重要的元素，比率为（1-当前稀疏度）。
  • use_nesterov （bool） - 启用Nesterov momentum。 True意味着使用nesterov。
  • local_grad_clip_norm （float） - 如果需要，clip norm值。
  • num_trainers - 训练节点的数量。
  • regularization - 正则器，如fluid.regularizer.L2DecayRegularizer。
  • name - 可选的名称前缀。代码示例

optimizer = fluid.optimizer.DGCMomentumOptimizer(
    learning_rate=fluid.layers.piecewise_decay(
        boundaries=bd, values=lr),
    momentum=0.9,
    rampup_begin_step=1252,
    regularization=fluid.regularizer.L2Decay(1e-4))
optimizer.minimize(cost)

Ftrl

SourceEnglish

• paddle.fluid.optimizer.Ftrl
• FtrlOptimizer 的别名

FtrlOptimizer

SourceEnglish

• class paddle.fluid.optimizer.FtrlOptimizer(learning_rate, l1=0.0, l2=0.0, lr_power=-0.5, regularization=None, name=None)
• FTRL (Follow The Regularized Leader) Optimizer.

FTRL 原始论文: ( https://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf)

• 参数:
• • learning_rate (float|Variable)-全局学习率。
  • l1 (float) - L1 regularization strength.
  • l2 (float) - L2 regularization strength.
  • lr_power (float) - 学习率降低指数
  • regularization - 正则化器，例如 fluid.regularizer.L2DecayRegularizer
  • name — 可选的名称前缀
• 抛出异常：
• • ValueError - 如果 learning_rate , rho , epsilon , momentum 为 None.代码示例

optimizer = fluid.optimizer.Ftrl(0.0001)
_, params_grads = optimizer.minimize(cost)

注解

目前, FtrlOptimizer 不支持 sparse parameter optimization

LarsMomentum

SourceEnglish

• paddle.fluid.optimizer.LarsMomentum
• fluid.optimizer.LarsMomentumOptimizer 的别名

LarsMomentumOptimizer

SourceEnglish

• class paddle.fluid.optimizer.LarsMomentumOptimizer(learning_rate, momentum, lars_coeff=0.001, lars_weight_decay=0.0005, regularization=None, name=None)
• LARS支持的Momentum优化器

公式作如下更新：

• 参数：
• • learning_rate (float|Variable) - 学习率，用于参数更新。作为数据参数，可以是浮点型值或含有一个浮点型值的变量
  • momentum (float) - 动量因子
  • lars_coeff (float) - 定义LARS本地学习率的权重
  • lars_weight_decay (float) - 使用LARS进行衰减的权重衰减系数
  • regularization - 正则化函数，例如 fluid.regularizer.L2DecayRegularizer
  • name - 名称前缀，可选代码示例：

optimizer = fluid.optimizer.LarsMomentum(learning_rate=0.2, momentum=0.1, lars_weight_decay=0.001)
optimizer.minimize(cost)

ModelAverage

SourceEnglish

• class paddle.fluid.optimizer.ModelAverage(average_window_rate, min_average_window=10000, max_average_window=10000, regularization=None, name=None)
• 在滑动窗口中累积参数的平均值。平均结果将保存在临时变量中，通过调用 apply() 方法可应用于当前模型的参数变量。使用 restore() 方法恢复当前模型的参数值。

平均窗口的大小由 average_window_rate ， min_average_window ， max_average_window 以及当前更新次数决定。

• 参数:
• • average_window_rate – 窗口平均速率
  • min_average_window – 平均窗口大小的最小值
  • max_average_window – 平均窗口大小的最大值
  • regularization – 正则化器，例如 fluid.regularizer.L2DecayRegularizer
  • name – 可选的名称前缀代码示例

optimizer = fluid.optimizer.Momentum()
optimizer.minimize(cost)
model_average = fluid.optimizer.ModelAverage(0.15,
                                        min_average_window=10000,
                                        max_average_window=20000)
for pass_id in range(args.pass_num):
    for data in train_reader():
        exe.run(fluid.default_main_program()...)
 
    with model_average.apply(exe):
        for data in test_reader():
            exe.run(inference_program...)

• apply(executor, need_restore=True)

• 将平均值应用于当前模型的参数。

• restore(executor)

• 恢复当前模型的参数值

Momentum

SourceEnglish

• paddle.fluid.optimizer.Momentum
• MomentumOptimizer 的别名

MomentumOptimizer

SourceEnglish

• class paddle.fluid.optimizer.MomentumOptimizer(learning_rate, momentum, use_nesterov=False, regularization=None, name=None)
• 含有速度状态的Simple Momentum 优化器

该优化器含有牛顿动量标志，公式更新如下：

• 参数：
• • learning_rate (float|Variable) - 学习率，用于参数更新。作为数据参数，可以是浮点型值或含有一个浮点型值的变量
  • momentum (float) - 动量因子
  • use_nesterov (bool) - 赋能牛顿动量
  • regularization - 正则化函数，比如fluid.regularizer.L2DecayRegularizer
  • name - 名称前缀（可选）代码示例：

optimizer = fluid.optimizer.Momentum(learning_rate=0.2, momentum=0.1)
optimizer.minimize(cost)

RMSPropOptimizer

SourceEnglish

• class paddle.fluid.optimizer.RMSPropOptimizer(learning_rate, rho=0.95, epsilon=1e-06, momentum=0.0, centered=False, regularization=None, name=None)
• 均方根传播（RMSProp）法是一种未发表的,自适应学习率的方法。原演示幻灯片中提出了RMSProp：[http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf]中的第29张。等式如下所示：

第一个等式计算每个权重平方梯度的移动平均值，然后将梯度除以

。

如果居中为真：

其中，

是超参数，典型值为0.9,0.95等。 是动量术语。 是一个平滑项，用于避免除零，通常设置在1e-4到1e-8的范围内。

• 参数：
• • learning_rate （float） - 全局学习率。
  • rho （float） - rho是等式中的，默认设置为0.95。
  • epsilon （float） - 等式中的epsilon是平滑项，避免被零除，默认设置为1e-6。
  • momentum （float） - 方程中的β是动量项，默认设置为0.0。
  • centered （bool） - 如果为True，则通过梯度的估计方差,对梯度进行归一化；如果False，则由未centered的第二个moment归一化。将此设置为True有助于模型训练，但会消耗额外计算和内存资源。默认为False。
  • regularization - 正则器项，如 fluid.regularizer.L2DecayRegularizer 。
  • name - 可选的名称前缀。
• 抛出异常:
• • ValueError -如果 learning_rate ， rho ， epsilon ， momentum 为None。示例代码

optimizer = fluid.optimizer.RMSProp(0.0001)
_, params_grads = optimizer.minimize(cost)

SGD

SourceEnglish

• paddle.fluid.optimizer.SGD
• SGDOptimizer 的别名

SGDOptimizer

SourceEnglish

• class paddle.fluid.optimizer.SGDOptimizer(learning_rate, regularization=None, name=None)
• 随机梯度下降算法的优化器

• 参数:
• • learning_rate (float|Variable) - 用于更新参数的学习率。可以是浮点值，也可以是具有一个浮点值作为数据元素的变量。
  • regularization - 一个正则化器，例如 fluid.regularizer.L2DecayRegularizer
  • name - 可选的名称前缀。代码示例

sgd_optimizer = fluid.optimizer.SGD(learning_rate=0.2)
sgd_optimizer.minimize(cost)