优化器的用法

优化器 (optimizer) 是编译 Keras 模型的所需的两个参数之一:

  1. from keras import optimizers
  2. model = Sequential()
  3. model.add(Dense(64, kernel_initializer='uniform', input_shape=(10,)))
  4. model.add(Activation('softmax'))
  5. sgd = optimizers.SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
  6. model.compile(loss='mean_squared_error', optimizer=sgd)

你可以先实例化一个优化器对象,然后将它传入 model.compile(),像上述示例中一样,或者你可以通过名称来调用优化器。在后一种情况下,将使用优化器的默认参数。

  1. # 传入优化器名称: 默认参数将被采用
  2. model.compile(loss='mean_squared_error', optimizer='sgd')

Keras 优化器的公共参数

参数 clipnormclipvalue 能在所有的优化器中使用,用于控制梯度裁剪(Gradient Clipping):

  1. from keras import optimizers
  2. # 所有参数梯度将被裁剪,让其l2范数最大为1:g * 1 / max(1, l2_norm)
  3. sgd = optimizers.SGD(lr=0.01, clipnorm=1.)
  1. from keras import optimizers
  2. # 所有参数d 梯度将被裁剪到数值范围内:
  3. # 最大值0.5
  4. # 最小值-0.5
  5. sgd = optimizers.SGD(lr=0.01, clipvalue=0.5)

[source]

SGD

  1. keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降优化器。

包含扩展功能的支持:- 动量(momentum)优化,- 学习率衰减(每次参数更新后)- Nestrov 动量 (NAG) 优化

参数

  • lr: float >= 0. 学习率。
  • momentum: float >= 0. 参数,用于加速 SGD 在相关方向上前进,并抑制震荡。
  • decay: float >= 0. 每次参数更新后学习率衰减值。
  • nesterov: boolean. 是否使用 Nesterov 动量。

[source]

RMSprop

  1. keras.optimizers.RMSprop(lr=0.001, rho=0.9, epsilon=None, decay=0.0)

RMSProp 优化器.

建议使用优化器的默认参数(除了学习率 lr,它可以被自由调节)

这个优化器通常是训练循环神经网络RNN的不错选择。

参数

  • lr: float >= 0. 学习率。
  • rho: float >= 0. RMSProp梯度平方的移动均值的衰减率.
  • epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()
  • decay: float >= 0. 每次参数更新后学习率衰减值。

参考文献

[source]

Adagrad

  1. keras.optimizers.Adagrad(lr=0.01, epsilon=None, decay=0.0)

Adagrad 优化器。

Adagrad 是一种具有特定参数学习率的优化器,它根据参数在训练期间的更新频率进行自适应调整。参数接收的更新越多,更新越小。

建议使用优化器的默认参数。

参数

  • lr: float >= 0. 学习率.
  • epsilon: float >= 0. 若为 None, 默认为 K.epsilon().
  • decay: float >= 0. 每次参数更新后学习率衰减值.

参考文献

[source]

Adadelta

  1. keras.optimizers.Adadelta(lr=1.0, rho=0.95, epsilon=None, decay=0.0)

Adadelta 优化器。

Adadelta 是 Adagrad 的一个具有更强鲁棒性的的扩展版本,它不是累积所有过去的梯度,而是根据渐变更新的移动窗口调整学习速率。 这样,即使进行了许多更新,Adadelta 仍在继续学习。 与 Adagrad 相比,在 Adadelta 的原始版本中,您无需设置初始学习率。 在此版本中,与大多数其他 Keras 优化器一样,可以设置初始学习速率和衰减因子。

建议使用优化器的默认参数。

参数

  • lr: float >= 0. 学习率,建议保留默认值。
  • rho: float >= 0. Adadelta梯度平方移动均值的衰减率。
  • epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()
  • decay: float >= 0. 每次参数更新后学习率衰减值。

参考文献

[source]

Adam

  1. keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)

Adam 优化器。

默认参数遵循原论文中提供的值。

参数

  • lr: float >= 0. 学习率。
  • beta_1: float, 0 < beta < 1. 通常接近于 1。
  • beta_2: float, 0 < beta < 1. 通常接近于 1。
  • epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()
  • decay: float >= 0. 每次参数更新后学习率衰减值。
  • amsgrad: boolean. 是否应用此算法的 AMSGrad 变种,来自论文 "On the Convergence of Adam and Beyond"。

参考文献

[source]

Adamax

  1. keras.optimizers.Adamax(lr=0.002, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0)

Adamax 优化器,来自 Adam 论文的第七小节.

它是Adam算法基于无穷范数(infinity norm)的变种。默认参数遵循论文中提供的值。

参数

  • lr: float >= 0. 学习率。
  • beta_1/beta_2: floats, 0 < beta < 1. 通常接近于 1。
  • epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()
  • decay: float >= 0. 每次参数更新后学习率衰减值。

参考文献

[source]

Nadam

  1. keras.optimizers.Nadam(lr=0.002, beta_1=0.9, beta_2=0.999, epsilon=None, schedule_decay=0.004)

Nesterov 版本 Adam 优化器。

正像 Adam 本质上是 RMSProp 与动量 momentum 的结合,Nadam 是采用 Nesterov momentum 版本的 Adam 优化器。

默认参数遵循论文中提供的值。建议使用优化器的默认参数。

参数

  • lr: float >= 0. 学习率。
  • beta_1/beta_2: floats, 0 < beta < 1. 通常接近于 1。
  • epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()

参考文献