模型(Model)与层(Layer)

在 TensorFlow 中,推荐使用 Keras( tf.keras )构建模型。Keras 是一个广为流行的高级神经网络 API,简单、快速而不失灵活性,现已得到 TensorFlow 的官方内置和全面支持。

Keras 有两个重要的概念: 模型(Model)层(Layer) 。层将各种计算流程和变量进行了封装(例如基本的全连接层,CNN 的卷积层、池化层等),而模型则将各种层进行组织和连接,并封装成一个整体,描述了如何将输入数据通过各种层以及运算而得到输出。在需要模型调用的时候,使用 y_pred = model(X) 的形式即可。Keras 在 tf.keras.layers 下内置了深度学习中大量常用的的预定义层,同时也允许我们自定义层。

Keras 模型以类的形式呈现,我们可以通过继承 tf.keras.Model 这个 Python 类来定义自己的模型。在继承类中,我们需要重写 init() (构造函数,初始化)和 call(input) (模型调用)两个方法,同时也可以根据需要增加自定义的方法。

  1. class MyModel(tf.keras.Model):
  2. def __init__(self):
  3. super().__init__() # Python 2 下使用 super(MyModel, self).__init__()
  4. # 此处添加初始化代码(包含 call 方法中会用到的层),例如
  5. # layer1 = tf.keras.layers.BuiltInLayer(...)
  6. # layer2 = MyCustomLayer(...)
  7.  
  8. def call(self, input):
  9. # 此处添加模型调用的代码(处理输入并返回输出),例如
  10. # x = layer1(input)
  11. # output = layer2(x)
  12. return output
  13.  
  14. # 还可以添加自定义的方法

../../_images/model.pngKeras 模型类定义示意图

继承 tf.keras.Model 后,我们同时可以使用父类的若干方法和属性,例如在实例化类 model = Model() 后,可以通过 model.variables 这一属性直接获得模型中的所有变量,免去我们一个个显式指定变量的麻烦。

上一章中简单的线性模型 y_pred = a * X + b ,我们可以通过模型类的方式编写如下:

  1. import tensorflow as tf
  2.  
  3. X = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
  4. y = tf.constant([[10.0], [20.0]])
  5.  
  6.  
  7. class Linear(tf.keras.Model):
  8. def __init__(self):
  9. super().__init__()
  10. self.dense = tf.keras.layers.Dense(
  11. units=1,
  12. activation=None,
  13. kernel_initializer=tf.zeros_initializer(),
  14. bias_initializer=tf.zeros_initializer()
  15. )
  16.  
  17. def call(self, input):
  18. output = self.dense(input)
  19. return output
  20.  
  21.  
  22. # 以下代码结构与前节类似
  23. model = Linear()
  24. optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)
  25. for i in range(100):
  26. with tf.GradientTape() as tape:
  27. y_pred = model(X) # 调用模型 y_pred = model(X) 而不是显式写出 y_pred = a * X + b
  28. loss = tf.reduce_mean(tf.square(y_pred - y))
  29. grads = tape.gradient(loss, model.variables) # 使用 model.variables 这一属性直接获得模型中的所有变量
  30. optimizer.apply_gradients(grads_and_vars=zip(grads, model.variables))
  31. print(model.variables)

这里,我们没有显式地声明 ab 两个变量并写出 y_pred = a X + b 这一线性变换,而是建立了一个继承了 tf.keras.Model 的模型类 Linear 。这个类在初始化部分实例化了一个 *全连接层tf.keras.layers.Dense ),并在 call 方法中对这个层进行调用,实现了线性变换的计算。如果需要显式地声明自己的变量并使用变量进行自定义运算,或者希望了解 Keras 层的内部原理,请参考 自定义层

Keras 的全连接层:线性变换 + 激活函数

全连接层 (Fully-connected Layer,tf.keras.layers.Dense )是 Keras 中最基础和常用的层之一,对输入矩阵 A 进行 f(AW + b) 的线性变换 + 激活函数操作。如果不指定激活函数,即是纯粹的线性变换 AW + b。具体而言,给定输入张量 input = [batch_size, input_dim] ,该层对输入张量首先进行 tf.matmul(input, kernel) + bias 的线性变换( kernelbias 是层中可训练的变量),然后对线性变换后张量的每个元素通过激活函数 activation ,从而输出形状为 [batch_size, units] 的二维张量。

../../_images/dense.png

其包含的主要参数如下:

  • units :输出张量的维度;

  • activation :激活函数,对应于 f(AW + b) 中的 f ,默认为无激活函数( a(x) = x )。常用的激活函数包括 tf.nn.relutf.nn.tanhtf.nn.sigmoid

  • use_bias :是否加入偏置向量 bias ,即 f(AW + b) 中的 b。默认为 True

  • kernel_initializerbias_initializer :权重矩阵 kernel 和偏置向量 bias 两个变量的初始化器。默认为 tf.glorot_uniform_initializer 1 。设置为 tf.zeros_initializer 表示将两个变量均初始化为全 0;

该层包含权重矩阵 kernel = [input_dim, units] 和偏置向量 bias = [units] 2 两个可训练变量,对应于 f(AW + b) 中的 Wb

这里着重从数学矩阵运算和线性变换的角度描述了全连接层。基于神经元建模的描述可参考 后文介绍

  • 1
  • Keras 中的很多层都默认使用 tf.glorot_uniform_initializer 初始化变量,关于该初始化器可参考 https://www.tensorflow.org/api_docs/python/tf/glorot_uniform_initializer

  • 2

  • 你可能会注意到, tf.matmul(input, kernel) 的结果是一个形状为 [batch_size, units] 的二维矩阵,这个二维矩阵要如何与形状为 [units] 的一维偏置向量 bias 相加呢?事实上,这里是 TensorFlow 的 Broadcasting 机制在起作用,该加法运算相当于将二维矩阵的每一行加上了 Bias 。Broadcasting 机制的具体介绍可见 https://www.tensorflow.org/xla/broadcasting

为什么模型类是重载 call() 方法而不是 call() 方法?

在 Python 中,对类的实例 myClass 进行形如 myClass() 的调用等价于 myClass.call() (具体请见本章初 “前置知识” 的 call() 部分)。那么看起来,为了使用 ypred = model(X) 的形式调用模型类,应该重写 call() 方法才对呀?原因是 Keras 在模型调用的前后还需要有一些自己的内部操作,所以暴露出一个专门用于重载的 call() 方法。 tf.keras.Model 这一父类已经包含 call() 的定义。 _call() 中主要调用了 call() 方法,同时还需要在进行一些 keras 的内部操作。这里,我们通过继承 tf.keras.Model 并重载 call() 方法,即可在保持 keras 结构的同时加入模型调用的代码。