误差分析

当然，如果这是一个实际的项目，你会在你的机器学习项目当中，跟随以下步骤（见附录 B）：探索准备数据的候选方案，尝试多种模型，把最好的几个模型列为入围名单，用GridSearchCV调试超参数，尽可能地自动化，像你前面的章节做的那样。在这里，我们假设你已经找到一个不错的模型，你试图找到方法去改善它。一个方式是分析模型产生的误差的类型。

首先，你可以检查混淆矩阵。你需要使用cross_val_predict()做出预测，然后调用confusion_matrix()函数，像你早前做的那样。

  1. >>> y_train_pred = cross_val_predict(sgd_clf, X_train_scaled, y_train, cv=3)
  2. >>> conf_mx = confusion_matrix(y_train, y_train_pred)
  3. >>> conf_mx
  4. array([[5725, 3, 24, 9, 10, 49, 50, 10, 39, 4],
  5.         [ 2, 6493, 43, 25, 7, 40, 5, 10, 109, 8],
  6.         [ 51, 41, 5321, 104, 89, 26, 87, 60, 166, 13],
  7.         [ 47, 46, 141, 5342, 1, 231, 40, 50, 141, 92],
  8.         [ 19, 29, 41, 10, 5366, 9, 56, 37, 86, 189],
  9.         [ 73, 45, 36, 193, 64, 4582, 111, 30, 193, 94],
  10.         [ 29, 34, 44, 2, 42, 85, 5627, 10, 45, 0],
  11.         [ 25, 24, 74, 32, 54, 12, 6, 5787, 15, 236],
  12.         [ 52, 161, 73, 156, 10, 163, 61, 25, 5027, 123],
  13.         [ 43, 35, 26, 92, 178, 28, 2, 223, 82, 5240]])

这里是一对数字。使用 Matplotlib 的matshow()函数，将混淆矩阵以图像的方式呈现，将会更加方便。

  1. plt.matshow(conf_mx, cmap=plt.cm.gray)
  2. plt.show()

confuse matrix

这个混淆矩阵看起来相当好，因为大多数的图片在主对角线上。在主对角线上意味着被分类正确。数字 5 对应的格子看起来比其他数字要暗淡许多。这可能是数据集当中数字 5 的图片比较少，又或者是分类器对于数字 5 的表现不如其他数字那么好。你可以验证两种情况。

让我们关注仅包含误差数据的图像呈现。首先你需要将混淆矩阵的每一个值除以相应类别的图片的总数目。这样子，你可以比较错误率，而不是绝对的错误数（这对大的类别不公平）。

  1. row_sums = conf_mx.sum(axis=1, keepdims=True)
  2. norm_conf_mx = conf_mx / row_sums

现在让我们用 0 来填充对角线。这样子就只保留了被错误分类的数据。让我们画出这个结果。

  1. np.fill_diagonal(norm_conf_mx, 0)
  2. plt.matshow(norm_conf_mx, cmap=plt.cm.gray)
  3. plt.show()

误差分析 - 图2

现在你可以清楚看出分类器制造出来的各类误差。记住：行代表实际类别，列代表预测的类别。第 8、9 列相当亮，这告诉你许多图片被误分成数字 8 或者数字 9。相似的，第 8、9 行也相当亮，告诉你数字 8、数字 9 经常被误以为是其他数字。相反，一些行相当黑，比如第一行：这意味着大部分的数字 1 被正确分类（一些被误分类为数字 8 ）。留意到误差图不是严格对称的。举例子，比起将数字 8 误分类为数字 5 的数量，有更多的数字 5 被误分类为数字 8。

分析混淆矩阵通常可以给你提供深刻的见解去改善你的分类器。回顾这幅图，看样子你应该努力改善分类器在数字 8 和数字 9 上的表现，和纠正 3/5 的混淆。举例子，你可以尝试去收集更多的数据，或者你可以构造新的、有助于分类器的特征。举例子，写一个算法去数闭合的环（比如，数字 8 有两个环，数字 6 有一个， 5 没有）。又或者你可以预处理图片（比如，使用 Scikit-Learn，Pillow， OpenCV）去构造一个模式，比如闭合的环。

分析独特的误差，是获得关于你的分类器是如何工作及其为什么失败的洞见的一个好途径。但是这相对难和耗时。举例子，我们可以画出数字 3 和 5 的例子

  1. cl_a, cl_b = 3, 5
  2. X_aa = X_train[(y_train == cl_a) & (y_train_pred == cl_a)]
  3. X_ab = X_train[(y_train == cl_a) & (y_train_pred == cl_b)]
  4. X_ba = X_train[(y_train == cl_b) & (y_train_pred == cl_a)]
  5. X_bb = X_train[(y_train == cl_b) & (y_train_pred == cl_b)]
  6. plt.figure(figsize=(8,8))
  7. plt.subplot(221); plot_digits(X_aa[:25], ../images_per_row=5)
  8. plt.subplot(222); plot_digits(X_ab[:25], ../images_per_row=5)
  9. plt.subplot(223); plot_digits(X_ba[:25], ../images_per_row=5)
  10. plt.subplot(224); plot_digits(X_bb[:25], ../images_per_row=5)
  11. plt.show()

5*5 blocks

左边两个5*5的块将数字识别为 3，右边的将数字识别为 5。一些被分类器错误分类的数字（比如左下角和右上角的块）是书写地相当差，甚至让人类分类都会觉得很困难（比如第 8 行第 1 列的数字 5，看起来非常像数字 3 ）。但是，大部分被误分类的数字，在我们看来都是显而易见的错误。很难明白为什么分类器会分错。原因是我们使用的简单的SGDClassifier，这是一个线性模型。它所做的全部工作就是分配一个类权重给每一个像素，然后当它看到一张新的图片，它就将加权的像素强度相加，每个类得到一个新的值。所以，因为 3 和 5 只有一小部分的像素有差异，这个模型很容易混淆它们。

3 和 5 之间的主要差异是连接顶部的线和底部的线的细线的位置。如果你画一个 3，连接处稍微向左偏移，分类器很可能将它分类成 5。反之亦然。换一个说法，这个分类器对于图片的位移和旋转相当敏感。所以，减轻 3/5 混淆的一个方法是对图片进行预处理，确保它们都很好地中心化和不过度旋转。这同样很可能帮助减轻其他类型的错误。