五、多样性分析

5.1 误差-分歧分解

  1. 假定有 五、多样性分析 - 图1 个个体学习器 五、多样性分析 - 图2 ，通过加权平均法组合产生集成学习器 五、多样性分析 - 图3 来完成回归学习任务。即：五、多样性分析 - 图4 。

    • 对于某个样本 五、多样性分析 - 图5，定义学习器 五、多样性分析 - 图6 的分歧ambiguity为：五、多样性分析 - 图7 。

      分歧刻画了个体学习器在某个样本 五、多样性分析 - 图8 上的不一致性，在一定程度上反映了个体学习器的多样性。

    • 定义集成学习器的分歧为 : 五、多样性分析 - 图9 。

  2. 设样本 五、多样性分析 - 图10 的真实标记为 五、多样性分析 - 图11，则个体学习器 五、多样性分析 - 图12 和集成学习器 五、多样性分析 - 图13 的平方误差分别为：

    五、多样性分析 - 图14

    令个体学习器误差的加权均值为：五、多样性分析 - 图15 。根据 五、多样性分析 - 图16 ，则有：

    五、多样性分析 - 图17

  3. 令 五、多样性分析 - 图18 为样本的概率密度。则在全样本上有：

    五、多样性分析 - 图19

    代入各变量，则有：

    五、多样性分析 - 图20

  4. 定义个体学习器 五、多样性分析 - 图21 在全体样本上的泛化误差和分歧项为：

    五、多样性分析 - 图22

    定义集成的泛化误差为：五、多样性分析 - 图23 。则有：五、多样性分析 - 图24 。

  5. 定义个体学习器泛化误差的加权均值为 五、多样性分析 - 图25。定义个体学习器的加权分歧值为 五、多样性分析 - 图26。则有：五、多样性分析 - 图27 。这就是集成学习的误差-分歧分解。

    • 该式针对回归学习，难以直接推广到分类学习任务中去。

    • 该式难以直接作为优化目标，因为现实任务中很难直接对 五、多样性分析 - 图28 进行优化：

      • 一方面是它们是定义在整体样本空间上的。
      • 另一方面是 五、多样性分析 - 图29 不是一个可以直接操作的值，它是当集成学习器构造之后才能进行估计的。

  6. 从误差-分歧分解中看出：要想降低集成学习的泛化误差 五、多样性分析 - 图30，要么提高个体学习器的加权分歧值 五、多样性分析 - 图31，要么降低个体学习器的泛化误差的加权均值 五、多样性分析 - 图32。

    因此：个体学习器准确性越高、多样性越大，则集成越好。

5.2 多样性度量

  1. 多样性度量diversity measure是用于刻画集成模型中的个体分类器的多样性的程度。通常是考虑个体分类器的两两相似/不相似程度。

  2. 给定数据集 五、多样性分析 - 图33。考虑分类器 五、多样性分析 - 图34 的预测结果联表contingency table为：

     五、多样性分析 - 图35五、多样性分析 - 图36
    五、多样性分析 - 图37五、多样性分析 - 图38五、多样性分析 - 图39
    五、多样性分析 - 图40五、多样性分析 - 图41五、多样性分析 - 图42

    其中：

    • 五、多样性分析 - 图43 表示： 五、多样性分析 - 图44 预测为 +1，且 五、多样性分析 - 图45 预测为 +1 的样本的数量。
    • 五、多样性分析 - 图46 表示： 五、多样性分析 - 图47 预测为 +1，且 五、多样性分析 - 图48 预测为 -1 的样本的数量。
    • 五、多样性分析 - 图49 表示： 五、多样性分析 - 图50 预测为 -1，且 五、多样性分析 - 图51 预测为 +1 的样本的数量。
    • 五、多样性分析 - 图52 表示： 五、多样性分析 - 图53 预测为 -1，且 五、多样性分析 - 图54 预测为 -1 的样本的数量。

    根据定义有： 五、多样性分析 - 图55

5.2.1 不合度量

  1. 不合度量disagreement measure ：五、多样性分析 - 图56 。

    其范围为 [0,1]，值越大则多样性越大 。

5.2.2 相关系数

  1. 相关系数correlation coefficient：五、多样性分析 - 图57 。

    其范围是 [-1,+1]。

    • 如果 五、多样性分析 - 图58 与 五、多样性分析 - 图59 无关，则值为 0。
    • 如果 五、多样性分析 - 图60 与 五、多样性分析 - 图61 正相关，则值为正。
    • 如果 五、多样性分析 - 图62 与 五、多样性分析 - 图63 负相关，则值为 负。

5.2.3 Q 统计量

  1. Q统计量Q-statistic：五、多样性分析 - 图64 。

    五、多样性分析 - 图65 与相关系数 五、多样性分析 - 图66 符号相同，且 五、多样性分析 - 图67

5.2.4 kappa 统计量

  1. 五、多样性分析 - 图68统计量 (五、多样性分析 - 图69-statistic)：五、多样性分析 - 图70 。

    其中：

    • 五、多样性分析 - 图71 是两个分类器取得一致的概率： 五、多样性分析 - 图72 。

      根据：

      五、多样性分析 - 图73

      所以 五、多样性分析 - 图74 刻画了两个分类器取得一致的概率。

    • 五、多样性分析 - 图75 是两个分类器偶然达成一致的概率：五、多样性分析 - 图76 。

      根据：

      五、多样性分析 - 图77

      如果假设 五、多样性分析 - 图78 与 五、多样性分析 - 图79 相互独立，则 ：

      五、多样性分析 - 图80

      所以 五、多样性分析 - 图81 刻画了假设两个分类器的预测结果相互独立，则两个分类器取得一致的概率。

  2. 五、多样性分析 - 图82 的取值：

    • 若两个分类器在数据集 五、多样性分析 - 图83 上完全一致，则 五、多样性分析 - 图84。

      因为此时 五、多样性分析 - 图85，则 五、多样性分析 - 图86。

    • 如果两个分类器仅仅是偶然达成一致，则 五、多样性分析 - 图87。

      因为此时 五、多样性分析 - 图88，则 五、多样性分析 - 图89 。

    • 通常 五、多样性分析 - 图90 取非负值，仅在 五、多样性分析 - 图91 与 五、多样性分析 - 图92 达成一致的概率甚至低于偶然性的情况下才取负值。

5.3 多样性增强

  1. 集成学习中，需要有效地生成多样性较大的个体学习器。

    一般的思路是在学习过程中引入随机性。常见的做法是：对数据样本、输入属性、输出表示、算法参数进行扰动。

  2. 数据样本扰动：给定初始数据集，可以从中产生出不同的数据子集。再利用不同的数据子集训练出不同的个体学习器。

    • 数据样本扰动通常是基于采样法，此类做法简单高效、使用最广。

    • 对于常见的基学习器，如决策树、神经网络等，训练样本稍加变化就会导致学习器有显著的变动，数据样本扰动法对这样的“不稳定基学习器”很有效。

    • 对于一些基学习器对数据样本的扰动不敏感，如线性学习器、支持向量机、朴素贝叶斯、 五、多样性分析 - 图93 近邻学习器等，这样的基学习器称作稳定基学习器。

      对于此类的基学习器进行集成往往需要使用输入属性扰动等其他机制。

  3. 输入属性扰动：训练样本通常由一组属性描述，不同的“子空间”提供了观察数据的不同视角。显然从不同子空间训练出来的个体学习器必然有所不同。

    • 对于包含了大量冗余属性的数据，在子空间中训练个体学习器不仅能够产生多样性大的个体，还会因为属性数量的减少而大幅节省时间开销。

      同时由于冗余属性多，减少一些属性之后训练的个体学习器也不至于太差。

    • 对于只包含少量属性的数据，或者冗余属性较少，则不宜采用输入属性扰动法。

  4. 输出表示扰动：此类做法的思路是对输出表示进行操纵以增强多样性。

    如：可以对训练样本的类标记稍作变动，如翻转法Flipping Output随机改变一些训练样本的标记。

  5. 算法参数扰动：基学习算法一般都有超参数需要设置。可以通过随机设置不同的超参数，从而产生差别较大的个体学习器。

    使用单一学习器时通常需要使用交叉验证等方法来确定最佳的超参数值。这种做法实际上是用了不同的超参数训练出来了多个学习器，只不过最终挑选出来效果最好的那个学习器来使用。

    集成学习则是相当于把所有这些学习器都利用起来。

  6. 不同的多样性增强机制可以同时使用。如随机森林同时是用了数据样本扰动和输入属性扰动。