十、其它相关

10.1 稀疏表达

  1. 稀疏表达：鼓励 十、其它相关 - 图1 的表达 十、其它相关 - 图2 为稀疏的，即：目标函数为：十、其它相关 - 图3 。

    • 它与普通正则化区别是：它对 十、其它相关 - 图4 的表达 十、其它相关 - 图5 进行限制，而不是参数 十、其它相关 - 图6 进行限制。

    • 通常采用 十、其它相关 - 图7 正则化可以获取稀疏表达： 十、其它相关 - 图8 。

      也有其他方法可以获取稀疏表达，如：正交匹配追踪orthogonal matching pursuit：

      十、其它相关 - 图9

      其中 十、其它相关 - 图10 是 十、其它相关 - 图11 中非零项的个数。

      当 十、其它相关 - 图12 被限定为正交矩阵时，该问题可以被高效解决。

10.2 半监督学习

  1. 在深度学习中，半监督学习指的是学习一个表达representation ： 十、其它相关 - 图13 。学习的目标是：使得同类中的样例有类似的表达。

  2. 通常可以构建两个模型：生成模型 十、其它相关 - 图14 （或者 十、其它相关 - 图15） 与判别模型 十、其它相关 - 图16 ，其中生成模型与判别模型共享参数。

    • 生成模型 十、其它相关 - 图17 （或者 十、其它相关 - 图18） 表达了对于监督学习问题解的先验知识。

      即： 十、其它相关 - 图19 的结构通过共享参数的方式连接到 十、其它相关 - 图20 。

    • 不需要将无监督学习和监督学习部分进行分离，二者位于同一个网络结构中。

    • 最终需要对监督准则 十、其它相关 - 图21 与无监督准则 十、其它相关 - 图22 （或者 十、其它相关 - 图23） 进行权衡。

      这样可以得到比单纯的生成模型或者单纯的判别模型更好的模型，从而提高了泛化能力。

10.3 多任务学习

  1. 多任务学习是指几个任务共享相同的样本集。这可以视作一种参数上的软约束。

    下图给出了多任务学习中的一个非常普遍的形式：有两个监督任务和一个无监督任务。所有的任务都共享相同的输入 十、其它相关 - 图24 和第一级中间层 十、其它相关 - 图25 ，具体的任务使用了具体的表示层。

    因为共享参数，其统计强度大大提高因此能改进泛化能力。但是前提条件是：确实有某些信息在不同任务之间共享了。这要求不同任务之间存在某些统计关系。

    十、其它相关 - 图26

  2. 多任务学习刻画了一个先验知识：这些不同的任务中，能解释数据变化的因子是跨任务共享的。

10.4 正则化和欠定问题

  1. 机器学习的许多线性问题（包括线性回归和PCA），都依赖于求 十、其它相关 - 图27 的逆矩阵。

    • 当 十、其它相关 - 图28 是可逆时，该问题有解析解。
    • 当 十、其它相关 - 图29 是奇异矩阵时，该问题是欠定的。此时可以考虑正则化形式：求解 十、其它相关 - 图30 的逆矩阵。

  2. 大多数形式的正则化能够用于欠定问题。

    如：Moore-Penrose求解欠定线性方程， 十、其它相关 - 图31 伪逆的一个定义：十、其它相关 - 图32 。

  3. 使用正则化来解决欠定问题的思想超出了机器学习的范畴。