二、监督学习

2.1 监督学习

1. 监督学习中，训练数据的每个样本都含有标记，该标记由人工打标，所以称之为监督 。

2. 监督学习假设输入 与标记 遵循联合概率分布 ，训练数据和测试数据依联合概率分布 独立同分布产生。

   学习过程中，假定这个联合概率分布存在，但是具体定义未知。

3. 监督学习的目的在于学习一个由输入到输出的映射，该映射由模型表示。

   模型属于由输入空间到输出空间的映射的集合，该集合就是解空间。解空间的确定意味着学习范围的确定。

4. 监督学习的模型可以为概率模型或者非概率模型：

   • 概率模型由条件概率分布 表示。
   • 非概率模型由决策函数 表示。

5. 监督学习分为学习和预测两个过程。

   给定训练集 ，其中 为输入值， 是标记值。假设训练数据与测试数据是依据联合概率分布 独立同分布的产生的。

   • 学习过程：在给定的训练集 上，通过学习训练得到一个模型。该模型表示为条件概率分布 或者决策函数

   • 预测过程：对给定的测试样本 ，给出其预测结果：

     • 对于概率模型，其预测值为：
     • 对于非概率模型，其预测值为：

6. 可以通过无监督学习来求解监督学习问题 ：

   • 首先求解无监督学习问题来学习联合概率分布
   • 然后计算： 。

2.2 生成模型和判别模型

1. 监督学习又分为生成方法和判别方法，所用到的模型分别称为生成模型和判别模型。

2. 生成方法 ：通过数据学习联合概率分布 ，然后求出条件概率分布 作为预测的模型。

   即生成模型为：

   

   • 生成方法的优点：能还原联合概率分布 ，收敛速度快，且当存在隐变量时只能用生成方法。
   • 生成方法有：朴素贝叶斯法，隐马尔可夫链。

3. 判别方法 ：直接学习决策函数 或者条件概率分布 的模型。

   • 判别方法的优点：直接预测，一般准确率更高，且一般比较简化问题。
   • 判别方法有：逻辑回归，决策树。