数据预处理

  1. 在获取的数据中经常会遇到唯一属性,这些属性通常是人为添加的一些id属性,如存放在数据库中的自增的主键。

    对于这些属性,它并不能刻画样本自身的分布规律。所以只需要简单的删除这些属性。

  2. 对于数据中的某个属性,如果其方差很小,则意味着其识别能力较弱。极端情况下其方差为0,这意味着该属性在所有样本上的值都是恒定的。

    因此可以设定一个阈值(如 8.特征工程 - 图1 ),将方差小于该阈值的属性直接剔除。