六、参数相对约束

1. 通常对参数添加约束时，是固定于相对的某个点。如 正则化：将参数对于偏离零点来进行惩罚。

   如果需要表达两个模型之间参数的相对关系时，则使用参数的相对约束。

   假设模型 A的参数为 ，模型 B的参数为 。如果两个模型非常相似，则给定下列形式的惩罚：

   

   这里使用 惩罚，也可以使用其他形式的正则化形式。

   这种方法由Lasserre et al.(2006)提出，它使得一个有监督的分类模型的参数接近于另一个无监督的数据分布模型的参数。

2. 还有一种方案：强迫 的某个子集相等，这称作参数共享parameter sharing。

   如：要求 ，即参数子集为： ，其剩余参数都与该子集相等。这就是卷积神经网络中使用的方案。

   参数共享的优点：能显著降低参数的数量、减少模型占用的内存。