2.7 偏差与方差 2.7 偏差与方差 偏差-方差分解是解释学习器泛化性能的重要工具。在学习算法中，偏差指的是预测的期望值与真实值的偏差，方差则是每一次预测值与预测值得期望之间的差均方。实际上，偏差体现了学习器预测的准确度，而方差体现了学习器预测的稳定性。通过对泛化误差的进行分解，可以得到： 期望泛化误差=方差+偏差 偏差刻画学习器...

5.1 一元标注 5.1 一元标注 一元标注器基于一个简单的统计算法：对每个标识符分配这个独特的标识符最有可能的标记。例如，它将分配标记JJ 给词 frequent 的所有出现，因为 frequent 用作一个形容词（例如 a frequent word）比用作一个动词（例如 I frequent this cafe）更常见。一个一元标注器的行为就像...

BatchNorm BatchNorm class paddle.fluid.dygraph. BatchNorm (name_scope, num_channels, act=None, is_test=False, momentum=0.9, epsilon=1e-05, param_attr=None, bias_attr=None, dty...

保存和加载模型 什么是state_dict ？ 例如： 推理模型的保存和加载 保存/加载state_dict (推荐） 整个模型的保存和加载 保存和加载用于推理和/或继续训练的常规检查点 Save: Load: 将多个模型保存在一个文件中 Save: Load: 使用来自不同模型的参数进行热启动模型 Save: Load: 跨设备...

词向量 说明 背景介绍 效果展示 模型概览 语言模型 N-gram neural model Continuous Bag-of-Words model(CBOW) Skip-gram model 数据准备 数据介绍 数据预处理 编程实现 模型应用 预测下一个词 总结 参考文献 词向量 本教程源代码目录在book/wo...

个性化推荐 背景介绍 效果展示 模型概览 YouTube的深度神经网络个性化推荐系统 候选生成网络（Candidate Generation Network） 排序网络（Ranking Network） 融合推荐模型 文本卷积神经网络（CNN） 融合推荐模型概览 数据准备 数据介绍与下载 模型配置说明 训练模型 定义训练环境 定义数...

5.11 残差网络（ResNet） 5.11.2 残差块 5.11.2 ResNet模型 5.11.3 获取数据和训练模型 小结 参考文献 5.11 残差网络（ResNet） 让我们先思考一个问题：对神经网络模型添加新的层，充分训练后的模型是否只可能更有效地降低训练误差？理论上，原模型解的空间只是新模型解的空间的子空间。也就是说，如果我们能...

L1Decay L1Decay paddle.regularizer.L1Decay ( coeff=0.0 ) [源代码] L1Decay实现L1权重衰减正则化，用于模型训练，使得权重矩阵稀疏。 该类生成的实例对象，需要设置在 cn_api_paddle_ParamAttr 或者 optimizer (例如 Momentum )中，在 ...

更快的优化器 训练一个非常大的深度神经网络可能会非常缓慢。 到目前为止，我们已经看到了四种加速训练的方法（并且达到更好的解决方案）：对连接权重应用良好的初始化策略，使用良好的激活函数，使用批量规范化以及重用预训练网络的部分。 另一个巨大的速度提升来自使用比普通渐变下降优化器更快的优化器。 在本节中，我们将介绍最流行的：动量优化，Nesterov 加速梯度...