常见的分布式并行策略 集群的一致性视角 Consistent Tensor 用 launch 模块启动分布式训练 数据并行训练 流水并行训练

优秀实践 优秀实践 分布式CPU训练优秀实践 分布式GPU训练优秀实践 单机训练优秀实践 存储分配与优化

第 1 章 TiDB 开源社区历史及现状 1.1 TiDB 开源社区现状及发展简史 1.1.1 TiDB 开源社区现状 1.1.2 TiDB 开源社区发展简史 第 1 章 TiDB 开源社区历史及现状 1.1 TiDB 开源社区现状及发展简史 1.1.1 TiDB 开源社区现状 TiDB 分布式数据库从 2015 年 4 月份开源以来，...

模型的加载与保存 模型参数的获取与加载 模型保存 模型加载 使用预训练模型进行预测 模型的加载与保存 对于模型的加载与保存，常用的场景有： 将已经训练一段时间的模型保存，方便下次继续训练 将训练好的模型保存，方便后续直接用于预测 在本文中，我们将介绍，如何使用 save 和 load API 保存模型、加载模型。 同时也会展示，如何...

Deeplearning Algorithms tutorial Boosting Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机器学习，新产...

数字识别 背景介绍 模型概览 Softmax回归(Softmax Regression) 多层感知机(Multilayer Perceptron, MLP) 卷积神经网络(Convolutional Neural Network, CNN) 卷积层 池化层 常见激活函数介绍 数据介绍 Fluid API 概述 配置说明 Program F...

数据并行训练 代码 DistributedSampler 数据并行训练 在 常见的分布式并行策略 一文中介绍了数据并行的特点。 OneFlow 提供了 oneflow.nn.parallel.DistributedDataParallel 模块及 launcher ，可以让用户几乎不用对单机单卡脚本做修改，就能地进行数据并行训练。 可以用以...

CosineAnnealingDecay CosineAnnealingDecay class paddle.optimizer.lr. CosineAnnealingDecay ( learning_rate, T_max, eta_min=0, last_epoch=- 1, verbose=False ) [源代码] 该接口使用 cosin...

使用流程 预编译库 预测库编译 模型转换工具 X2Paddle 模型优化工具 opt 模型量化-有校准数据训练后量化 模型量化-无校准数据训练后量化 模型量化-量化训练 调试 裁剪预测库