fluid.metrics

SourceEnglish

Accuracy

SourceEnglish

class paddle.fluid.metrics.Accuracy(name=None)

参数:

- name — 度量标准的名称

labels = fluid.layers.data(name="data", shape=[1], dtype="int32")
data = fluid.layers.data(name="data", shape=[32, 32], dtype="int32")
pred = fluid.layers.fc(input=data, size=1000, act="tanh")
minibatchaccuracy = fluid.layers.accuracy(pred, label)
accuracy_evaluator = fluid.metrics.Accuracy()
for pass in range(PASSES):
    accuracy_evaluator.reset()
    for data in train_reader():
        batch_size = data[0]
        loss = exe.run(fetch_list=[cost, minibatch_accuracy])
    accuracy_evaluator.update(value=minibatch_accuracy, weight=batch_size)
    numpy_acc = accuracy_evaluator.eval()

update(_value, weight)

参数：

- value (float|numpy.array) – 每个mini batch的正确率
- weight (int|float) – batch 大小

Auc

SourceEnglish

class paddle.fluid.metrics.Auc(name, curve='ROC', num_thresholds=4095)

pred = fluid.layers.fc(input=data, size=1000, act="tanh")
metric = fluid.metrics.Auc()
for data in train_reader():
    loss, preds, labels = exe.run(fetch_list=[cost, preds, labels])
    metric.update(preds, labels)
    numpy_auc = metric.eval()

_class paddle.fluid.metrics.ChunkEvaluator(name=None)

labels = fluid.layers.data(name="data", shape=[1], dtype="int32")
data = fluid.layers.data(name="data", shape=[32, 32], dtype="int32")
pred = fluid.layers.fc(input=data, size=1000, act="tanh")
precision, recall, f1_score, num_infer_chunks, num_label_chunks, num_correct_chunks = layers.chunk_eval(
input=pred,
label=label)
metric = fluid.metrics.ChunkEvaluator()
for data in train_reader():
    loss, preds, labels = exe.run(fetch_list=[cost, preds, labels])
    metric.update(num_infer_chunks, num_label_chunks, num_correct_chunks)
    numpy_precision, numpy_recall, numpy_f1 = metric.eval()

update(_num_infer_chunks, num_label_chunks, num_correct_chunks)

参数:

- num_infer_chunks (int|numpy.array): 给定minibatch的Interface块数。
- num_label_chunks (int|numpy.array): 给定minibatch的Label块数。
- num_correct_chunks （int|numpy.array）: 给定minibatch的Interface和Label的块数

CompositeMetric

SourceEnglish

class paddle.fluid.metrics.CompositeMetric(name=None)

labels = fluid.layers.data(name="data", shape=[1], dtype="int32")
data = fluid.layers.data(name="data", shape=[32, 32], dtype="int32")
pred = fluid.layers.fc(input=data, size=1000, act="tanh")
comp = fluid.metrics.CompositeMetric()
acc = fluid.metrics.Precision()
recall = fluid.metrics.Recall()
comp.addmetric(acc)
comp.add_metric(recall)
for pass in range(PASSES):
comp.reset()
for data in train_reader():
    loss, preds, labels = exe.run(fetch_list=[cost, preds, labels])
comp.update(preds=preds, labels=labels)
numpy_acc, numpy_recall = comp.eval()

add_metric(_metric)

参数:

- metric – MetricBase的一个实例。

update(preds, labels)

参数:

- preds (numpy.array) - 当前mini batch的预测
- labels (numpy.array) - 当前minibatch的label，如果标签是one-hot或soft-laebl 编码，应该自定义相应的更新规则。

eval()

class paddle.fluid.metrics.DetectionMAP(input, gt_label, gt_box, gt_difficult=None, class_num=None, background_label=0, overlap_threshold=0.5, evaluate_difficult=True, ap_version='integral')

参数：

- input (Variable) – detection的结果，一个 shape=[M, 6] 的 lodtensor。布局为[label, confidence, xmin, ymin, xmax, ymax]
- gt_label (Variable) – ground truth label 的索引，它是一个形状为[N, 1]的lodtensor
- gt_box (Variable) – ground truth bounds box (bbox)，是一个具有形状的lod张量[N, 4]。布局是[xmin, ymin, xmax, ymax]
- gt_difficult (Variable|None) – 指定这个ground truth是否是一个difficult bounding bbox，它可以是一个 shape=[N, 1]的LoDTensor，也可以不被指定。如果设置为None，则表示所有的ground truth标签都不是difficult bbox。
- class_num (int) – 检测类别的数目
- background_label (int) – 背景标签的索引，背景标签将被忽略。如果设置为-1，则所有类别将被考虑，默认为0。
- overlap_threshold (float) – 判断真假阳性的阈值，默认为0.5
- evaluate_difficult (bool) – 是否考虑 difficult ground truth 进行评价，默认为 True。当 gtdifficult 为 None 时，这个参数不起作用。
- ap_version (string) – 平均精度的计算方法，必须是 “integral” 或 “11point”。详情请查看 https://sanchom.wordpress.com/tag/averageprecision/。 其中，11point为：11-point 插值平均精度。积分: precision-recall曲线的自然积分。

exe = fluid.Executor(place)
map_evaluator = fluid.Evaluator.DetectionMAP(input,
    gt_label, gt_box, gt_difficult)
cur_map, accum_map = map_evaluator.get_map_var()
fetch = [cost, cur_map, accum_map]
for epoch in PASS_NUM:
    map_evaluator.reset(exe)
    for data in batches:
        loss, cur_map_v, accum_map_v = exe.run(fetch_list=fetch)

reset(_executor, reset_program=None)

参数：

- executor (Executor) – 执行reset_program的执行程序
- reset_program (Program|None) – 单一 program 的 reset 过程。如果设置为 None，将创建一个 program

EditDistance

SourceEnglish

class paddle.fluid.metrics.EditDistance(name)

参数:

• name - 度量标准名称

distances, seq_num = fluid.layers.edit_distance(input, label)
distance_evaluator = fluid.metrics.EditDistance()
for epoch in PASS_NUM:
    distance_evaluator.reset()
    for data in batches:
        loss = exe.run(fetch_list=[cost] + list(edit_distance_metrics))
    distance_evaluator.update(distances, seq_num)
    distance, instance_error = distance_evaluator.eval()

在上面的例子中：’distance’是一个pass中的编辑距离的平均值。 ‘instance_error’是一个pass中的实例的错误率。

MetricBase

SourceEnglish

class paddle.fluid.metrics.MetricBase(name)

参数：

• name (str) - metric实例名。例如准确率（accuracy）。如果想区分一个模型里不同的metrics，则需要实例名。

reset()

reset()清除度量（metric）的状态（state）。默认情况下，状态（state）包含没有 前缀的metric。reset将这些状态设置为初始状态。如果不想使用隐式命名规则，请自定义reset接口。

get_config()

参数：None

返回：metric对应到state的字典

返回类型：字典（dict）

update(preds, labels)

参数：

• preds (numpy.array) - 当前minibatch的预测
• labels (numpy.array) - 当前minibatch的标签，如果标签为one-hot或者soft-label，应该自定义相应的更新规则。

eval()

返回：metrics（Python中）

返回类型：float|list(float)|numpy.array

Precision

SourceEnglish

class paddle.fluid.metrics.Precision(name=None)

[\begin{split}Accuracy & = \frac{true \quad positive}{total \quad instances(所有样例)} \\Precision & = \frac{true \quad positive}{all \quad positive \quad instances(所有正样例)}\end{split}]

代码示例

metric = fluid.metrics.Precision()
 
for pass in range(PASSES):
    metric.reset()
    for data in train_reader():
    loss, preds, labels = exe.run(fetch_list=[cost, preds, labels])
     metric.update(preds=preds, labels=labels)
    numpy_precision = metric.eval()

Recall

SourceEnglish

class paddle.fluid.metrics.Recall(name=None)

https://en.wikipedia.org/wiki/Precision_and_recall

代码示例

metric = fluid.metrics.Recall()
 
for pass in range(PASSES):
    metric.reset()
    for data in train_reader():
        loss, preds, labels = exe.run(fetch_list=[cost, preds, labels])
        metric.update(preds=preds, labels=labels)
        numpy_recall = metric.eval()

原文: http://paddlepaddle.org/documentation/docs/zh/1.3/api_cn/metrics_cn.html