超越人类表现水平

现在你在做一个语音识别项目,并且有一个音频片段数据集。假设数据集里有许多的噪声,导致即使是人类来识别也会有 10% 的误差。同时假设你的算法已经达到了 8% 的误差,你能够使用第 33 章中提到的三种技术来继续取得快速的进展吗?

如果你能找到人类表现水平远超现有系统的数据子集,使用那些技术来驱动进则仍然可行。举个例子,假设你的系统在处理识别含有噪音的音频任务时表现已经优于人类,然而在转录语速很快的语音时人类仍然占有优势。

对于语速很快的语音数据子集:

  • 你仍可以从输出质量比你的算法高的人那儿获取转录数据。
  • 你可以利用人类的直觉来理解,为什么你的系统没能够识别这些数据,而人类做到了。
  • 你可以使用该子集上的人类表现水平作为期望表现目标。更常见的做法是,只要在开发集上存在着一些人类能正确处理而算法不能的样本,前面提到的技术就能够被应用。即使你的算法在整个开发集或是测试集上的表现已经超过了人类,这样做也是正确的。

在许多重要的机器学习应用程序中,机器已经超越了人类的水平。例如,机器可以更好地预测电影分级,一辆送货车到某个地方需要多长时间,或者是否批准贷款申请。只有当人类很难识别出算法明显出错的样本时,一小部分技术才可以被应用。因此在机器已经超越人类水平的问题上,进展通常比较慢,而当机器仍在试图赶上人类水平时,进展速度反而更快。