理解特征

目标

在本章节中, 我们将理解什么是特征以及为什么他们这么重要,还有边缘(角落)如此重要等等。

解释说明

我们大多数人都玩过拼图游戏。我们获得由大量图片碎片,并且需要将他们组合起来形成一张完整的图片。问题来了,我们如何实现呢? 我们如何将相同的理论投射到计算机程序中,以便计算机可以玩拼图游戏?如果计算机可以玩拼图游戏了,为什么我们不能给计算机提供很多真实的自然风景图像,并告诉它将所有这些图像拼接成一个大的单一图像?如果计算机可以将多个自然图像拼接成一个,那么如何提供大量建筑物或任何结构的图片并告诉计算机从中创建 3D 模型呢?

那么,问题和想象力还在继续。但这一切都取决于最基本的问题:你如何玩拼图游戏?你如何将大量的混乱图像片段排列成一个大的单个图像?如何将大量自然图像拼接到单个图像中?

答案是,我们正在寻找独特的特定模式或特定特征,可以轻松跟踪和比较。如果我们找到这样一个特征的定义,我们可能会发现很难用文字表达,但我们知道它们是什么。如果有人要求您指出可以在多个图像之间进行比较的一个好的功能,您可以指出一个。这就是为什么即使是小孩子也可以简单地玩这些游戏。我们在图像中搜索这些特征,找到它们,在其他图像中查找相同的特征并对齐它们。而已。 (在拼图游戏中,我们更多地关注不同图像的连续性)。所有这些能力都存在于我们身上。

因此,我们的一个基本问题扩展到更多,但变得更具体。这些功能是什么? (答案对于计算机也应该是可以理解的。)

很难说人类是如何找到这些特征。此能力在人类大脑中早已根深蒂固。但是如果我们深入研究一些图片并搜索不同的图案,我们会发现一些有趣的东西。例如,如下图所示:

理解特征 - 图1

图像非常简单。在图像的顶部,给出了六个小图像补丁。你的问题是如何在原始图像中找到这些补丁的确切位置。你能找到多少正确的结果?

A 和 B 是平坦的表面,它们分布在很多区域。找到这些补丁的确切位置是很难的。

C 和 D 要简单得多。它们是建筑物的边缘。您可以找到一个大概的位置,但确切的位置仍然很困难。这是因为沿着边缘的模式是相同的。然而,在边缘,它是不同的。因此,与平坦区域相比,边缘是更好的特征,但是不够好(用于比较边缘的连续性在拼图中是好的)。

最后,E 和 F 是建筑物的一些角落。它们很容易找到。因为在角落,无论你移动这个补丁,它都会有所不同。所以他们可以被认为是很好的特征。所以现在我们来看看更简单(和广泛使用的图像)以便更好地理解。

理解特征 - 图2

就像上面一样,蓝色斑块是平坦的区域,很难找到和跟踪。无论你移动蓝色补丁,它看起来都一样。黑色贴片有边缘。如果沿垂直方向(即沿着渐变方向)移动它会改变。沿边缘移动(平行于边缘),看起来一样。对于红色补丁,它是一个角落。无论您移动补丁,它看起来都不同,意味着它是独一无二的。所以基本上,角被认为是图像中的好特征。 (不仅仅是角落,在某些情况下,blob 被认为是很好的特征)。

所以现在我们回答了我们的问题,“这些特征是什么?”。但接下来的问题出现了。我们如何找到它们?或者我们如何找到角落?我们以直观的方式回答了这一点,即在图像中寻找在其周围的所有区域中移动(少量)时具有最大变化的区域。在接下来的章节中,这将被投射到计算机语言中。因此,查找这些图像特征称为特征检测。

我们在图像中找到了这些特征。一旦找到它,您应该能够在其他图像中找到相同的内容。这是怎么做到的?我们在这个特征周围区域,我们用自己的话来解释,比如“上部是蓝天,下部是建筑物的区域,那个建筑物有玻璃等”,你在另一个地方寻找相同的区域图片。基本上,您正在描述该功能。类似地,计算机也应该描述特征周围的区域,以便它可以在其他图像中找到它。所谓的描述称为特征描述。获得这些功能及其描述后,您可以在所有图像中找到相同的功能并对齐它们,将它们拼接在一起或做任何您想做的事情。

因此,在本单元中,我们正在寻找 OpenCV 中的不同算法来查找功能,描述功能,匹配它们等。

额外资源

练习