6.15 比较数据框

6.15.1 问题

你想要比较两个或多个数据框并找到在超过一个数据框中出现的行，或者仅在一个数据框中出现的行。

6.15.2 方案

6.15.2.1 一个例子

假设你有下面三个数据框，你想要知道那些至少在两个数据框中出现的行。

dfA <- data.frame(Subject = c(1, 1, 2, 2), Response = c("X", 
  "X", "X", "X"))
dfA
#>   Subject Response
#> 1       1        X
#> 2       1        X
#> 3       2        X
#> 4       2        X
dfB <- data.frame(Subject = c(1, 2, 3), Response = c("X", 
  "Y", "X"))
dfB
#>   Subject Response
#> 1       1        X
#> 2       2        Y
#> 3       3        X
dfC <- data.frame(Subject = c(1, 2, 3), Response = c("Z", 
  "Y", "Z"))
dfC
#>   Subject Response
#> 1       1        Z
#> 2       2        Y
#> 3       3        Z

在 dfA 中，包括 (1,X) 的行同样出现在了 dfB，但是包含 (2,X) 的行没有出现在任何其他的数据框。相似地，dfB 包含的 (1,X) 出现在了 dfA，(2,Y) 出现在了 dfC，但是 (3,X) 没有出现在其他数据框。

你可能想要标记在其他数据框中出现了的行，或者在每个数据框中都是唯一的行。

6.15.2.2 连接数据框

进一步地，我们首先用一个可以识别每一行来自哪里的列来连接数据框。这里称为 Coder 变量因为它可能是由三个不同的人编码的数据。在这个例子中，你可能想要找到编码者相同之处（至少出现在两个数据框中的行），或者它们不同之处。

dfA$Coder <- "A"
dfB$Coder <- "B"
dfC$Coder <- "C"
df <- rbind(dfA, dfB, dfC)  # 把它们粘在一起
df <- df[, c("Coder", "Subject", "Response")]  # 重新排序
df
#>    Coder Subject Response
#> 1      A       1        X
#> 2      A       1        X
#> 3      A       2        X
#> 4      A       2        X
#> 5      B       1        X
#> 6      B       2        Y
#> 7      B       3        X
#> 8      C       1        Z
#> 9      C       2        Y
#> 10     C       3        Z

如果你的数据一开始就是这种格式，那就不要将它们连接到一起啦。

6.15.2.3 dupsBetweenGroups() 函数

该函数用来寻找不同组别的重复行：

dupsBetweenGroups <- function(df, idcol) {
  # df: the data frame idcol: the column which identifies
  # the group each row belongs to
  # Get the data columns to use for finding matches
  datacols <- setdiff(names(df), idcol)
  # Sort by idcol, then datacols. Save order so we can
  # undo the sorting later.
  sortorder <- do.call(order, df)
  df <- df[sortorder, ]
  # Find duplicates within each id group (first copy not
  # marked)
  dupWithin <- duplicated(df)
  # With duplicates within each group filtered out, find
  # duplicates between groups.  Need to scan up and down
  # with duplicated() because first copy is not marked.
  dupBetween = rep(NA, nrow(df))
  dupBetween[!dupWithin] <- duplicated(df[!dupWithin, 
    datacols])
  dupBetween[!dupWithin] <- duplicated(df[!dupWithin, 
    datacols], fromLast = TRUE) | dupBetween[!dupWithin]
  # ============= Replace NA's with previous non-NA value
  # ============== This is why we sorted earlier - it was
  # necessary to do this part efficiently
  # Get indexes of non-NA's
  goodIdx <- !is.na(dupBetween)
  # These are the non-NA values from x only Add a leading
  # NA for later use when we index into this vector
  goodVals <- c(NA, dupBetween[goodIdx])
  # Fill the indices of the output vector with the indices
  # pulled from these offsets of goodVals. Add 1 to avoid
  # indexing to zero.
  fillIdx <- cumsum(goodIdx) + 1
  # The original vector, now with gaps filled
  dupBetween <- goodVals[fillIdx]
  # Undo the original sort
  dupBetween[sortorder] <- dupBetween
  # Return the vector of which entries are duplicated
  # across groups
  return(dupBetween)
}

6.15.2.4 寻找重复行

使用在前文定义的函数 dupsBetweenGroups()，我们可以找出在不同组别中重复的行。

# 找出在不同组别中重复的行
dupRows <- dupsBetweenGroups(df, "Coder")
# 在数据框的旁边打印出来
cbind(df, dup = dupRows)
#>    Coder Subject Response   dup
#> 1      A       1        X  TRUE
#> 2      A       1        X  TRUE
#> 3      A       2        X FALSE
#> 4      A       2        X FALSE
#> 5      B       1        X  TRUE
#> 6      B       2        Y  TRUE
#> 7      B       3        X FALSE
#> 8      C       1        Z FALSE
#> 9      C       2        Y  TRUE
#> 10     C       3        Z FALSE

注意这不会标记在同一组中的重复行，比如 Coder=A 时，有两行 Subject=2 以及 Response=X，但没有标记出来。

6.15.2.5 寻找唯一行

同样可以找出在每一组中唯一出现的行。

cbind(df, unique = !dupRows)
#>    Coder Subject Response unique
#> 1      A       1        X  FALSE
#> 2      A       1        X  FALSE
#> 3      A       2        X   TRUE
#> 4      A       2        X   TRUE
#> 5      B       1        X  FALSE
#> 6      B       2        Y  FALSE
#> 7      B       3        X   TRUE
#> 8      C       1        Z   TRUE
#> 9      C       2        Y  FALSE
#> 10     C       3        Z   TRUE

6.15.2.6 拆分数据框

如果你想要把连接的数据框拆分为三个原始的数据框：

# 保存df的结果
dfDup <- cbind(df, dup = dupRows)
dfA <- subset(dfDup, Coder == "A", select = -Coder)
dfA
#>   Subject Response   dup
#> 1       1        X  TRUE
#> 2       1        X  TRUE
#> 3       2        X FALSE
#> 4       2        X FALSE
dfB <- subset(dfDup, Coder == "B", select = -Coder)
dfB
#>   Subject Response   dup
#> 5       1        X  TRUE
#> 6       2        Y  TRUE
#> 7       3        X FALSE
dfC <- subset(dfDup, Coder == "C", select = -Coder)
dfC
#>    Subject Response   dup
#> 8        1        Z FALSE
#> 9        2        Y  TRUE
#> 10       3        Z FALSE

6.15.2.7 忽略列

有可能需要通过移除数据框的列来忽略一个或者多个列，结果又可以把原始完整的数据框连接起来。

# 忽略 Subject 列——仅使用 Response 列
dfNoSub <- subset(df, select = -Subject)
dfNoSub
#>    Coder Response
#> 1      A        X
#> 2      A        X
#> 3      A        X
#> 4      A        X
#> 5      B        X
#> 6      B        Y
#> 7      B        X
#> 8      C        Z
#> 9      C        Y
#> 10     C        Z
# 检查重复行
dupRows <- dupsBetweenGroups(dfNoSub, "Coder")
# 把结果连接起来
cbind(df, dup = dupRows)
#>    Coder Subject Response   dup
#> 1      A       1        X  TRUE
#> 2      A       1        X  TRUE
#> 3      A       2        X  TRUE
#> 4      A       2        X  TRUE
#> 5      B       1        X  TRUE
#> 6      B       2        Y  TRUE
#> 7      B       3        X  TRUE
#> 8      C       1        Z FALSE
#> 9      C       2        Y  TRUE
#> 10     C       3        Z FALSE

6.15.3 注意

想要寻找单个数据框中的重复行，参见查找并移除重复记录。