在 R 中合并两个数据框（数据框未正确合并）答案

【问题标题】：Merging two Data Frames in R (Data frames not merging properly)在 R 中合并两个数据框（数据框未正确合并）
【发布时间】：2017-02-03 02:22:13
【问题描述】：

我在使用 R 中的合并函数处理两个数据帧时遇到了一点问题。我有两个大型数据框，它们的列和数据彼此相同，这就是我用来合并它们的方法。

例如，数据框 1 具有列“Instrument”、“RecordDate”、“HourMinuteSecond”、“MilliSecond”、...（以及其他几个附加列），而数据框 2 具有列“Instrument”、“RecordDate” ", "HourMinuteSecond", "MilliSecond", .... （以及与数据框 2 相比的其他几个不同的列）。我现在使用合并功能如下：

DataFrame3 <- merge(DataFrame2, DataFrame1, by=c("Instrument", "RecordDate","HourMinuteSecond","MilliSecond"))

这给了我一个新的数据框。现在，我遇到的问题是数据帧之间的一些根本不匹配。比如我发现有一段数据没有正确匹配：

> DataFrame1[120486,]
       Instrument RecordDate HourMinuteSecond MilliSecond 
120486        DTE   6/4/2012         16:10:27          42     

 > DataFrame2[65,]
   Instrument RecordDate HourMinuteSecond MilliSecond 
65        DTE   6/4/2012         16:10:27          42

（请注意，还有其他列，但我省略了它们）。我现在比较这些部分，就好像它们是向量一样。首先，我使用相同的函数来比较每个向量中的每个值，结果如下：

> identical(DataFrame1[120486,1] ,DataFrame2[65,1])
[1] FALSE
> identical(DataFrame1[120486,2] ,DataFrame2[65,2])
[1] TRUE
> identical(DataFrame1[120486,3] ,DataFrame2[65,3])
[1] FALSE
> identical(DataFrame1[120486,4] ,DataFrame2[65,4])
[1] TRUE

从相同的函数看来，“Instruments”和“HourMintuteSecond”列中的值似乎彼此不同。谁能告诉我可能导致此问题的原因是什么？提前致谢。

编辑：这是 dput 输出，希望这就是你们所指的：

> dput(droplevels(DataFrame2[65,1:4]))
structure(list(Instrument = structure(1L, .Label = "DTE", class = "factor"), 
RecordDate = structure(1L, .Label = "6/4/2012", class = "factor"), 
HourMinuteSecond = structure(1L, .Label = "16:10:27", class = "factor"), 
MilliSecond = 42L), .Names = c("Instrument", "RecordDate", 
"HourMinuteSecond", "MilliSecond"), row.names = 65L, class = "data.frame")

> dput(droplevels(DataFrame1[120486,1:4]))
structure(list(Instrument = structure(1L, .Label = "DTE", class = "factor"), 
RecordDate = structure(1L, .Label = "6/4/2012", class = "factor"), 
HourMinuteSecond = structure(1L, .Label = "16:10:27", class = "factor"), 
MilliSecond = 42L), .Names = c("Instrument", "RecordDate", 
"HourMinuteSecond", "MilliSecond"), row.names = 120486L, class = "data.frame")

这里是 str() 输出：

> str(DataFrame1)
'data.frame':   317495 obs. of  9 variables:
 $ Instrument      : Factor w/ 4 levels "CDD","DTE","ERA",..: 1 1 1 1 1 1 1 1 1 1 ...
 $ RecordDate      : Factor w/ 30 levels "5/18/2012","5/21/2012",..: 1 1 1 1 1 1 1 1 1 1 ...
 $ HourMinuteSecond: Factor w/ 21763 levels "10:02:02","10:02:03",..: 14 14 14 17 19 22 24 25 25 25 ...
 $ MilliSecond     : int  26 57 158 70 73 8 926 448 457 458 ...
 $ L1BidPrice      : num  6.91 6.91 6.91 6.91 6.91 6.91 6.9 6.9 6.89 6.89 ...
 $ L1BidVolume     : int  520 504 504 504 504 508 20 4 20 20 ...
 $ L1AskPrice      : num  6.92 6.92 6.92 6.92 6.92 6.92 6.91 6.91 6.9 6.9 ...
 $ L1AskVolume     : int  3917 3917 3915 3932 3915 3915 3407 3407 13 30 ...
 $ Midquote        : num  6.92 6.92 6.92 6.92 6.92 ...

> str(DataFrame2)
'data.frame':   577 obs. of  15 variables:
 $ Instrument       : Factor w/ 2 levels "DTE","ERA": 1 1 1 1 1 1 1 1 1 1 ...
 $ RecordDate       : Factor w/ 30 levels "5/18/2012","5/21/2012",..: 1 1 1 1 1 1 2 2 2 2 ...
 $ HourMinuteSecond : Factor w/ 317 levels "10:02:10","10:02:21",..: 301 301 301 301 301 301 2 98 129 130 ...
 $ MilliSecond      : int  45 45 45 45 45 45 485 6 92 300 ...
 $ RecordType       : Factor w/ 1 level "TRADE": 1 1 1 1 1 1 1 1 1 1 ...
 $ Price            : num  0.195 0.195 0.195 0.195 0.195 0.195 0.2 0.19 0.19 0.185 ...
 $ Volume           : int  2686 6350 6350 6350 1620 3064 1 13986 25000 23092 ...
 $ UndisclosedVolume: Factor w/ 1 level "\\N": 1 1 1 1 1 1 1 1 1 1 ...
 $ DollarValue      : num  524 1238 1238 1238 316 ...
 $ Qualifiers       : Factor w/ 4 levels "\\N","AC","Bi",..: 2 2 2 2 2 2 4 4 3 4 ...
 $ BidID            : num  6.13e+18 6.13e+18 6.13e+18 6.13e+18 6.13e+18 ...
 $ AskID            : num  6.13e+18 6.13e+18 6.13e+18 6.13e+18 6.13e+18 ...
 $ BidOrAsk         : Factor w/ 1 level "\\N": 1 1 1 1 1 1 1 1 1 1 ...
 $ BuyerBrokerID    : int  229 229 229 229 229 229 236 129 229 112 ...
 $ SellerBrokerID   : int  297 210 210 210 110 157 229 229 299 229 ...

【问题讨论】：

请在此处使用dput 发布merge 认为不相似的两条记录
也许你有因素，水平不一样？发布一些dput()，例如dput(DataFrame2[65,1:4])，或者如果那太长了dput(droplevels(DataFrame2[65,1:4]))，（另一行也类似）会让一切都清楚。
更有可能的是，如果您在两个框架上运行 str()，您会发现在第一列中，一个数据框架将它们作为一个因素，而另一个字符数据 (DTE)或者在不同的层次上，和第三列的时间，它们的形状是一样的，但它们可能是不同的时间格式，或者被列为不同层次的因素......使用str()来计算！
嗨，我添加了 dput 输出，我使用了 droplevels，因为输出非常大，我似乎无法上传文件。另外，我现在试试 str() 函数:)
关于str()，不同级别对数据有何影响？不幸的是，我并不真正熟悉该功能或其含义。你知道我应该怎么做来解决它吗？

标签： r dataframe merge

【解决方案1】：

# load data table library used for large data sets
library('data.table')

# convert factors into character
col1 <- colnames(df1)[sapply(df1, is.factor)]  # get columns that are factors for df1
col2 <- colnames(df2)[sapply(df2, is.factor)]  # get columns that are factors for df2

for(col in col1){   # df1
  set(df1, , col, as.character( df1[[col]] ) )    # for more info on set() function, read ?`:=`
}

for(col in col2){   # df2
  set(df2, , col, as.character( df2[[col]] ) )
}

# join two data frames by the selected columns in 'on' argument
setDT(df1)[df2, on = c('Instrument', 'RecordDate', 'HourMinuteSecond','MilliSecond')]   # setDT converts data frame to data table by reference
#    Instrument RecordDate HourMinuteSecond MilliSecond L1BidPrice L1BidVolume L1AskPrice L1AskVolume Midquote i.L1BidPrice i.L1BidVolume i.L1AskPrice i.L1AskVolume
# 1:        DTE   6/4/2012         16:10:27          42       6.91         520       6.92        3917     6.92            7             8            9            10
#    i.Midquote
# 1:         11

# merge function in data table is faster than the same function in base R function. You just convert data frame into data tables.
setDT(df1)
setDT(df2)
merge(df1, df2, by = c('Instrument', 'RecordDate', 'HourMinuteSecond','MilliSecond'))

数据：

df1 <- structure(list(Instrument = "DTE", RecordDate = "6/4/2012", HourMinuteSecond = "16:10:27", 
                      MilliSecond = 42L, L1BidPrice = 6.91, L1BidVolume = 520, 
                      L1AskPrice = 6.92, L1AskVolume = 3917, Midquote = 6.92), .Names = c("Instrument", 
                                                                                          "RecordDate", "HourMinuteSecond", "MilliSecond", "L1BidPrice", 
                                                                                          "L1BidVolume", "L1AskPrice", "L1AskVolume", "Midquote"), row.names = c(NA, -1L), class = "data.frame") 

df2 <- structure(list(Instrument = "DTE", RecordDate = "6/4/2012", HourMinuteSecond = "16:10:27", 
                      MilliSecond = 42L, L1BidPrice = 7, L1BidVolume = 8, L1AskPrice = 9, 
                      L1AskVolume = 10, Midquote = 11), .Names = c("Instrument", 
                                                                   "RecordDate", "HourMinuteSecond", "MilliSecond", "L1BidPrice", 
                                                                   "L1BidVolume", "L1AskPrice", "L1AskVolume", "Midquote"), row.names = 120486L, class = "data.frame")


df1
#    Instrument RecordDate HourMinuteSecond MilliSecond L1BidPrice L1BidVolume L1AskPrice L1AskVolume Midquote
# 1:        DTE   6/4/2012         16:10:27          42       6.91         520       6.92        3917     6.92

df2
#        Instrument RecordDate HourMinuteSecond MilliSecond L1BidPrice L1BidVolume L1AskPrice L1AskVolume Midquote
# 120486:        DTE   6/4/2012         16:10:27          42          7           8          9          10       11

【讨论】：

感谢您写出来，不过我还有另一个问题 - 原来我的 R 版本与 data.table 包不兼容（我有最新版本的 R/R Studio 所以它赢了'不安装）。你碰巧知道绕过它的方法吗？我一直在寻找解决方法，但还没有找到任何东西：/
devtools 也没有安装，它似乎也与我的 R 版本不兼容 :( 顺便感谢您的帮助
将 getRversion() 放入 RStudio 会得到“2.15.2”，例如，当我尝试安装 data.table 时，它会出现此消息（devtools 会出现类似的消息）：包到“C:/Users/Daniel/Documents/R/win-library/2.15”（因为“lib”未指定） install.packages 中的警告：包“data.table”不可用（对于 R 版本2.15.2)
非常感谢！我认为它工作正常！我只有最后一个问题：在您上面的答案（包含所有代码的那个）中，您有以下行： setDT(df1)[df2, on = c('Instrument', 'RecordDate', 'HourMinuteSecond','MilliSecond' )] 然后你写： setDT(df1) setDT(df2) merge(df1, df2, by = c('Instrument', 'RecordDate', 'HourMinuteSecond','MilliSecond'))。你写这个是为了展示如何有两种不同的方法来合并数据帧，或者这应该是最后一步吗？（希望我的问题可以理解）
非常感谢，非常感谢所有的帮助！是的，你的方法似乎给出了正确的结果，所以我认为它更好:)