【问题标题】:How to enforce readr to consider correct decimal/grouping mark?如何强制阅读器考虑正确的小数/分组标记?
【发布时间】:2020-09-15 17:46:06
【问题描述】:

具有欧洲数字格式样式 (1234.56 -> 1.234,56) 的 csv 文件应由 readr 函数或 fread() 处理。尽管read_csv2() 应该是专门为这个任务设计的,但它基本上忽略了规范。它只会自动猜测数字格式。如果第一个多于 3 位的数字仅出现在文件的末尾,即在达到 guess_max 之后(默认为 1000),这是有问题的。

如何以编程方式强制执行正确的格式设置?

library(readr)

data <- data.frame(var1 = c("", 4, 5, "124.392,45"),
                   var2 = c(1, 2, "4.783.194,43", 7))
write_csv2(data, "data.csv")

read_csv2("data.csv", guess_max = 2, 
          locale = locale(decimal_mark = ",", grouping_mark = "."))
# # A tibble: 4 x 2
#   var1  var2
#   <dbl> <dbl>
# 1    NA     1
# 2     4     2
# 3     5    NA
# 4    NA     7

read_csv2("data.csv", guess_max = 3, 
          locale = locale(decimal_mark = ",", grouping_mark = "."))
# # A tibble: 4 x 2
#   var1  var2
#   <dbl> <dbl>
# 1    NA     1
# 2     4     2
# 3     5    4783194.
# 4    NA     7

read_delim("data.csv", delim = ";", guess_max = 3, 
          locale = locale(decimal_mark = ",", grouping_mark = "."))
# # A tibble: 4 x 2
#   var1  var2
#   <dbl> <dbl>
# 1    NA     1
# 2     4     2
# 3     5    4783194.
# 4    NA     7

【问题讨论】:

  • 好奇:可以设置guess_max = Inf吗?
  • 仍有可能收到警告消息:Warning message: guess_max` 是一个非常大的值,设置为21474836 以避免耗尽内存` 另外,这在某种程度上只是规避了问题。当然,我可以查看数据中的行数或检查第一个大数出现的位置,但这相当麻烦。特别是当应该有论据来处理这个确切的问题时

标签: r csv fread readr


【解决方案1】:

事先设置col_types 似乎有帮助。在这种情况下,数字。

col_number() [n], numbers containing the grouping_mark

result <- read_csv2("data.csv", 
          # guess_max = 2, not needed if col_types are specified
          col_types = cols(var1 = col_number(),
                           var2 = col_number()),
          locale = locale(decimal_mark = ",", grouping_mark = "."))

result
# A tibble: 4 x 2
     var1     var2
    <dbl>    <dbl>
1     NA        1 
2      4        2 
3      5  4783194.
4 124392.       7 

正如 Adam 指出的,如果设置 col_types,则无需猜测,因为 col_types 需要与您要读取的列的长度相同。

【讨论】:

  • 在这种情况下,您将删除 guess_max 参数。只需read_csv2("data.csv", col_types = "nn") 即可。
  • 啊,感谢您为我指明了正确的方向。我错过了col_number()
  • 我可能会大胆地编辑您的答案以使其更加精确/详细
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-07-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多