来自 data.table 包的 fread 无法读取小数字

Question

我正在使用来自data.table 的fread() 有效地将大型矩形CSV 文件读入R，这些文件都是double（并且只有double）值——没有丢失元素。

但是，如果我的科学记数法中的数字非常小，它会转换为字符，从而破坏整个阅读过程。这是错误信息（例如，每个小数字有多个）：

16：在 fread("SomeCSVFile") 中：
碰撞列 560 以在数据行 16799 上键入字符，字段包含“-2.1412168512924677E-308”。将此列中先前读取的值从整数或数字强制转换回可能不是无损的字符；例如，如果 '00' 和 '000' 在它们现在只是 '0' 之前出现，并且对 ',,' 和 ',NA,' 的处理也可能存在不一致（如果它们在颠簸之前出现在此列中）。如果这很重要，请重新运行并将此列的“colClasses”设置为“字符”。请注意，列类型检测使用前 5 行、中间 5 行和最后 5 行，因此希望此消息应该很少见。如果向 datatable-help 报告，请重新运行并包含 verbose=TRUE 的输出。

我希望函数将它们设置为零或将它们截断为可能的最小值（两者都可以）。

Answer 1

为了重现这一点，我将此内容放在一个文本文件中：

x
1
1
1
1
1
1e-309

然后我打电话给fread("that file.txt")。

---

R能存储的最小正数的大小是

format(.Machine$double.xmin, digits = 22)
## [1] "2.2250738585072013828e-308"

您的数据文件包含值-2.1412168512924677E-308，小于此限制。为了防止 R 将该值视为零，data.table 包已将该列转换为字符串。这样可以防止数据精度丢失。

如果您需要使用此大小的值，请使用Rmpfr 包以更精确地存储数字。将它们作为字符导入（使用colClasses；请参阅该数据表警告文本）。然后使用

library(Rmpfr)
mpfr("-2.1412168512924677E-308")
## 1 'mpfr' number of precision  70   bits 
## [1] -2.1412168512924676999992e-308

---

正如 Ben Bolker 在 cmets 中所说的那样。如果您不关心微小的数字，而只想将它们视为零，则将该列导入为字符，然后使用as.numeric。

the_data <- fread("the file.txt", colClasses = "character")
the_data$DodgyColumn <- as.numeric(the_data$DodgyColumn)