在 SparkR 中处理重复的列

Question

我正在解决一个问题，我需要加载大量 CSV 并使用 SparkR 对它们进行一些聚合。

• 我需要尽可能地推断架构（因此检测整数等）。
• 我需要假设我无法对架构进行硬编码（未知数量的 每个文件中的列或无法仅从列名推断架构）。
• 我无法从具有重复标头值的 CSV 文件推断架构 - 它根本不允许您这样做。

我像这样加载它们：

df1 <- read.df(sqlContext, file, "com.databricks.spark.csv", header = "true", delimiter = ",")

加载正常，但是当我尝试运行任何类型的作业（甚至是简单的count()）时，它会失败：

  java.lang.IllegalArgumentException: The header contains a duplicate entry: # etc

我尝试重命名架构中的标题：

new <- make.unique(c(names(df1)), sep = "_")
names(df1) <- new
schema(df1) # new column names present in schema

但是当我再次尝试 count() 时，我得到了与以前相同的重复错误，这表明它引用了旧的列名。

我觉得有一个非常简单的方法，如果有，请提前道歉。有什么建议吗？

Answer 1

spark csv 包目前似乎没有办法按索引跳过行，如果你不使用 header="true"，你的带有欺骗的标题将成为第一行，这会弄乱你的模式推断。如果您碰巧知道带有欺骗的标题以哪个字符开头，并且知道没有其他行将以该字符开头，则可以将其放入注释字符设置中，该行将被跳过。例如。

df <- read.df(sqlContext, "cars.csv", "com.databricks.spark.csv",header="false", comment="y",delimiter=",",nullValue="NA",mode="DROPMALFORMED",inferSchema="true"‌​)