使用 sparkR 列

Question

SparkR Column 提供了一长串有用的方法，例如“isNull”，但在 sparkR 中我在使用它们时遇到了问题。我像这样在 R 中运行 sparkR

cd /home/ole/R/spark-1.4.0 ./bin/sparkR --packages com.databricks:spark-csv_2.10:1.0.3 sqlContext

例如当我输入这个 u=c() isNull(u) 我收到这条消息 （函数（类，fdef，mtable）中的错误： 无法为签名“NULL”找到函数“isNull”的继承方法

Answer 1

这是因为 isNull 需要 DataFrame 的列而不是向量。它检查条目是否为 NULL，它的工作原理如下：

a   <- createDataFrame(sqlContext,data.frame(b=c("a","b",NA,"c"),c=c(1,2,3,4)))
a$d <- isNull(a$b)
collect(a)

它还返回一个（逻辑）列，这就是我将它附加到 DataFrame 的原因。但是您会注意到 SparkR 没有将 NA 存储为 NULL，因此所有逻辑都是 FALSE，但您已经看到该函数是如何工作的。