spark-solr中的火花数据框联合数据框答案

【问题标题】：spark dataframe union dataframe in spark-solrspark-solr中的火花数据框联合数据框
【发布时间】：2016-07-09 15:25:42
【问题描述】：

我从 solr 查询了许多数据帧。这些数据框将联合一个数据框

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

def qmap(filter: String, options: Map[String, String]): DataFrame = {
    val qm = Map(
        "query" -> filter
    )
    val df = sqlContext.read.format("solr").options(options).options(qm).load
    return df
}

val dfs = sub.map(x => qmap(x,subject_options)).reduce((x,y) => x.unionAll(y))

但是，对 dfs 的操作计数有一些例外。

请给我一些解决方法或想法。谢谢。

【问题讨论】：

标签： apache-spark solr apache-spark-sql spark-dataframe

【解决方案1】：

替换

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

与

var sub = sc.textFile("file:/home/zeppelin/query_term.txt").collect

【讨论】：

您可能会考虑详细说明您的答案，以防将来访问此问题的访问者不熟悉“.collect”。欢迎使用 StackOverflow 并感谢您的贡献。