假设您使用的是 Scala:
假设您获得DataFrame 如下:
val results : DataFrame = sqlContext.sql(...)
第 1 步:调用 results.printSchema()——这不仅会显示 DataFrame 中的列和(这很重要)它们的顺序,还会显示 Spark SQL 认为它们的类型。一旦你看到这个输出,事情就变得不那么神秘了。
第 2 步:从DataFrame 中获取RDD[Row]:
val rows: RDD[Row] = results.rdd
第 3 步:现在只需将您感兴趣的任何字段从各个行中提取出来。为此,您需要知道每个字段的从 0 开始的位置及其类型,幸运的是,您在上面的步骤 1 中获得了所有这些信息。例如,
假设您执行了SELECT x, y, z, w FROM ... 并打印了生成的架构
root
|-- x double (nullable = ...)
|-- y string (nullable = ...)
|-- z integer (nullable = ...)
|-- w binary (nullable = ...)
假设您想使用x 和z。您可以将它们拉到RDD[(Double, Integer)] 中,如下所示:
rows.map(row => {
// x has position 0 and type double
// z has position 2 and type integer
(row.getDouble(0), row.getInt(2))
})
从这里您只需使用 Core Spark 创建相关的 MLlib 对象。如果您的 SQL 返回数组类型的列,事情可能会变得更复杂一些,在这种情况下,您必须为该列调用 getList(...)。