【发布时间】:2014-08-05 18:24:04
【问题描述】:
这是 SPARK-SQL 特有的挑战,我无法应用两个突出显示的答案
我正在用 SPARK-SQL 编写复杂的数据处理逻辑。
这是我遵循的过程,
- 为具有所有属性的表定义案例类。
- 将其注册为表。
- 使用 SQLContext 进行查询。
我遇到了一个问题,因为 Scala 只允许 22 个参数,而我的表有 50 列。我能想到的唯一方法是破坏数据集,使其具有 22 个参数,然后在最后组合它们。它看起来不像一个干净的方法。有没有更好的方法来解决这个问题?
【问题讨论】:
-
嗨,这个问题略有不同,因为我在 SPARK-SQL 中应用它。 Spark 目前不针对 SCALA 2.11 构建,并且创建一个类(而不是案例类)不是一个选项,因为我需要应用聚合函数并且 SPARK-SQL 无法识别这一点..