【问题标题】:Spark StructType VS Case ClassSpark StructType VS 案例类
【发布时间】:2020-11-13 07:05:40
【问题描述】:

我知道Case Class 是最小的常规类,StructType 是一个 spark 数据类型,它是 StructFields 的集合。

但我们可以同时使用Case ClassStructType 以类似的方式创建数据帧和其他用例。

想了解

  • 在什么情况下我们应该选择一个而不是另一个以及为什么?
  • 在某些情况下我们必须使用其中一个,而不能使用另一个?

【问题讨论】:

标签: scala apache-spark apache-spark-sql


【解决方案1】:

没有真正的方面来定义现在哪个更好。

Case 有 22 个字段的限制,但不再是这种情况了。

我觉得case 比定义结构更容易使用。回答 irt 数据帧。

【讨论】:

    猜你喜欢
    • 2016-08-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-13
    • 2017-12-13
    • 2015-05-20
    • 2019-06-11
    • 1970-01-01
    相关资源
    最近更新 更多