【问题标题】:What are the advantages of SpecificMutableRow in Spark SQL?Spark SQL中SpecificMutableRow的优势是什么?
【发布时间】:2015-01-16 18:03:16
【问题描述】:

从 cmets 看来:

可变容器对象的父类,在值更改时重用, 从而减少垃圾。

保存数组专用容器对象的行类型,类型为 MutableValue,已选择 基于每列的数据类型。目的是在修改时减少垃圾 原始列的值。

来源 - https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/SpecificMutableRow.scala

谁能解释它是如何有效的?仅仅是避免拳击就足够了吗?

【问题讨论】:

    标签: scala jvm apache-spark apache-spark-sql


    【解决方案1】:

    它避免了存储中的装箱,但这在与另一个特定接口(即 parquet 阅读器或代码生成的表达式评估)结合使用时非常有用。

    另一个优点是它可以重复使用(与通用行不同)。因此,对于许多操作,它可以在不分配任何对象的情况下对一系列数据进行操作。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-10-27
      • 2014-08-03
      • 2015-03-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-02-12
      • 1970-01-01
      相关资源
      最近更新 更多