【问题标题】:How can I instantiate a Scala case object in Python using Py4J?如何使用 Py4J 在 Python 中实例化 Scala 案例对象?
【发布时间】:2020-05-18 21:44:09
【问题描述】:

我有一个这样定义的 Scala 案例对象:

object DurationUnitsOfMeasure {
  sealed abstract class DurationUnitOfMeasure(val name : String)
  {
    override def toString : String = name
    lazy val initial: Char = name.charAt(2).toLower
  }
  case object Day extends DurationUnitOfMeasure("__DAY__")
  case object Week extends DurationUnitOfMeasure("__WEEK__")
  case object Month extends DurationUnitOfMeasure("__MONTH__")

  val durationUnitsOfMeasure : Seq[DurationUnitOfMeasure] = Seq(Day, Week, Month)
}

这被我正在编写的一些代码用来与 Spark 交互。我还想与 Python 中的代码进行交互,我已经使用 Py4J 成功完成了该代码,但是我现在想要从 Python/PySpark 实例化该案例对象的实例,但我不知道该怎么做它。

我在https://github.com/awslabs/deequ/issues/109#issuecomment-504220206 找到了一个有用的参考资料,它教我使用javap 来查找 DurationUnitsOfMeasure 的类结构

$ javap -classpath ../target/scala-2.11/foo_2.11-0.1-SNAPSHOT.jar com/package/DurationUnitsOfMeasure
Compiled from "File.scala"
public final class com.package.DurationUnitsOfMeasure {
  public static scala.collection.Seq<com.package.DurationUnitsOfMeasure$DurationUnitOfMeasure> durationUnitsOfMeasure();
}

这反过来又导致我编写了这个 python 代码:

# self.spark is an instance of SparkSession
jDurationsUnitsOfMeasure = getattr(
            self.spark._sc._jvm.com.package.DurationUnitsOfMeasure,
            "durationUnitsOfMeasure")

jDurationsUnitsOfMeasure 是一个&lt;py4j.java_gateway.JavaMember object at 0x7fc0dbb14850,我可以使用dir() 等常用的python 方法来查询它:

(Pdb) 目录(jDurationsUnitsOfMeasure)
['call', 'class', 'delattr', 'dict', 'dir ', 'doc', 'eq', '格式', 'ge', 'getattribute'、'gt'、'hash'、'init'、'init_subclass', 'le', 'lt', '模块', 'ne', ' new'、'reduce'、'reduce_ex'、'repr'、'setattr', 'sizeof', 'str', 'subclasshook', 'weakref', '_build_args '、'_gateway_doc'、'_get_args'、'command_header'、'container'、'converters'、'gateway_client'、'name'、'pool'、'stream'、'target_id']

但我不知道如何做我想做的事,即实例化DurationUnitsOfMeasure.Day 的实例。我试过这个:

jDurationsUnitsOfMeasureDay = getattr(
            self.spark._sc._jvm.com.package.DurationUnitsOfMeasure,
            "durationUnitsOfMeasure$Day")

但这只是因为错误而被炸毁:

py4j.protocol.Py4JError: com.package.DurationUnitsOfMeasure.durationUnitsOfMeasure$Day 在 JVM 中不存在

我感觉距离能够从 Python 实例化 DurationUnitsOfMeasure.Day 不远了,但我还没有解决。任何建议将不胜感激。

【问题讨论】:

    标签: py4j


    【解决方案1】:

    事实证明我过于复杂了。这有效:

    jDurationUnitsOfMeasure = self.spark._sc._jvm.scala.collection.JavaConversions.seqAsJavaList(
     self.spark._sc._jvm.com.package.DurationUnitsOfMeasure.durationUnitsOfMeasure())
    

    这会返回一个存在的py4j.java_collections.JavaList,因此可以将其视为一个好的 ol' Python 列表,因此我可以像处理任何其他 Python 列表一样操作它(我更喜欢列表推导式)。

    【讨论】:

      猜你喜欢
      • 2020-07-29
      • 2022-11-27
      • 1970-01-01
      • 1970-01-01
      • 2016-01-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多