【发布时间】:2020-05-18 21:44:09
【问题描述】:
我有一个这样定义的 Scala 案例对象:
object DurationUnitsOfMeasure {
sealed abstract class DurationUnitOfMeasure(val name : String)
{
override def toString : String = name
lazy val initial: Char = name.charAt(2).toLower
}
case object Day extends DurationUnitOfMeasure("__DAY__")
case object Week extends DurationUnitOfMeasure("__WEEK__")
case object Month extends DurationUnitOfMeasure("__MONTH__")
val durationUnitsOfMeasure : Seq[DurationUnitOfMeasure] = Seq(Day, Week, Month)
}
这被我正在编写的一些代码用来与 Spark 交互。我还想与 Python 中的代码进行交互,我已经使用 Py4J 成功完成了该代码,但是我现在想要从 Python/PySpark 实例化该案例对象的实例,但我不知道该怎么做它。
我在https://github.com/awslabs/deequ/issues/109#issuecomment-504220206 找到了一个有用的参考资料,它教我使用javap 来查找 DurationUnitsOfMeasure 的类结构
$ javap -classpath ../target/scala-2.11/foo_2.11-0.1-SNAPSHOT.jar com/package/DurationUnitsOfMeasure
Compiled from "File.scala"
public final class com.package.DurationUnitsOfMeasure {
public static scala.collection.Seq<com.package.DurationUnitsOfMeasure$DurationUnitOfMeasure> durationUnitsOfMeasure();
}
这反过来又导致我编写了这个 python 代码:
# self.spark is an instance of SparkSession
jDurationsUnitsOfMeasure = getattr(
self.spark._sc._jvm.com.package.DurationUnitsOfMeasure,
"durationUnitsOfMeasure")
jDurationsUnitsOfMeasure 是一个<py4j.java_gateway.JavaMember object at 0x7fc0dbb14850,我可以使用dir() 等常用的python 方法来查询它:
(Pdb) 目录(jDurationsUnitsOfMeasure)
['call', 'class', 'delattr', 'dict', 'dir ', 'doc', 'eq', '格式', 'ge', 'getattribute'、'gt'、'hash'、'init'、'init_subclass', 'le', 'lt', '模块', 'ne', ' new'、'reduce'、'reduce_ex'、'repr'、'setattr', 'sizeof', 'str', 'subclasshook', 'weakref', '_build_args '、'_gateway_doc'、'_get_args'、'command_header'、'container'、'converters'、'gateway_client'、'name'、'pool'、'stream'、'target_id']
但我不知道如何做我想做的事,即实例化DurationUnitsOfMeasure.Day 的实例。我试过这个:
jDurationsUnitsOfMeasureDay = getattr(
self.spark._sc._jvm.com.package.DurationUnitsOfMeasure,
"durationUnitsOfMeasure$Day")
但这只是因为错误而被炸毁:
py4j.protocol.Py4JError: com.package.DurationUnitsOfMeasure.durationUnitsOfMeasure$Day 在 JVM 中不存在
我感觉距离能够从 Python 实例化 DurationUnitsOfMeasure.Day 不远了,但我还没有解决。任何建议将不胜感激。
【问题讨论】:
标签: py4j