在 Databricks Notebook 上将 Scala Map 转换为 Object 时出现问题答案

【问题标题】：Issue while converting Scala Map to Object on Databricks Notebook在 Databricks Notebook 上将 Scala Map 转换为 Object 时出现问题
【发布时间】：2021-10-12 10:43:48
【问题描述】：

Issue

我有一个场景，我需要将 scala Map 转换为案例类对象，并且借助以下参考资料，我能够在本地实现它（scala 版本 2.12.13）：

但是当我尝试在 Databricks 笔记本中运行相同的代码块时，它会引发错误：

IllegalArgumentException: Cannot construct instance of '$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$Test' (although at least one Creator exists): can only instantiate non-static inner class by using default, no-argument constructor at [Source: UNKNOWN; line: -1, column: -1]

集群配置：Databricks 运行时 8.2（包括 Spark 3.1.1、Scala 2.12）。完整代码请参考截图。

解决方法（不建议）：

def workaround(map: Map[String, Any]): Test = {
  Test(
    map("k1").asInstanceOf[Int],
    map("k2").asInstanceOf[String],
    map("k3").asInstanceOf[String],
  )
}

val result = workaround(myMap)

关于如何解决此问题的任何想法？

【问题讨论】：

标签： azure scala apache-spark databricks

【解决方案1】：

这在我看来像是两种可能性之一。

首先，我们应该仔细检查本地运行时环境和 databricks 运行时环境中的某些内容是否存在版本不匹配。您可以查看this page 以获取 DBR 8.2 中包含的所有库版本的列表。特别是，我会检查您的本地环境，以确保您运行的是相同版本的 jackson (2.10.0)。

其次，这可能是 Databricks 实现其笔记本的方式与 jackson 的限制之间的交互。 databricks 笔记本的每个命令都包含在一个随机名称的package object 中。例如，我可以从异常中看出包含您的Test 类定义的包对象被称为$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw。（我说它被命名为，因为每次您重新运行命令时，它都会生成一个新的包对象）。这意味着所有类（和其他类型的类型定义）在放入笔记本时实际上都是path dependent types。更具体地说，对于这种情况，您的 Test 类是包对象的内部类。根据错误消息和一些简短的文档阅读，我怀疑 Jackson 无法序列化路径相关类型。

【讨论】：