在 Databricks 上安装 GeoMesa

Question

我正在尝试在 Azure Databricks（Databricks 版本 6.6 / Scala 2.11）中安装 GeoMesa - 尝试关注 this tutorial

如前所述，我已使用 Maven Coordinates org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2 在 DataBricks 中安装 GeoMesa。

但是，当我运行 import org.locationtech.geomesa.spark.GeoMesaSparkKryoRegistrator 时，它告诉我找不到它。

本教程中的所有其他导入都可以正常工作：

import org.locationtech.jts.geom._
import org.locationtech.geomesa.spark.jts._

我查看了 Geomesa 的 github，似乎是正确的位置。

我对 Java / Scala / Jars 不是很熟悉。

不确定我还有什么其他方法可以解决这个问题。

提前感谢您的帮助！

Answer 1

好问题！本教程似乎有一个小错误。 GeoMesaSparkKryoRegistrator 用于管理 Spark 中 SimpleFeatures 的序列化。

本教程似乎没有使用 SimpleFeatures（至少截至 2020 年 8 月）。因此，这种导入可能是不必要的。您应该能够通过跳过导入和注册 GeoMesaSparkKryoRegistrator 来取得进展。

导入的模块仅提供在 Spark 中实现基本几何支持所需的空间类型和功能。要在 Spark 中利用 GeoMesa 的数据存储，可以导入 GeoMesa 数据库特定的 spark-runtime jar。由于这些数据存储使用 GeoTools SimpleFeatures，因此该 jar 将包含 GeoMesaSparkKryoRegistrator，其使用类似于该笔记本和 geomesa.org 上的文档中的内容。