Azure Databricks：使用 Spark SQL 的地理空间查询

Question

目前我有以下：

• 带有带有设备、位置和时间戳的表格的数据块；
• Web Api 以 minLat、minLon、maxLat、maxLon 接收请求并创建一个 sql 查询，其中 lat 介于 minLat 和 maxLat 之间，lon 介于 minLon 和 maxLon 之间；
• 函数将接收从 Web API 生成的查询，并与数据块中的集群创建 JDBC 连接以执行查询；

我想看看我是否可以通过一些空间库来改进“minLat 和 maxLat 之间的纬度以及 minLon 和 maxLon 之间的 lon”。我检查的一个这样的例子是 GeoSpark。这里的问题是当前版本的 GeoSpark（和 GeoSParkSql）仅适用于 spark v2.3，并且 databricks 中没有支持的运行时适用于该版本。

任何想法我能做什么？

注意：我现在不能偏离 SQL。

Answer 1

GeoSpark 以Apache Sedona project 身份加入 Apache 基金会，支持 Spark 3.0 的版本大约在 2 周前发布，因此您可以像 GeoSpark 一样使用它。

附：为了自动注册函数，我们可以创建类似这样的东西，编译成 jar，然后使用 --conf spark.sql.extensions=...SomeExtensions 配置 Spark：

class SomeExtensions extends (SparkSessionExtensions => Unit) {
  def apply(e: SparkSessionExtensions): Unit = {
    e.injectCheckRule(spark => {
      // Setup something
      _ => Unit
    })
  }
}