构建 Scala 库并在数据块中使用它们

Question

我对 scala 有相当的了解，我在数据块中使用它来满足我的数据工程需求。我想创建一些可以在所有其他笔记本中使用的客户库。这就是我要找的东西

1. 创建一个 scala 笔记本 helperfunctions.scala，它将具有 ParseUrl()、GetUrl() 等函数

2. 在 databricks 集群上部署这些库

3. 使用 'import from helperfunctions as fn' 从另一个笔记本调用这些库并使用函数

你能告诉我如何开始吗？数据块提供什么？

Answer 1

我建议不要将笔记本用作导入。

您可以使用您喜欢的工具从纯 JVM 代码编译和打包您的函数作为 JAR，然后将其上传到 JitPack 或 GitHub Packages，然后您可以将您的实用程序导入为 Maven 参考 like other Spark dependencies