从 Databricks 从 VM 读取文件

Question

我想从数据块中的 VM 读取文件。 我能够从 Databricks 驱动程序 SFTP 到 VM。但是我想使用 spark.read 阅读。 我试过了：

val read_input_df = spark.read
.format("com.springml.spark.sftp")
.option("host", "SFTP_HOST")
.option("username", "username")
.option("password", "password")
.option("fileType", "csv")
.load("/home/file1.csv")

出现错误 NoClassDefFoundError：scala/Product$class。 有没有人成功做到这一点？

Answer 1

问题是您在使用 Scala 2.12 (7.x/8.x/9.x/10.x) 的 Databricks 集群运行时上使用为 Scala 2.11 编译的库。目前还没有 Spark 3.x/Scala 2.12 的发布版本，但是有一个pull request，您可以尝试自己编译和使用。

另一种方法是先通过 SFTP 将文件复制到 DBFS（例如，here），然后照常打开。