使用 Java 在 Spark 中键入安全连接

Question

我有两个数据集，我正在使用 java 加入它们，如下所示

Dataset<Row> joineddata = ds1.join(ds2, col("col1").equalTo(col("col2")), "inner");

谁能告诉我如何使用 java 以类型安全的方式在 Apace Spark 中加入两个数据集。我可以在 scala 中找到类型安全连接的示例。但是我用 java 找不到。

谁能给我一个链接或与此相关的东西

Answer 1

恕我直言，我认为您目前还做不到。

scala 社区已经实现了这个：https://github.com/typelevel/frameless。但由于它使用的是 Cats，因此很难将其移植到 Java 中。即使有了这个库，您也不再需要处理原生 Spark，因此并非所有 Spark API 都支持无框架。

一旦你加入 2 个数据集，你就会得到数据框，因此失去了类型安全性。 row.getAs 基本上是类型转换，所以 RT 异常是不可避免的。