在scala中逐个单元格比较2 spark数据帧

Question

我正在将 hive 表中摄取的数据与该来源的数据进行比较，并将差异存储在 mariadb 表中没有主键，并且希望有一个优化解决方案，尽管我使用了 except 方法来检查我发现很难打印出同一行不同列的差异。

Answer 1

据我所知，在没有主键的情况下无法解决您的问题，因为在这种情况下，一个 DataFrame 的每一行都可能与另一个 DataFrame 的每一行不同，实际上您不想报告与其他 DataFrame 的每一行的区别。