如何为 Spark Dataframe 创建自定义编写器？

【问题标题】：How to create custom writer for Spark Dataframe?如何为 Spark Dataframe 创建自定义编写器？
【发布时间】：2021-03-30 14:07:59
【问题描述】：

如何为 Spark Dataframe 创建自定义写入格式以像 df.write.format("com.mycompany.mydb").save() 一样使用它？我已尝试通读 Datastax Cassandra 连接器代码，但仍无法弄清楚

【问题讨论】：

【解决方案1】：

Spark 3.0 彻底改变了 API。一些新的接口，例如TableProvider 和 SupportsWrite 已添加。

您可能会发现 this guide 很有帮助。

【讨论】：

【解决方案2】：

使用 Spark 的DataSourceV2。

如果您使用的是 Spark 版本

【讨论】：