【发布时间】：2018-01-17 12:13:37
【问题描述】：
我看到 spark avro 数据源是基于 FileFormat 接口实现的。 有没有关于如何基于 FileFormat 编写 spark 自定义数据源的文档？到目前为止，我找不到任何东西（除了 spark avro 的源代码）。
谢谢！
【问题讨论】：
【发布时间】：2018-01-17 12:13:37
【问题描述】：
这是一个简单的基于文件的 spark 数据源示例：https://hackernoon.com/extending-our-spark-sql-query-engine-5f4a088de986
以下还有几个实现数据源 API 的示例： * https://github.com/databricks/spark-csv * https://github.com/databricks/spark-avro
【讨论】：
Spark 在版本 3 中更改了 API，请参阅 link 了解如何在新 API 中创建自定义数据源。
请注意，此 API 被注释为不断发展，因此将来可能会发生变化。
【讨论】：