【发布时间】:2017-05-18 04:47:07
【问题描述】:
Spark 数据源 API 是否存在任何官方文档。我只能从 DataBricks 教程中找到示例/示例实现信息。
【问题讨论】:
-
你到底要什么? Spark 的 DataSource API 的哪一部分不够清楚,需要更详细的解释?
标签: apache-spark
Spark 数据源 API 是否存在任何官方文档。我只能从 DataBricks 教程中找到示例/示例实现信息。
【问题讨论】:
标签: apache-spark
因此没有任何官方文档说明如何使用 spark 创建您自己的自定义数据源,因为它在 spark 开发人员 api 中。我们仍然有一些不错的博客,您可以查看它们可能会有所帮助。我在这里提到了一些博客
http://sparkdatasourceapi.blogspot.nl/2016/10/spark-data-source-api-write-custom.html
https://michalsenkyr.github.io/2017/02/spark-sql_datasource
这里也有一些示例代码,请在下面查看
https://github.com/VishvendraRana/spark-custom-datasource
如果您想检查使用 spark 数据源 api 的真实项目,请检查 apache carbondata
【讨论】: