【问题标题】:Where can I find documentation for Spark Data source API?在哪里可以找到 Spark 数据源 API 的文档?
【发布时间】:2017-05-18 04:47:07
【问题描述】:

Spark 数据源 API 是否存在任何官方文档。我只能从 DataBricks 教程中找到示例/示例实现信息。

【问题讨论】:

  • 你到底要什么? Spark 的 DataSource API 的哪一部分不够清楚,需要更详细的解释?

标签: apache-spark


【解决方案1】:

因此没有任何官方文档说明如何使用 spark 创建您自己的自定义数据源,因为它在 spark 开发人员 api 中。我们仍然有一些不错的博客,您可以查看它们可能会有所帮助。我在这里提到了一些博客

http://sparkdatasourceapi.blogspot.nl/2016/10/spark-data-source-api-write-custom.html

https://michalsenkyr.github.io/2017/02/spark-sql_datasource

这里也有一些示例代码,请在下面查看

https://github.com/VishvendraRana/spark-custom-datasource

如果您想检查使用 spark 数据源 api 的真实项目,请检查 apache carbondata

https://github.com/apache/carbondata

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-05-15
    • 1970-01-01
    • 2011-11-06
    • 2020-10-06
    • 1970-01-01
    • 2013-09-04
    • 2018-02-20
    • 1970-01-01
    相关资源
    最近更新 更多