【问题标题】:How does a Hadoop or Spark connector for distributed data stores function?用于分布式数据存储的 Hadoop 或 Spark 连接器如何工作?
【发布时间】:2016-02-26 07:24:34
【问题描述】:

Spark 具有用于各种数据库和数据存储的连接器。

但是,为您自己的自定义分布式数据库创建连接器需要什么。 据我了解,Spark 使用 Hadoop 连接器从分布式数据存储中获取数据。我找不到很好的资源来了解 Hadoop 连接器的工作原理以及如何制作。

我希望了解 Hadoop 连接器的语义,以便能够为我的自定义数据库创建一个。

【问题讨论】:

    标签: hadoop apache-spark distributed-computing


    【解决方案1】:

    您必须使用 Java 和 Hadoop API 实现一个记录读取器

    然后Spark就可以使用了

    我的建议是从阅读 Tom White 的书开始

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-05
    • 2017-05-22
    • 1970-01-01
    • 1970-01-01
    • 2019-09-01
    • 2011-02-17
    • 2014-12-26
    相关资源
    最近更新 更多