Apache Ignite 到 Amazon S3 的连接答案

【问题标题】：Apache Ignite to Amazon S3 connectivityApache Ignite 到 Amazon S3 的连接
【发布时间】：2017-09-29 08:27:03
【问题描述】：

我想知道如何将数据从 Amazon S3 加载到 Apache Ignite 集群？需要单节点还是多节点集群？

【问题讨论】：

您是否找到了现有的解决方案，还是必须编写自己的连接器？
我会使用 spark + ignite 更容易，github.com/apache/ignite/blob/…github.com/apache/ignite/blob/…

标签： ignite

【解决方案1】：

您可以将数据加载到任何集群、单节点或多节点，只要您的数据集适合该集群的内存即可。有关数据加载的信息，请参阅此文档页面：https://apacheignite.readme.io/docs/data-loading

【讨论】：

【解决方案2】：

您可以使用 Spark + Ignite 作为解决方法，使用 spark 读取 S3，然后写入 ignite，如 Ignite 示例中所述。

另外，您可以使用 spark 结构化流式触发器一次，将增量文件写入 Ignite，结合 spark 结构化流式传输和 ignite。

不确定 spark 是否覆盖 ignite 表解决方法是在现有 ignite 数据上创建数据框并合并所有最新数据，然后覆盖 ignite 表。

【讨论】：