HBase 上的 GeoMesa 导入速度更快

Question

我在 HBase v1.2.6 上使用 GeoMesa v1.4.0。 目前我在 HBaseQuickStart 类的帮助下导入和索引我的数据。不幸的是，大文件的运行时间很长。 有人知道使用 GeoMesa 进行 bulkLoad 以加快我的流程吗？ 提前致谢！

Answer 1

GeoMesa 开箱即用，通过二进制分发命令行工具提供摄取。您必须定义一个“转换器”文件，其中包含从输入文件到简单特征类型的映射。一旦你有了它，你就可以使用多个线程在本地运行，或者使用 map/reduce 远程运行。 Accumulo 命令的文档是here，HBase 命令的工作方式相同，但参数略有不同。安装 HBase 工具的文档是here。

如果您想保留 Java 提取代码，那么您需要进行一些自定义操作。有一个写map-reduce摄取的例子here。