【发布时间】:2019-07-28 13:40:19
【问题描述】:
我正在尝试编写一个批处理作业来处理目前位于 HBase 数据库(在 AWS 中的 EMR 集群中)中的数百 TB,所有这些都在一个大表中。对于我正在处理的每一行,我需要从第二个 HBase 表中的查找表(一个简单的整数到字符串的映射)中获取额外的数据。我们将每行进行 5-10 次查找。
我当前的实现使用了一个 Spark 作业,它将输入表的分区分配给它的工作人员,形状如下:
Configuration hBaseConfig = newHBaseConfig();
hBaseConfig.set(TableInputFormat.SCAN, convertScanToString(scan));
hBaseConfig.set(TableInputFormat.INPUT_TABLE, tableName);
JavaPairRDD<ImmutableBytesWritable, Result> table = sparkContext.newAPIHadoopRDD(hBaseConfig, TableInputFormat.class, ImmutableBytesWritable.class, Result.class);
table.map(val -> {
// some preprocessing
}).foreachPartition(p -> {
p.forEachRemaining(row -> {
// code that does the lookup
});
});
问题是查找表太大而无法放入工人的记忆中。他们都需要访问查找表的所有部分,但他们的访问模式将极大地受益于缓存。
我是否认为我不能将简单的地图用作broadcast variable,因为它需要适应内存?
Spark 使用无共享架构,所以我想没有一种简单的方法可以在所有工作人员之间共享缓存,但我们可以为每个工作人员构建一个简单的 LRU 缓存吗?
如何实现这样一个本地工作缓存,在缓存未命中时从 HBase 中的查找表中获取数据?我可以以某种方式将第二个表的引用分发给所有工作人员吗?
除了作为数据源的 HBase 之外,我并没有确定我选择的技术。除了 Spark 之外,还有其他框架更适合我的用例吗?
【问题讨论】:
-
为什么这样的缓存会比区域服务器缓存更好?如果我理解正确,为什么 executor-to-executor 网络会比 executor-RS 更好? RS 缓存经过高度优化。此外,您应该考虑批量读取而不是查询每一行的 hbase。
-
我想到的缓存对于执行者来说是本地的,所以在这种情况下不需要往返。每个执行程序都会在 HBase 中一次查找一行所需的多个 ID,并将它们存储在自己的缓存中。考虑到我们数据的形状,我预计很快就会有很高的缓存命中率。
标签: apache-spark apache-spark-sql hbase batch-processing amazon-emr