【问题标题】:Batch processing job (Spark) with lookup table that's too big to fit into memory具有太大而无法放入内存的查找表的批处理作业 (Spark)
【发布时间】:2019-07-28 13:40:19
【问题描述】:

我正在尝试编写一个批处理作业来处理目前位于 HBase 数据库(在 AWS 中的 EMR 集群中)中的数百 TB,所有这些都在一个大表中。对于我正在处理的每一行,我需要从第二个 HBase 表中的查找表(一个简单的整数到字符串的映射)中获取额外的数据。我们将每行进行 5-10 次查找。

我当前的实现使用了一个 Spark 作业,它将输入表的分区分配给它的工作人员,形状如下:

Configuration hBaseConfig = newHBaseConfig();
hBaseConfig.set(TableInputFormat.SCAN, convertScanToString(scan));
hBaseConfig.set(TableInputFormat.INPUT_TABLE, tableName);

JavaPairRDD<ImmutableBytesWritable, Result> table = sparkContext.newAPIHadoopRDD(hBaseConfig, TableInputFormat.class, ImmutableBytesWritable.class, Result.class);
table.map(val -> { 
    // some preprocessing  
}).foreachPartition(p -> {
    p.forEachRemaining(row -> {
        // code that does the lookup
    });
});

问题是查找表太大而无法放入工人的记忆中。他们都需要访问查找表的所有部分,但他们的访问模式将极大地受益于缓存。

我是否认为我不能将简单的地图用作broadcast variable,因为它需要适应内存?

Spark 使用无共享架构,所以我想没有一种简单的方法可以在所有工作人员之间共享缓存,但我们可以为每个工作人员构建一个简单的 LRU 缓存吗?

如何实现这样一个本地工作缓存,在缓存未命中时从 HBase 中的查找表中获取数据?我可以以某种方式将第二个表的引用分发给所有工作人员吗?

除了作为数据源的 HBase 之外,我并没有确定我选择的技术。除了 Spark 之外,还有其他框架更适合我的用例吗?

【问题讨论】:

  • 为什么这样的缓存会比区域服务器缓存更好?如果我理解正确,为什么 executor-to-executor 网络会比 executor-RS 更好? RS 缓存经过高度优化。此外,您应该考虑批量读取而不是查询每一行的 hbase。
  • 我想到的缓存对于执行者来说是本地的,所以在这种情况下不需要往返。每个执行程序都会在 HBase 中一次查找一行所需的多个 ID,并将它们存储在自己的缓存中。考虑到我们数据的形状,我预计很快就会有很高的缓存命中率。

标签: apache-spark apache-spark-sql hbase batch-processing amazon-emr


【解决方案1】:

你有几个选项来处理这个要求:

1- 使用 RDD 或数据集连接

您可以将两个 HBase 表加载为 Spark RDD 或数据集,然后在查找键上执行 join。 Spark 会将 RDD 分成多个分区并随机播放内容,以便具有相同键的行最终在相同的执行程序上。 通过管理 spark 中的分区数量,您应该能够连接任意大小的 2 个表。

2- 广播解析器实例

您可以广播一个解析器实例,而不是广播地图,该实例执行 HBase 查找和临时 LRU 缓存。每个 executor 都会得到这个实例的一个副本,并且可以管理自己的缓存,你可以在 foreachPartition() 代码中调用它们。

请注意,解析器实例需要实现 Serializable,因此您必须将缓存、HBase 连接和 HBase 配置属性声明为 transient 以在每个执行器上进行初始化。

我在我维护的一个项目中在 Scala 中运行了这样的设置:如果您了解访问模式并有效地管理缓存,它可以工作并且比直接 Spark 连接更有效

3- 使用 HBase Spark 连接器来实​​现您的查找逻辑

Apache HBase 最近合并了改进的HBase Spark connectors 文档现在非常稀少,您需要查看 JIRA 票证和这些工具先前化身的文档 Cloudera's SparkOnHBase 但the test suite 中的最后一个单元测试看起来很像你想要的

不过,我没有使用此 API 的经验。

【讨论】:

  • 谢谢,广播解析器帮了我的忙。由于我的数据的形状,需要多个连接以及预处理。
  • @BjörnMarschollek 我只是想知道#2 看起来如何你正在建立一个连接(对于每个分区)并使用 get 请求到 hbase 以便它会很快?如果是的话.. 我完全同意 rluta。因为它对底层连接的压力会更小......网络等......我曾经为mapreduce hbasae解决方案的性能调整工作过一段时间......你能用spark显示你的解决方案的psedo代码吗?可以根据 rlutas 的建议将其发布为另一个答案。这对处理相同案例的未来用户很有用。
猜你喜欢
  • 2014-01-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-12-16
  • 2015-11-18
  • 1970-01-01
  • 2011-09-09
  • 1970-01-01
相关资源
最近更新 更多