从流式数据流访问 Bigtable 的最佳实践是什么

Question

我需要在流数据流作业的转换中访问大表。据我所知，有两种方法：

1) 我们可以从 DoFn 的 startBundle 方法创建到 bigtable 的连接，并在 processElement 方法中从 bigtable 访问数据。在这种方法中，dataflow sdk 每次新元素进入流时都会创建到 Bigtable 的新连接。

2）在创建转换obj时创建bigtable连接并在processElement方法中使用它，但是dataflow sdk创建了obj，将其序列化并在工作节点中重新创建它，所以连接在工作节点中仍然处于活动状态吗？还是在流模式下，长时间打开 bigtable 连接好不好？

或者有没有其他有效的方法来实现这一点。

谢谢。

Answer 1

AbstractCloudBigtableTableDoFn 以我们能想到的最佳方式维护连接，这实际上是每个 VM 的单例。它有一个getConnection() 方法，允许您以托管方式访问Connection。

FWIW，该类位于 bigtable-hbase-dataflow 项目中，而不是 DataflowSDK。