按列值查询 Bigtable

Question

是否有任何编程方式可以在不使用 rowkey 和直接查询列值的情况下查询 Bigtable？

我假设我们可以将其作为 BigQuery 上的外部表，并通过 api 扫描整个 Bigtable 并应用过滤器。但是有没有更好的办法呢？

Answer 1

Bigtable 是基于行的数据存储，而 BigQuery 是基于列的数据存储，因此如果不进行全表扫描或使用 federated query，则无法执行您尝试执行的查询。如果您看到自己计划定期运行大量这样的查询，我建议您在 Bigtable 和 BigQuery 之间复制您的数据，这是一种相当常见的解决方案。您可以向当前的提取流程添加一个分支，也可以编写一个 Dataflow 作业，以定期安排的时间间隔将您的数据从一个转移到另一个。

Answer 2

其他选项是创建另一个表，将列中的值移动到键。您将以这种方式复制数据，但您可以快速搜索并进行范围扫描。