【问题标题】:Exporting/importing specific column families of bigtable导出/导入 bigtable 的特定列族
【发布时间】:2016-12-11 01:20:38
【问题描述】:

我的团队正在考虑导出/导入大表数据,但只是出于技术问题考虑列族的一个子集(不是全部)。

这些文档似乎表明只能对整个 bigtable 进行导出/导入。

https://cloud.google.com/bigtable/docs/exporting-sequence-files https://cloud.google.com/bigtable/docs/importing-sequence-files

由于 bt 的大小,我们希望避免导出整个 bt(并且我们只需要备份/恢复特定的列族)。

也许有一个我们不知道的简单解决方案,所以我想我会在这里问。

我们想到的另一种方法是使用 Dataflow 扫描特定的列族,将数据转储到 GCS(通过保留快照),并在需要时恢复数据。但是如果我们不需要使用 Dataflow,那对我们来说会是一个更好的解决方案。

任何帮助和建议将不胜感激!

【问题讨论】:

    标签: google-cloud-bigtable


    【解决方案1】:

    您目前可以在命令行上通过-Dhbase.mapreduce.scan.column.family=<your_family> 设置单个列族。

    我们目前正在努力改进我们的导入/导出流程。如果您愿意,您可以在我们的github issues 中请求增强功能,我们应该能够很快实现它。以下应该比较容易实现,但目前还没有实现:

    -Dhbase.mapreduce.scan.column.families=<your families separated by commas>
    

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-03-10
    • 2023-03-26
    • 2018-03-09
    • 2015-09-06
    • 2020-09-26
    • 1970-01-01
    • 2015-07-11
    • 1970-01-01
    相关资源
    最近更新 更多