将 Google Cloud Storage 数据加载到 bigtable

Question

有没有简单的方法或示例将Google Cloud Storage 数据加载到bigtable 中？

我有很多由 pyspark 生成的json 文件，我希望将数据加载到bigtable。

但我找不到一个简单的方法来做到这一点！

我尝试了google-cloud-python 中的python 代码，它工作正常，但它只是将数据逐行读取到 bigtable 中，这对我来说很奇怪。

任何帮助将不胜感激。

Answer 1

没有简单的工具可以读取 Cloud Bigtable 中的数据。以下是一些选项：

1. 使用Dataflow 导入文件。这需要 Java 开发，并学习 Dataflow 编程模型。
2. 使用 Python（可能使用 Pyspark）读取这些 json 文件，并使用称为 mutate_rows 的方法写入 Cloud Bigtable，该方法可以批量写入 Bigtable。

仅供参考，我在 Cloud Bigtable 团队工作。我是一名 Java 开发人员，所以我选择 #1。我们的团队一直在努力改善我们的 python 体验。扩展团队最近添加了一些可靠性改进，以确保 mutate_rows 对大型作业具有弹性。我们还没有任何与 PySpark 或 Apache Beam's python SDK 集成的好例子，但它们在我们的关注范围内。