在 Google Cloud 中处理多个对象

Question

我在 Google 存储桶中有几百个文件（100,000 个）。文件大小约为 2-10MB。我需要在每个文件上应用一个简单的 python 函数（只是数据转换）。我需要从一个桶中读取 - 并行转换（python 函数） - 并存储在另一个桶中。我正在考虑一个简单的 Hadoop 或 Spark 集群来执行此操作。我以前在单个实例上使用并发线程来执行此操作，但我需要一种更强大的方法。实现这一目标的最佳方法是什么？

Answer 1

您可以使用最近发布的Google Cloud Dataproc（2015 年 10 月 5 日的测试版），它为您提供托管的 Hadoop 或 Spark 集群。它与 Google Cloud Storage 集成，因此您可以从存储桶中读取和写入数据。

您可以通过gcloud、控制台或通过 SSH 连接到集群中的机器，submit jobs。