数据存储区 mapreduce 是否已弃用

Question

我刚刚安装了Google Cloud platform 进行免费试用。为了使用DataStore 运行MapReduce 任务，docs 表示要运行

./bdutil --upload_files "samples/*" run_command ./test-mr-datastore.sh

但我无法在本地获取此文件，这是有充分理由的，这种运行MapReduce 作业的方式似乎已被弃用，请参阅github。这是真的吗，有没有另一种方法可以从本地命令行创建 MapReduce 任务而不需要 BigQuery ？

Answer 1

Datastore 连接器连接器确实已弃用。

对于您的问题“是否有另一种方法可以从本地命令行创建 MapReduce 任务”，一种选择是使用Google Cloud Dataflow。它本身不是 MapReduce，但它是用于并行数据处理的编程模型，已在 Google 中取代了 MapReduce。 Dataflow SDK 包含support for Datastore access。

与 Hadoop 不同，您不必设置集群。您只需编写代码（使用 Dataflow SDK）并从 CLI 提交您的作业。 Datastore 服务将动态创建所需的工作人员来处理您的工作，然后终止它们。

Answer 2

注意：Google 团队 removed DataStore connector 来自 bdutil v1.3.0 (2015-05-27)，因此您可能需要使用旧版本或使用 GCS 或 BigQuery 作为代理来访问您在 DataStore 中的数据。

我尝试尽可能多地介绍，但bdutil 需要更多细节，这很难在这个答案中记录下来，但我希望这可以给你足够的开始：

• 设置 Google Cloud SDK - detail

  # Download SDK
  curl https://sdk.cloud.google.com | bash
  # Restart your shell
  exec -l $SHELL
  # Authenticate to GCP
  gcloud auth login
  # Select Project
  gcloud config set project PROJECT_NAME
  

• 下载并提取包含 DataStore 连接器的 bdutil 源代码。

  # Download source which contains DataStore connector
  wget https://github.com/GoogleCloudPlatform/bdutil/archive/1.2.1.tar.gz -O bdutil.tar.gz
  # Extract source
  tar -xvzf bdutil.tar.gz
  cd bdutil-*/
  

• 创建 bdutil 自定义环境变量文件。创建正确的配置文件请参考bdutil configuration documentation，因为您需要指定项目、服务器数量、GCS存储桶、机器类型等...

• 使用 datastore_env.sh 部署您的 Hadoop 实例 (Full documentation)

  ./bdutil deploy -e YOUR_ENV_FILE.sh,datastore_env.sh
  

• 连接到 Hadoop 主节点

  ./bdutil shell
  

• 现在您可以在主节点中运行 MapReduce 作业，该作业也可以访问 DataStore。

• 关闭您的 Hadoop 集群

   ./bdutil delete