谷歌 Hadoop 文件系统加密

【问题标题】：Google Hadoop Filesystem Encryption谷歌 Hadoop 文件系统加密
【发布时间】：2017-02-20 13:28:21
【问题描述】：

在正常操作中，可以向 google storage api 提供加密密钥来加密给定的存储桶/blob： https://cloud.google.com/compute/docs/disks/customer-supplied-encryption

这对于“即时”输出 spark/hadoop 作业是否可行？

假设我们想加密 spark write 的输出

 df.write().format("json").save("gs:///somebucket/output");

在https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml 中无法指定加密密钥。

这可能吗？

【问题讨论】：

标签： google-cloud-platform google-cloud-dataproc google-hadoop

【解决方案1】：

如果您询问客户提供的加密密钥当前是否可用于 Cloud Dataproc，答案是否定的。 Here 是 Google 当前用于静态加密的产品选项列表。

如果您只是想加密 Spark 写入的输出，您仍然可以使用 Google 的 Cloud KMS 在应用层对其进行加密。 Here's a codelab 在 Google Cloud Storage 中执行此操作（看起来就像您使用上面的命令所做的那样）。 请注意，Google 云平台上的客户内容默认在存储层进行静态加密，因此这是另一层保护。

【讨论】：