从一个集群传输到另一个集群时，hadoop 中的 distcp 是否加密数据

Question

我想知道 distcp 在从一个集群传输到另一个集群时是否可以选择加密数据。我知道它确实支持 S3 集群中的加密，但这与亚马逊的 S3 有关。如果我们将纯文本文件从一个集群移动到另一个集群怎么办。它会被加密还是发送纯文本？如果支持，我们可以启用这种加密吗？

Answer 1

来自 HDFS documentation:

一旦设置了 KMS 并且 NameNode 和 HDFS 客户端已经 正确配置，管理员可以使用 hadoop 密钥和 hdfs 加密 用于创建加密密钥和设置新加密的命令行工具 区。现有数据可以通过将其复制到新的 使用 distcp 等工具加密区域。

希望对你有帮助。