Hadoop distcp 复制 hive 表答案

【问题标题】：Hadoop distcp to copy hive tablesHadoop distcp 复制 hive 表
【发布时间】：2022-10-22 15:07:19
【问题描述】：

我是 hadoop 和 hive 的新手，我正在尝试使用 hadoop distcp -overwrite hdfs://source_cluster/apps/hive/warehouse/test.db hdfs://destination_cluster/apps/hive/warehouse/test.db

此命令运行正常且没有错误，但在目标 hdfs 集群上仍然看不到 test.db

【问题讨论】：

发布您的完整命令

标签： hadoop hive

【解决方案1】：

您已复制文件，但尚未修改实际注册表信息的 Hive 元存储。

如果你想在集群之间复制，我建议研究一个名为 Circus Train 的工具，否则，使用 SparkSQL 与两个集群的 Hiveserver 交互，而不是使用仅使用 hdfs 的工具

【讨论】：

【解决方案2】：

复制文件和目录后，需要重新创建表 (ddl)，以便有关这些表的数据出现在元存储中

【讨论】：