【问题标题】:Migrating from one cluster to another从一个集群迁移到另一个集群
【发布时间】:2018-02-12 04:33:48
【问题描述】:

我有一个源 emr 集群,其中 hive 元存储作为外部 mysql(emr 版本 3.1)。
我们计划将集群升级到 5.11.1。

有谁知道如何使用远程 mysql 元存储将 hive 和 hdfs 从一个集群迁移到另一个集群?

【问题讨论】:

    标签: hadoop hive emr amazon-emr


    【解决方案1】:

    您的任何数据都不应永久保存在 HDFS 上。将所有重要文件复制到 S3。

    HIve 为所有版本提供 Metastore 升级脚本。

    使用/usr/lib/hive/bin 下的schematool 命令执行升级迁移。

    https://cwiki.apache.org/confluence/display/Hive/Hive+Schema+Tool

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-02-14
      • 2020-06-15
      • 1970-01-01
      • 2020-07-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多