【发布时间】:2018-02-12 04:33:48
【问题描述】:
我有一个源 emr 集群,其中 hive 元存储作为外部 mysql(emr 版本 3.1)。
我们计划将集群升级到 5.11.1。
有谁知道如何使用远程 mysql 元存储将 hive 和 hdfs 从一个集群迁移到另一个集群?
【问题讨论】:
标签: hadoop hive emr amazon-emr
我有一个源 emr 集群,其中 hive 元存储作为外部 mysql(emr 版本 3.1)。
我们计划将集群升级到 5.11.1。
有谁知道如何使用远程 mysql 元存储将 hive 和 hdfs 从一个集群迁移到另一个集群?
【问题讨论】:
标签: hadoop hive emr amazon-emr
您的任何数据都不应永久保存在 HDFS 上。将所有重要文件复制到 S3。
HIve 为所有版本提供 Metastore 升级脚本。
使用/usr/lib/hive/bin 下的schematool 命令执行升级迁移。
https://cwiki.apache.org/confluence/display/Hive/Hive+Schema+Tool
【讨论】: