AWS EMR：如何将数据从一个 EMR 迁移到另一个 EMR

【问题标题】：AWS EMR: How to migrate data from one EMR to another EMRAWS EMR：如何将数据从一个 EMR 迁移到另一个 EMR
【发布时间】：2021-06-04 08:11:03
【问题描述】：

我目前有一个使用 HBase 运行的 AWS EMR 集群。我正在将数据保存到 S3。我想将数据迁移到同一账户上的新 EMR 集群。将数据从一个 EMR 迁移到另一个 EMR 的正确方法是什么？ 谢谢

【问题讨论】：

  • 如果您要将数据保存到 S3，那么您要迁移哪些数据？
  • 我想在我当前的 EMR 集群中使用 HA（高可用性）HBase 集群，而不是普通的 HBase。我需要为此创建一个新的 EMR-HBase 集群

标签： amazon-web-services amazon-emr


【解决方案1】：

两种将表从一个集群复制到另一个集群的方式不同：

  1. 使用CopyTable 实用程序。缺点是它会降低区域服务器的性能，或者需要在复制之前禁用表。
  2. Hbase Snapshots.（推荐）。它对区域服务器的性能影响不大。

您可以关注aws documentation 执行快照/恢复操作。 基本上你会做以下事情：

  1. 创建快照
  2. 导出到 S3
  3. 从 S3 导入
  4. 恢复到 Hbase

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 2019-04-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-12-16
    • 1970-01-01
    • 2018-04-26
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode