【问题标题】:Syncing two AWS Glue Data Catalog同步两个 AWS Glue 数据目录
【发布时间】:2019-08-04 12:38:49
【问题描述】:

我有一个用例,我想同步位于不同账户的两个 AWS Glue 数据目录。

Glue 是否会在创建/删除新的数据库/表/分区时发出可以发布的通知?或者通过其他方式了解其他 Glue 数据目录中发生的情况?

一种方法是收听该 Glue 帐户的 Cloudwatch 通知,但根据 Doc Cloudwatch 通知不可靠:

https://docs.aws.amazon.com/glue/latest/dg/automating-awsglue-with-cloudwatch-events.html

【问题讨论】:

  • 使用 AWS Glue API 同步其他 AWS 账户。希望对你有用。
  • 除了依赖云观看事件,你有没有想出别的办法?

标签: amazon-web-services aws-glue aws-glue-data-catalog


【解决方案1】:

AWS 为此提供了一个开源脚本。见here

不确定它有多可靠和多快,但值得一试。

【讨论】:

  • 谢谢。但它更多的是迁移而不是同步。
  • 如果定期运行会怎样?或者它必须是同步的?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-05-11
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多