设置 AWS Glue 以抓取 Qubole

【问题标题】：Setting up AWS Glue to crawl Qubole设置 AWS Glue 以抓取 Qubole
【发布时间】：2020-04-15 00:44:13
【问题描述】：

目前我使用 Qubole 访问 Hive 数据。我添加了来自多个数据库的元数据，并希望将所有 Hive 元数据添加到 AWS Glue。这可能吗？任何帮助表示赞赏。

【问题讨论】：

【解决方案1】：

是的，您可以将 Qubole 中的所有元数据添加到 AWS Glue 目录，但 Glue 爬虫不支持 Qubole 作为源。

您可以使用 AWS Glue 同步代理将元数据更改从 Qubole 中的 Hive 元存储同步到 AWS Glue 数据目录。请参阅this，其中详细介绍了如何实现。

【讨论】：