生产级 Hive 和 Sqoop 配置

Question

我对生产级别的 HIVE 配置有一些疑问。 如果有远程 HDFS 设置：

1. 我必须在哪里安装 Hive 才能根据 HDFS 中的数据运行 HQL 查询？在 Hive 中需要进行哪些配置？

2. Metastore db 将位于何处？

3. 如果我想安装 Sqoop，以便它可以从本地 RDBMS 提取数据到远程 HDFS，应该安装在哪里？

Answer 1

Hive Server 应安装在主节点上，如 HDFS NameNode 和 Secondary NameNode（请参阅此示例架构 http://pivotalhd.docs.pivotal.io/docs/01-RawContent/Getting-Started/PHD2_Typical_Cluster_Topology.png）。但是你还需要安装 YARN。

Sqoop 通常安装在客户端（边缘）节点上。

如果您使用 Hortonworks 或 Cloudera 之类的发行版，它们会包含一个带有向导的管理器，以简化 Hive、YARN、HBase 等所有服务的部署。