从 HDFS 转换源数据并通过 Talend 转换

Question

我们正在尝试使用 Web 服务从 HDFS、Hive、Hbase 和 Apache Ignite 获取数据，并使用 Talend 进行相关转换，然后将数据加载到下游系统中。

如果我们可以使用可以与 hadoop 集群集成的特定软件来帮助我们实现这一目标，我正在寻求帮助

Answer 1

要访问 HDFS 或 Hive 上的数据，您需要使用 WebHcatalog：

WebHCat 是用于 HCatalog、表和存储管理的 REST API Hadoop 层

Hcatlog 是：

HCatalog 的表抽象为用户提供了一个关系视图 Hadoop 分布式文件系统 (HDFS) 中的数据，并确保 用户不必担心他们的数据在哪里或采用什么格式 存储

可以通过 Hbase Rest api 访问 Hbase 上的数据，请参阅 here，或者您可以通过 Hive 中的 HbaseIntegration 功能在 Hbase 之上创建 Hive 表，然后通过 WebHcatalog 访问它们。